On prononce [gz] dans les mots commençant par ex- suivi d’une voyelle, ainsi que dans leurs composés. On prononce aussi [gz] dans les mots construits sur le préfixe hexa-. Avec le préfixe sexa-, on trouve les deux prononciations.

• examiner = [ɛɡzamine]
• exercer = [ɛɡzɛʁse]
• exiger = [ɛɡziʒe]
• exonérer = [ɛɡzɔneʁe]
• exulter = [ɛɡzylte]
• hexagone = [ɛɡzagon]
• sexagénaire = [sɛksaʒenɛʁ] ou [sɛgzaʒenɛʁ]

Si le x n’est pas suivi d’une voyelle, et dans les mots qui ne sont pas construits sur ces préfixes, on prononce [ks].

• extra = [ɛkstʁa]
• expansif = [ɛkspɑ̃sif]
• taxi = [taksi]
• annexe = [anɛks]
• lexique = [lɛksik]
• vexer = [vɛkse]

Après beaucoup de recherches, j’ai trouvé l’origine de cette division entre ks et gz.

La lettre X en français vient de la lettre latine, X, qui a toujours le son [ks] après une voyelle (avec quelque exceptions, qui ne sont pas pertinentes pour la division entre [ks] et [gz]). La lettre X en latin vient du grec ancien et ses dialectes. La forme de la lettre vient de la lettre grecque chi (χ) et le son vient de la lettre étrusque chi, qui a le son de la lettre grecque, xi (ξ). Donc, à l’origine, la lettre X avait toujours le son [ks] après une voyelle en français, comme en latin.

La raison pour laquelle [ks] est devenu [gz] est très compliquée, mais c’est à cause d’un “s-drop”. Voir ici pour l’explication (section 1.1). Essentiellement, en quelques mots, le son [s] dans ex était redondant. Par exemple : exemple est une combinaison des racines ex- et -sample. Donc il y a deux s : eks + sample. Dans ce cas, le s devient un son [z], puis la succession de consonnes devient [gz] (à cause de l’accent tonique, qui change avec ce “s-drop”).

Un peu compliqué, mais il faut lire la section du livre que j’ai donné comme lien.