On dira selon le cas :
– ils leur serrent la main.
– ils serrent leurs mains.

• Dans « ils leur serrent la main » leur est un pronom personnel complément d’objet indirect. Leur est mis pour les personnes dont ils serrent la main.

  Ils serrent la main de Pierre et Jeanne → ils leur serrent la main.

  S’ils serraient la main d’une seule personne on emploierait lui à la place de leur :

  Ils lui serrent la main.

• Dans « ils serrent leurs mains » leurs est un adjectif possessif. Le mot sert à indiquer à qui appartiennent les mains.

Quand on emploie serrer la main pour exprimer un geste social (quand on rencontre ou félicite quelqu’un par exemple) on dit en général : « ils leur serrent la main », mais quand on ajoute un qualificatif aux mains on emploie de préférence la structure avec l’adjectif possessif :

Le président s’approche des ouvriers et serre leurs mains calleuses.

Si on qualifie la façon de serrer la main on emploie aussi bien les deux :

Le président s’approche des ouvriers et leur serre très chaleureusement la main.

Le président s’approche des ouvriers et serre leurs mains très chaleureusement.

Si on veut employer serrer la/les main(s) au sens propre on emploie la structure avec l’adjectif possessif :

Le médecin serre leurs mains pour évaluer leur vitalité.

Ils les serrent la main n’est pas possible parce que les est un un pronom personnel complément d’objet direct et que la structure de la phrase appelle ici un objet indirect (l’objet direct c’est la main).