Quand il a fini de parler, il est parti.

Dans cette phrase, le passé composé ne se comprend pas comme tel, mais plutôt comme une forme passive active du présent de l’indicatif où “parti” est un attribut du sujet. Cette nuance est difficile à voir car le présent passif et le passé composé ont la même construction (seule différence : le verbe auxilliaire du passif est toujours le verbe être) le participe passé est ici employé en tant qu’adjectif.
Concrètement, on ne ressent pas dans cette formulation le lien de cause à effet exprimé dans la phrase Quand il eut fini de parler, il partit. Comme si le fait de partir et le fait de finir de parler étaient asynchrones : il peut avoir commencé à partir avant la fin du discours.
Le résultat de cette phrase peut sembler étrange, surtout connaissant ce qui est attendu, mais c’est le résultat que donne cette formulation.

Cette phrase n’est pas incorrecte, mais elle ne transmet pas l’information souhaitée.

Quand il a eu fini de parler, il est parti.

Cette phrase par contre est une excellente reformulation de la phrase d’origine.

En effet, le passé composé il a fini est transformé en passé surcomposé il a eu fini. Cette différence est capitale pour deux raisons :

• Elle force la proposition il est parti à être compris au passé composé. Le passif présent est incorrect ici. Pour utiliser du passif l’adjectif, il eût fallu utiliser l’imparfait passif était parti.
• Elle traduit parfaitement l’antériorité du passé antérieur, en ce sens que la seconde action est la conséquence de l’accomplissement de la première. Plus clairement, la fait de partir est la suite directe du fait de finir de parler.

Pour répondre à ta question :

Quand il a eu fini de parler, il est parti.

C’est parfait.

L’utilisation d’un passé surcomposé est correcte, mais ce n’est pas la formulation la plus courante (et certains n’utilisent pas les temps surcomposés qui sont parfois considérés comme régionaux ou désuets).

Les formulations les plus courantes n’utiliseraient pas quand, mais après : après avoir fini de parler, il est parti ou après qu’elle ait fini de parler, il est parti (bien que considéré comme incorrect par les grammairiens qui refusent l’usage du subjonctif avec après que et demandent donc après qu’elle a fini de parler, il est parti; ils sont tellement peu suivis qu’on se fait parfois reprendre quand on le fait).