Oui, il y a une différence et elle est de nature technique; « par essai et erreur » implique une plus grande systématique et il est préférable de l’employer pour des questions scientifiques comme par exemple déterminer les racines d’une équation ou déterminer des coefficients relatifs à des matériaux en physique. « Par tâtonnement » évoque un peu la recherche d’un interrupteur dans le noir et parfois les « corrections » que l’on peut apporter dans un tel processus ne sont en réalité que des actions qui empirent le degré de proximité, desquelles on n’apprend rien.

En science la phrase anglaise ne devrait être interprétée que par « par essais et erreurs », sauf peut être en d’assez rares cas.

D’après Google ngrams, par essais et erreurs existe en français depuis une centaine d’année (1920). Cette expression est très vraisemblablement née d’un calque de l’anglais by trial and error que l’on rencontre dès 1713. Elle semble aujourd’hui bien établie mais je ne peux m’empêcher de lui trouver un air d’anglicisme.

Par tâtonnement est une expression beaucoup plus ancienne mais qui n’est pas associée à l’approche scientifique. Elle n’est donc peut-être pas très recommandée dans le contexte de la question.

Si l’on souhaite éviter essai et erreur, on peut envisager une troisième solution : l’adverbe empiriquement ou de manière/façon empirique qui ont la même signification :

Ils ont procédé empiriquement pour trouver une solution.