On emploie « de » pour parler de l’action dans un sens abstrait : l’acte de respirer est difficile.

C’est la grippe qui explique la difficulté de respirer dans ce cas.

Par contre, quand une personne particulière le trouve difficile, on utilise la formule suivante :

J’ai de la difficulé à respirer.

La forme avec à tend à supplanter la forme avec de, indépendamment de la nuance de sens qu’on peut trouver, déjà présentée par @LukeSawczak.

La forme la plus courante est « difficulté à + infinitif ». On dit aussi « *difficulté pour + infinitif » ou « difficulté de + infinitif ». (Avec un nom, c’est toujours « difficulté de + nom ».)

En première approximation, les trois sont synonymes. « Difficulté de » était plus courant autrefois, mais « difficulté à » est plus courant depuis longtemps. Par exemple la huitième édition du *Dictionnaire de l’Académie française (vers 1932) et Littré (fin du 19^e siècle) citent tous les deux à la fois « difficulté à » et « difficulté de », sans indiquer de nuance de sens ou d’usage. Littré donne aussi un exemple avec « difficulté pour », mais dans un contexte un peu particulier (l’expression « être en difficulté »). La neuvième édition du *Dictionnaire de l’Académie française (vers 1990) ne donne plus aucun exemple avec « difficulté de + verbe ».

Le Trésor de la langue française mentionne les trois prépositions de, à et pour. Il signale une différence d’usage entre de d’une part et à/pour d’autre part : on parle de « la difficulté de [faire quelque chose] », mais d’« une difficulté à [faire quelque chose] » ou « de la difficulté à [faire quelque chose] » (on peut remplacer à par pour). Cela rejoint la distinction proposée par Luke Sawczak : la « difficulté de … » est un concept général, abstrait, alors que la « difficulté à/pour … » est une tentative concrète, particulière. Toutefois je pense que ni la différence d’article, ni la distinction général/particulier n’expliquent complètement la nuance.

Un exemple est peut-être plus parlant :

Je voulais poser la question sur la difficulté de jouer du piano avec des handicaps physiques comme le mien   (on parle de la difficulté en général concernant une action)

tu as dit que tu avais de la difficulté à jouer du piano avec un horaire chargé   (on parle d’un problème précis pour atteindre un but)

C’est un peu subtil. Je pense que les locuteurs natifs font souvent la distinction, mais pas systématiquement (et ne sont pas forcément capables de l’expliquer). Je crois qu’il y a une explication derrière. La règle générale, c’est « difficulté de + nom » quand la difficulté concerne une action et « difficulté à/pour + verbe » quand la difficulté concerne un but. J’accomplis une action, je parle de la difficulté de l’action. Je veut atteindre un but, je parle de la difficulté à atteindre le but. Mais une action peut être exprimée par un verbe, et dans ce cas l’infinitif du verbe se comporte comme un nom et peut donc être utilisé avec « difficulté de ». Je veux accomplir une action, je parle de la difficulté d’atteindre le but.