En disant “le contraire”, j’imagine la négation de la phrase d’origine.
En disant “l’inverse”, j’imagine changer l’ordre des mots dans la phrase.
En général, les deux sont synonymes, mais il y a tout de même une légère nuance.

Donc si je dis :

Je suis intelligent

On pourra répondre “non, c’est le contraire”, mais pas “non, c’est l’inverse”, car il n’y a pas d’ordre de mots à changer.

Dans la phrase de la question, il y a bien “X” et “Y” à inverser. Il y a en plus “facile” et “”difficile”, ce qui permet d’utiliser les deux en gardant la même idée.

L’inverse :

Y is easy; X is difficult

Le contraire :

X is not easy, Y is not difficult

There are two related words: réciproque and opposé.

Réciproque, can have the meaning of inverse, and in philosophy or logic, can also have the following meaning (CNRTL): Deux propositions hypothétiques sont réciproques quand l’hypothèse de l’une est la conséquence de l’autre, et quand la conséquence de la première est l’hypothèse de la seconde. La définition doit être réciproque (…) Si une figure est un triangle, c’est un polygone de trois côtés; si une figure est un polygone de trois côtés, c’est un triangle (Goblot 1920)

Opposé can have the meaning of contraire. CNRTL gives the following example: _Le beau s’oppose au laid. Les yeux saillants, à fleur de tête, s’opposent aux yeux profondément enfoncés (Richer,Nouv. anat. artist., t.2, 1920, p.123).