C’est écouter is not completely incorrect although grammarians tell that when the real subject (écouter) is an infinitive, it is introduced by de. The oqlf states :

L’infinitif en fonction attribut est précédé de la préposition de
lorsque le sujet n’est pas un autre verbe à l’infinitif et qu’il est
repris par une expression comme c’est ou ce serait.

Dropping de is however common at least in lazy/spoken French, especially because there is no adjective before the infinitive.

De is often not considered to be a preposition but seen as a marker of the infinitive, just like "to" in English (to listen). It can also be interpreted to mean le fait de:

La chose la plus difficile pour moi avec le français, c’est le fait d’écouter.

De is mandatory when used in this pattern:

c’est + adjective + de + infinitive, e.g.:

C’est difficile [pour moi] d’écouter le français.