Yes it is correct. In this case, the à is not associated to the verb, that is it’s not a reorganization of a different construction already containing the word. Rather that preposition is associated specifically with the the adjectival construction, it’s the same principle that the preposition de in the expression il est difficile de never changes.

While I would write :

Question difficile à poser

Je n’ai rien à répondre

Il m’est difficile de répondre

I would definitely avoid question difficile à répondre which hurts my ears by using this established form:

Question à laquelle il est difficile de répondre

or simply the shorter:

Question difficile

En effet, on a compris intuitivement que dans un cas on a un verbe utilisé de manière transitive directe (manger + objet direct), et dans l’autre, en transitif indirect (répondre à + une question ; par opposition à ne rien répondre, répondre oui, non : l’emploi transitif direct). La nuance est importante avec l’infinitif complément d’adjectifs tels que facile/difficile, où l’emploi avec la préposition à s’est spécialisé au milieu du 19^e aux cas où le nom ou le pronom auquel réfère l’adjectif sert d’objet direct à l’infinitif (Le bon usage, Grevisse et Goosse, ed. Duculot, 14^e, §915 a 2°, n. H1) ; ce qui est le cas de la pomme que l’on mange difficilement, mais pas de la question à laquelle on répond (par opposition à la question que l’on poserait).¹ Conséquemment « une question difficile à répondre » semble à tout le moins inusité aujourd’hui et l’on a d’autres solutions plus usuelles.

[ Your observation about how the complement is introduced for such and such a verb was very astute. Saying “une question difficile à répondre” is at least unusual. In such cases, usage is adjective-specific, but it also varies according to how the verb is leveraged; with facile/difficile, using à + inf. is nowadays seemingly restricted to verbs calling for a direct object complement, which is not the case here with répondre à, but is indeed the case with manger (une pomme) and poser (une question). ]

_{¹ L’usage varie ainsi selon les adjectifs, et incidemment selon les verbes. Comme on l’a dit, le tour avec à était fréquent avant le 19^e avec facile/difficile sur le modèle apte à/enclin à :}

_{De véritables Gens de bien qui sont faciles à recevoir les impressions
qu’on veut leur donner (Molière)
Le premier piège qui m’a rendu
longtems si facile à tomber dans tous les autres (Rousseau)
Il étoit très difficile à promettre et s’engager dans les plus petites choses (Bernardin de St. Pierre)}

_{« Cet homme est facile à être convaincu » est sorti d’usage. On ne peut toujours remplacer la construction par un complément adverbial ; l’infinitif peut être plutôt sujet d’une attribution (« convaincre cet homme est facile »), et dans ce cas on ne pourra lui substituer le pronom y (« *cet homme y est facile »(x)). Au LBU14 on regroupe les usages selon la nature du rapport entre le nom et l’infinitif [(Le nom ou le pronom (1) sert de sujet à l’infinitif, (2) sert d’objet direct à l’inf. (contra répondre à ici), (3) ne sert ni de sujet ni d’objet, et on donne par exemple « Il m’est reconnaissant de ne pas me prévaloir de cette coïncidence » (Gracq), ou finalement selon que (4) l’infinitif n’a ni sujet exprimé ni sujet possible)], et on traite de cas particuliers. On critique Robert quand il critique un « objet facile à se procurer » (vs. « qu’il est facile de se procurer ») ; on dit que la première construction est fort répandue et bien présente chez les classiques, comme en témoigne l’ancien dictionnaire de l’Académie (1694) avec « un auteur difficile à entendre », « un cheval difficile à ferrer » etc. Il y a bien des nuances dans les différents tours attestés (voir au LBU, qu’on paraphrase et d’où on puise les exemples, pour les détails).}

Le problème vient de la préposition à .

Question difficile de répondre : incorrect, car le verbe répondre n’est pas transitif.

le à devient le pronom relatif à laquelle en inversant la construction,
avec une proposition relative complète, comme proposée par jlliagre:

Question à laquelle il est difficile de répondre.

En omettant il est, on peut simplifier ainsi:

Question à laquelle difficile de répondre.

Si l’on veut utiliser un synonyme dérivé d’un verbe transitif, on peut employer:

Question difficile à solutionner.