J’ai perdu tout mes mots,

C’est la faute à Hugo,

Que ma grammaire faillisse

C’est la faute à Grevisse.

Il semble que l’expression correcte soit "la faute de" + quelqu’un.

Cependant, on dit bien : "À qui la faute ?" et non pas "De qui la faute ?".

Hugo à aussi popularisé cette expression dans sa chanson de Gavroche:

Je suis tombé par terre

C’est la faute à Voltaire

Le nez dans le ruisseau

C’est la faute à Rousseau

L’expression apparaìt aussi ici :

Mon capitaine… C’est de la faute à la mairerie. Moi, j’leur disais pour la permission; eux ils m’ont dit qu’ça f’sait rien (BENJAMIN, Gaspard, 1915, p. 127) :

L’expression "La faute en est à X" existe aussi.

La faute en est à la poste, sans doute (FLAUB., Corresp., 1871, p. 247)

En revanche "on ne fait pas faute de quelque chose". Ou encore: "Et le combat cessa faute de combattants." (Corneille).

Un article du site langue-fr.net explique très bien d’ou provient cette “erreur” fréquente. Morceau choisi :

Dire la robe à ma sœur n’est pas une une déformation populaire de
l’usage normé, mais le maintien, dans les parlers régionaux ou
populaires, d’un usage de l’ancien français remontant lui-même au bas
latin, Grevisse mentionne que :

« La préposition à devant le complément déterminatif servait
aussi, par continuation d’un usage qui remonte au bas latin, à marquer
la possession : […] Le fils AL rei Malcud ([Chanson de]
Rol[and], [vers] 1594.
« Il nous reste quelques traces de cette
construction, devenue provinciale ou très familière : la bête À bon
dieu, un fils À papa, sentir la vache À Colas (le protestantisme), la
vigne À mon oncle (une mauvaise excuse, une mauvaise défaite), c’est
un bon ami À moi. »

Grevisse indique aussi l’usage régulier avec un pronom personnel dans les cas où le déterminant possessif est exclus (une manière à lui, selon une thèse à moi, …)