J’aurais traduit par

Un modèle de langue reposant sur un réseau Transfomer de grande taille

Étant donné que

• Le teme unsupervised est contestable pour un modèle de langue, qui peut aussi être vu comme du supervisé ou du semi-supervisé
• Transformer est plus ou moins un nom propre, je ne pense pas que ce soit une bonne idée de le traduire. On peut aussi simplifier et remplacer « réseau Transformer » par « réseau de neurones artificiels » qui sera plus clair pour les profanes.
• Les composés de ce type sont moins naturels en français (et même en anglais je trouve ça lourd), je pense qu’il vaut mieux mettre ce description dans une phrase à part « Le modèle dont il s’agit est… » et ensuite y faire référence par son petit nom s’il en a un (au hasard, BERT ou GPT-2) ou simplement par « [le/ce] modèle »

Sinon, oui, « générateur automatique de texte » me paraît être un bonne description informelle.