L’expression « Rogue state » (qui a émergé aux États-Unis dans les années 1980, et s’est surtout répandue au début des années 1990) est habituellement traduite par État voyou. On a la même paire d’expressions en anglais et en français, tant dans le sens le plus courant d’État au ban des nations (État dont le comportement a conduit beaucoup d’autres États à suspendre leurs relations diplomatiques et économiques), que dans le sens que l’on trouve quelquefois d’une expression péjorative envers le concept même d’État.

La variante « Rogue nation » est beaucoup moins courante. Je ne crois pas qu’il y ait d’autre nuance que celles que l’on peut faire entre state (état) et nation (nation). Donc traduire par « nation voyou » est raisonnable (ou éventuellement « nation voyoue », mais le mot voyou a du mal à s’imposer comme adjectif, il a tendence à rester un nom apposé et donc à ne pas prendre de marque de genre). Sur Linguee, la seule traduction de « Rogue nation » est « État voyou », sauf un « pays de maroufles » qui paraît mal placé à mes oreilles de Français.

TL;DR → mes propositions

Nation incontrôlable

ou

Nation rebelle

ou encore

Nation renégate

(merci à Larme pour la dernière idée)

Détail de la réflexion

Recherches

En sus de la réponse de Gilles, j’ai rapidement regardé quelles traductions proposait WordReference pour rogue ainsi que ses définitions sur Wiktionary¹².

Premier constat sur WordReference : le seul cas d’utilisation de rogue en tant qu’adjectif s’applique à un animal, mais sa traduction est étonnamment proche du contexte décrit dans la question.

En consultant la section « adjectif » du Wiktionary pour rogue, on trouve en effet que cette traduction initialement réservée aux animaux a plusieurs définitions par extension, dont la troisième avec cette citation :

rogue (adj.)
3. (by extension) Deceitful, unprincipled.
2004: Chris Wallace, Character: Profiles in Presidential Courage

In the minds of Republican hard-liners, the “Silent Majority” of Americans who had elected the President, and even Nixon’s two Democrat predecessors, China was a gigantic nuke-wielding rogue state prepared to overrun the free world at any moment.

Traductions selon le Wiktionary

Le Wiktionary propose également des traductions pour cet adjectif. Pour la définition que j’ai retenue, c’est la suivante qui est mise en avant :

French: sans scrupules

Cette traduction ne me semble cependant pas adapté. D’après la question :

le sens en anglais est relié à la différence de statut qu’entraîne, pour une nation en l’occurrence, la non adhésion au cadre normatif international, et aux inquiétudes que ça suscite.

Dans ce cadre, une des autres propositions du Wiktionary me paraît plus adaptée :

French: incontrôlable

Autre idée

Le premier mot qui me vient à l’esprit en cherchant à traduire rogue est toujours rebelle³. Malgré la connotation de ce mot, sa définition me semble correspondre au contexte donné dans la question (voir la locution « esprit rebelle » par exemple).

On peut aussi penser à « renégat » pour celui qui renie ses principes (« The spy went rogue. » ; merci à Larme).

_{¹ J’utilise volontairement le nom anglais du site, puisque je me suis basé sur sa version anglaise et non sur le Wiktionnaire. Inutile de corriger.}

_{² J’imagine que la traduction de nation ne pose pas de problème et que le mot est présent davantage pour donner un contexte. Je me concentre donc sur rogue pour cette réponse.}

_{³ Ceci vient probablement de l’idée que je me fais d’une traduction possible du nom de jeu Star Wars: Rogue Squadron. Je n’ai malheureusement pas réussi à trouver son nom québecois. Le livre Rogue Squadron a subi la même traduction malheureuse que le titre cité en question et s’appelle en France L’Escadron Rogue (à moins que rogue ne soit pas utilisé ici comme un qualificatif mais comme un nom, ainsi que le suggère la capitalisation dans le titre).}

Mon très vieux dictionnaire bilingue Robert et Collins m’a donné l’adjectif « malhonnête » qui me parait bien convenir et résumer ce que vous proposez tous. J’ai entrepris cette recherche suite à une discussion avec un de mes élèves sur ce film Mission Impossible, Rogue Nation sorti en France fin 2015. Je ne pense pas que ce sous-titre évoque quoi que ce soit aux français; pour les canadiens français, leur habileté en anglais les sauve. Je comprends maintenant pourquoi ce sous-titre a été conservé en Europe, habituellement les titres sont encore « francisés », les français ont encore beaucoup de progrès à faire en anglais, c’est sûr!!