L’explication est simple mais pas nécessairement logique. En fait, tu as la réponse écrite dans ta question. Les six exceptions sont des noms qui en sont venus à être considérés comme adjectifs (ce qui n’est pas le cas de marron ou orange). C’est ce qu’affirme l’Office québecois de la langue française. L’Académie française dit plutôt que seulement quatre sont d’abord des noms donc constituent des exceptions:

On recense traditionnellement quatre exceptions à cette règle : rose, mauve, pourpre et écarlate, qui sont variables. Fauve et incarnat, étant d’abord des adjectifs, sont naturellement variables.

Edit
L’OQLF a ajouté vermeil à la liste.

“Orange” et “marron” ont encore le caractère d’un nom. On peut expliquer “des pantalons de couleur d’une orange“. Bien sûr on omet “de couleur d’une“.
De même pour “marron“.