Je crois qu’en terme de sens pur et en dehors des diverses locutions (dont en dehors de, justement) il n’y a pas vraiment de différences de sens: ce sont deux adverbes (d’accord, un adverbe et une locution adverbiale) signifiant « à l’extérieur ». E.g. le TLFi définitions I.B. et III.B.1.

Toutefois, je ne crois pas qu’il serait inexact de dire que au-dehors est archaïque dans la langue parlée standard, et au mieux soutenu ou littéraire à l’écrit.

I believe that in term of pure meaning and aside from expressions (i.e. en dehors, mettre dehors…), there is no appreciable difference in meaning, and both mean “outside”. Cf. the TLFi’s definitions I.B. and III.B.1.

However I don’t think it would be inaccurate to say that au-dehors is archaic in the spoken language, and formal or literary in writing. If you do a quick search for it on Wikipedia, for example, you’ll find many examples in citations rather than the running text of articles.

D’après les définitions du petit Robert

dehors : A l’extérieur, hors du lieu, de la chose dont il s’agit [extérieurement, ailleurs]

Aller dehors : sortir,

Coucher dehors : soit dormir à la belle étoile, soit ne pas coucher chez soi.

au dehors ou au-dehors : à l’extérieur [extérieurement, loin]

• au dehors : à l’extérieur : Le récipient se brisa et le contenu se répandit au dehors
• au dehors : dans l’apparence extérieure : « Homme auguste au dedans ferme au dehors, ayant En lui toute la gloire » (V.Hugo)

Bien que extérieurement figure dans les deux définitions, il s’agit d’une externalité subjective (dehors, par rapport à moi) dans le premier cas et objective (en dehors de la scène ou de l’objet que je regarde) pour le second.

Toutefois certains parlés régionaux utilisent au-dehors pour dehors, surtout chez les anciens.