You can use "d’abord" ou "tout d’abord" in this case:

D’abord, tu n’aurais pas dû le faire. C’est trop tard pour changer quoique ce soit.

On utilisera volontiers déjà, d’après le TLFi :

II.− Lang. fam., sens log.
A.− Déjà marque un degré relatif et signifie qu'un résultat partiel est acquis dès le moment considéré. 

Ainsi, par exemple :

You shouldn’t have done it in the first place.

Déjà, tu n’aurais pas dû le faire.

Pour commencer, tu n’aurais pas dû le faire.

ou encore

There are many reasons why you should pick the second candidate — she has superior field experience in the first place.

Vous avez de nombreuses raisons de choisir la seconde candidate — son expérience dans le domaine, déjà.

Vous avez de nombreuses raisons de choisir la seconde candidate, à commencer par son expérience dans le domaine.

NB1 : TLFi dit que déjà est familier dans cet usage, c’est vrai qu’on l’emploiera plutôt à l’oral qu’à l’écrit.

NB2 : attention où placer déjà, cela peut changer le sens du propos : comparer déjà, tu n'aurais pas dû le faire (tu aurais dû t’abstenir) vs. tu n'aurais pas dû déjà le faire (tu aurais dû attendre).

Pour garder la forme de "premier" on peut utiliser

En premier lieu,

Ou Pour commencer (plutot oral )

Ex : Tu n'aurais pas dû le faire en premier lieu, c'est trop tard pour changer quoi que ce soit

J’ajoute une réponse parce que je vois de mauvaises réponses emporter l’opinion.

« in the first place » est un reproche ou un regret (ou plus rarement une simple référence) qui dénonce une phase d’activité qui a engendré une avalanche de conséquences.

Par exemple, si quelqu’un se plaint d’une facture de téléphone trop lourde, mais qu’il a souscrit à un abonnement déraisonnable dont il n’a pas l’usage, on pourrait lui reprocher qu’il n’aurait pas dû y souscrire « in the first place ».

Cela n’a rien à voir avec l’ordre d’énonciation des problèmes. Notamment écrire « d’abord, tu n’aurais pas dû souscrire à cette formule d’abonnement » peut avoir le même sens que « in the first place », ou pas. Tout dépend des conséquences et du contexte. « D’abord » veut simplement dire « premièrement ».

Et « firstly » n’est certainement pas synonyme de « in the first place ».

Same goes for « déjà », « en premier lieu », etc.

Pour vraiment traduire « in the first place » j’utiliserais plutôt les mots « départ », « origine », etc.

Par exemple « Si dès le départ tu avais acheté un meilleur forfait » est une vraie traduction de « If you bought a better plan in the first place », i.e. right from the start.