You could probably translate this literally with

J’veux dire, euh

In addition to the already suggested translations by Bazin and Personne, a recent trend in young generation colloquial French is to use avouer with this new meaning:

Ils parlent qu’anglais ici, et avec un accent chelou, j’avoue.

You can use « franchement » to reinforce what you’re saying:

« En fait, ils parlent seulement anglais ici, mais, franchement, ils ont un drôle d’accent. »

« Franchement, j’ai été vraiment impressionné par leur professionnalisme. »

Considering “gotta say” is not academic but quite colloquial, the French equivalent expression can be “il faut dire“, often degraded into “faut dire“(“il” is elided), or “y faut dire” (“il” is replaced by “y“), or “j’veux dire” (the “e” of “je” is elided):

“Ils ne parlent vraiment que l’anglais ici, et avec un accent bizarre, faut dire.”

“Ils ne parlent vraiment que l’anglais ici, et avec un accent bizarre, j’veux dire.”

“Il faut dire que j’étais vraiment impressionné par le niveau de professionnalisme.”

The way I understand the context of your sentences, your expression sounds equivalent to "actually", with something more personal to it. It sounds like the person expected something to be a certain way, and it turned out to be different. So they want to emphasize this observation, while still questioning themselves about it.

In my opinion, the closest answer here might be the most literal translation: "je dois dire".

Ils ne parlent que l’anglais ici, et avec un accent bizarre, je dois dire.

Je dois dire, j’étais vraiment impressionné par leur niveau de professionnalisme.

I also like "à vrai dire", or "en vérité".

Je dois dire qu’après avoir lu ces réponses, je me suis beaucoup questionné, mais en vérité, la meilleure solution est parfois la plus simple…

PS: personally, I would naturally pronounce it "j’dois dire", making it sound a bit more colloquial.