In this context, J’ai envie d’être avec toi carries indeed a romantic connotation. It is not something a friend would say to another friend, unless they want to hint that they have some deeper feelings and that they would like to be a couple with their interlocutor.

Some more neutral answers (or at least, more adapted in a mere friend-to-friend conversation) would be:

J’ai envie qu’on se voie

Il faudrait qu’on se voie

Ça fait longtemps qu’on s’est plus vus.

L’expression « J’ai envie d’être avec toi » peut avoir certaines subtilités en fonction du contexte ou elle est exprimée.

Ça peut être une traduction littérale, simple volonté de présence.
…ou plus « profonde » (sous entendu) s’il y a un contexte « sentimental » par exemple, et dans ce cas, ça peut être considéré comme un « appel du pied » (expression française que l’on pourrait assimiler à un clin d’œil).

C’est vraiment le contexte et l’approche relationnelle entre les 2 personnes qui pourra déterminer le véritable sens.

Et encore, on n’en est pas forcement sûr et certain surtout si ça peut être ambigu

May have some subtleties depending on the context where is is expressed
It can be a literal translation, a simple will to be there.
… or more "deep" * (implied) * if there is a "sentimental" context for example, and in this case, it can be considered as a "call of the foot" (French expression that could assimilated to a wink)

it is really the context and the relational approach between the 2 people which will be able to determine the true meaning.
and again, it is not necessarily certain and certain especially if it can be ambiguous

No, "J’ai envie d’être avec toi" does not have any special connotation that its translation "I want to be with you" doesn’t.

The meaning depends entirely on the context.

Examples of usage with zero romantic connotation:

(to a coworker) "J’ai envie d’être avec toi quand tu vas présenter notre rapport au patron."

(to a friend or family member) "Attends moi pour aller choisir les couleurs de la peinture. J’ai envie d’être avec toi."