On peut exprimer cette relation par le nom des habitants de la ville, ou du département :

Nous sommes tous les deux parisiens (habitants de Paris) ou, varois (habitants du
département du Var) depuis de longues années.

En province, on dira plutôt :

Nous sommes du même pays !

et plus familièrement

On est du même pays !

Nous habitons des villages, des bourgs, voire des lieux-dits, dans les limites des ancienne régions : par exemple l’Aunis ou la Saintonge.

Ici pays n’a rien à voir avec country, mais plutôt avec paysage, c’est-à-dire une zone géographique qui offre un type de paysage homogène, souvent rattaché à un bassin fluvial, à une vallée de montagne ou à une zone géologique.

“Concitadin” is the word you are looking for. However it is (extremely) rarely used, and I have not found much dictionnaries with this entry.

You can use “compatriote”, which also has the dual meaning. However, my personal experience is that it is used more for people of the same country (“patrie”).