I don’t think there are grammatical issues with such sentences. Avec mon frère is almost equivalent to moi et mon frère so it is the way this sentence is generally understood. Of course the context can possibly lead to the alternative meaning you expect in English.

When the phrase is put in apposition like this:

Avec mon frère, on joue souvent à ce jeu.

there is even less ambiguity.

While the pronoun on is quite flexible in French, this usage is also common with nous:

Avec ma femme, nous montons dans un taxi.

Using on (or nous) also makes clear both are equally acting.

Compare:

Je m’amuse bien avec mon frère. I might be the only one having fun.

and

On s’amuse bien avec mon frère. Both of us are having fun.

Finally, beware that many native French people will tell you using on instead of nous is familiar, lazy or even incorrect while the fact is on has essentially replaced nous (when nous is a first person plural subject) in all language levels of modern spoken French outside very formal ones.

Your sentence

“On joue souvent à ce jeu avec mon frère”

is current French, but the use of “on” instead of “nous” is a quite familiar level of language.
On the literary level, you’d rather say:

“Nous jouons souvent à ce jeu, mon frère et moi”.

Comme le rappelle Grevisse (Le Bon Usage, 7e éd., 1959, § 587 a), l’on est “l’ancien cas sujet du nom homme“.

Il s’agit certes d’une forme actuellement considérée comme peu soignée voire impropre (à l’école élémentaire, on reprend assez systématiquement les élèves sur son emploi) lorsqu’elle remplace nous (§ 587 passim). Lorsqu’on ne sait pas trop de qui l’on parle, on remplace peu ou prou quelqu’un, comme lorsque le petit ours s’exclame :

On a dormi dans mon lit !

On voit bien que

Nous avons dormi dans mon lit.

aurait un autre sens…

Mais, pour en revenir à cette première remarque de Grevisse, il est aussi permis de penser qu’un usage précieux de ce l’on peut être fait, pour peu que l’on sache à qui l’on parle et qu’il connaisse l’histoire de la langue. En particulier lorsque quelqu’un vous dit, d’une façon qu’il ne sait peut-être pas être misanthrope :

On est un con !