• ‘groupe’ is a noun which can be used by itself, unlike ‘un peu de’, etc. which are set adverbial phrases.
• ‘un groupe’ can be followed by ‘des’, for instance “le groupe des huit” (the G8). In a sense (or accurately, I am not sure) ‘des’ is the definite version (‘de’ + ‘les’) against the indefinite ‘de’: “un groupe de huit” would be any eight (countries in this case), rather than ‘the 8′.

First of all I’ll go though the larousse definition of “groupe” which is a name:

[nom masculin]
Ensemble de choses, d’animaux ou de personnes, formant un tout et
définis par une caractéristique commune : Groupe ethnique. Le groupe
des moyens et le groupe des forts.

Than we’ll check the definition of « personne » :

[nom féminin, pronom indéfini]
Individu en général, être humain.
Traduction anglais : person, (pluriel) people

When looking for “un groupe de personnes” in Linguee we can see some exemples:

Les fiducies servent à
procurer un avantage durable à une autre personne ou à un groupe de personnes.

Si vous prévoyez rassembler un groupe de personnes à cette occasion,
faites-le-nous savoir!

Leur ferme tire son nom d’un mot russe qui signifie un groupe de
personnes travaillant ensemble vers un but commun.

So in conclusion, in the sentence:

En entrant, je suis tombé sur un groupe de personnes bruyantes.

You should not look at « de » like a word alone in the sentence, but rather to entire « un groupe de personnes » which will always be written this way (if we’re talking about only one group) no matter the rest of the sentence.

To go further

If there are various groups of people, we can say instead:

En entrant, je suis tombé sur des groupes de personnes bruyantes.