There’s just one mistake it’s not

Juste une petite peu de la musique

but

Juste un petit peu de musique

You can’t always trust what they say in music videos, movies & animes.

I’ll take a very famous example, the anime “Dexter’s laboratory” there’s an episode when Dexter says :

Omelette du fromage

But it’s

Omette au fromage

Sometimes they’re making mistakes on purpose but I can’t really tell you why…

And concerning your second question, you can keep the “la” if you want to, but it’s kinda weird.

The correct spell is juste un petit peu de musique but a better way is Juste un peu de musique cause petit and peu in the same sentence is redundant

Native speaker here: “La” sounds a bit uncommun in this type of sentence before a generic noun like “musique” and with “juste”.

I’ve got difficulties thinking of a context where someone could answer “juste un peu de la musique” to a question. Because it lacks a verb the sentence has to be the implied answer to someone, a half of a dialogue.

It’s like saying “only some of the music”. Try thinking of a context where this sentence could be the answer to a question in English…

A google book search on “un peu de la musique” brings only eight results.

“Juste un peu de la” brings no significative result.

An example of use of “un peu de la musique” from the Bibliotheque du conservatoire national de musique et de déclamation.

“On y parle un peu de tout, des inventeurs de la musique, de celle des
Hébreux, de Boèce, de Guido, un peu des notes, un peu des intervalles,
un peu des muances, un peu de la musique feinte et un peu des modes et
des tons.”

In short: “juste un peu de la musique” does not sound right to my ear but you could use

“juste un peu de musique ”

(without “la”) or

“un peu de la musique”

(without “juste”).