J’en ai des frissons dans le dos.

Can be translated

This gives me shivers.

The “en” has the same function as this in this translation.

Using “de” we could write

J’ai des frissons dans le dos à cause de ce truc.

To give more details, a better way of saying it would be :

Ce truc me donne des frissons dans le dos.

The only cases where you could directly use “de” are when you specify the kind of shivers :

J’ai des frissons de fièvre (Fever)

Even then, it’s not the best way to use it. If you can, stick to the “Ce truc” structure.

« Quand je repense à ce qui est arrivé sur cette île… J’en ai des frissons dans le dos » = j’ai des frissons dans le dos venant de cette pensée. La provenance des frissons est explicite.

« J’ai des frissons dans le dos » est aussi correct ; on se doute bien que c’est cette pensée qui donne des frissons dans le dos, mais ce n’est pas explicite.

When you see “en”, think “de cela” or “de ce qui vient d’être évoqué”. Unlike in your example, “en” is often compulsory. Example:

Voici des bonbons – J’en veux ! (not: Je veux !)

Here are some candies – I want some! (not: I want!)