This “en” means “de le faire” (The “doing” in “It’s not worth doing”). The sentence without “en” would be :

ça ne vaut pas la peine de le faire

“En” can be used when when you have a verb using the preposition “de”, for example :

J’ai mangé de la tarte.

If the pie was already mentioned before, you could just use “en” instead :

Mr X : As-tu mangé de la tarte ?

Mr Y : Oui, j’en ai mangé.