"En"» does not refer to "temps" but to the action expressed by the verb "recycler".

There are several ways to use a replacement for « en », and some do not result in a good style.

• Il y a de vieux sweats dans l’armoire, et je les recyclerai quand j’aurai le temps de le faire.

• Il y a de vieux sweats dans l’armoire, et je les recyclerai quand j’aurai le temps de les recycler. (not too good in reason of the repetition)

• Il y a de vieux sweats dans l’armoire, et je les recyclerai quand j’aurai le temps de faire leur recyclage. (not too good)

You can, however, do away with "en", but the sentence does not mean exactly the same thing, although, in most cases the difference doesn’t matter.

• Il y a de vieux sweats dans l’armoire, et je les recyclerai quand j’aurai le temps. »