En se réfère à la situation décrite, ici des vêtements qui, nous dit-on, sont vieux et usés. Si ces vêtements sont vieux et usés, on pourrait légitimement s’attendre à ce qu’ils soient également sales. L’expression n’en était pas moins exprime le fait que malgré ce que l’on pourrait attendre/s’imaginer, la réalité est différente.

Il existe d’autres expressions du même genre comme :

Il n’en est pas moins…

Il n’en reste pas moins que…

Et d’autres expressions où en se réfère à une situation décrite (précédemment ou juste après), comme :

À l’en croire […] (si l’on croit ce qu’il dit)

Je m’en fiche ! (Je me fiche de ce qui a été dit/décrit)

J’en ai profité pour […] (J’ai profité de cette situation pour […])