Cela ne sera pas vraiment perçu comme impoli, au pire comme du français familier ou “relâché”, en fonction du contexte. En fait, je pense même que dans la grande majorité des cas, les locuteurs ne remarqueront pas que l’autre personne a utilisé le “ne” ou pas, cela passera inaperçu dans le flot de la conversation.

Une petite remarque: il peut y avoir des cas où il est socialement acceptable de répondre avec “tu” à une personne qui a utilisé le “vous”: ce seront des cas où il y a une différence de statut entre les deux personnes. Par exemple:

• un enfant et un adulte (s’ils ne se connaissent pas)
• un professeur et un étudiant (mais là, cela peut dépendre de l’école, du professeur, de la relation entre le professeur et l’étudiant, etc.)
• un employé et un supérieur hiérarchique (dans certaines entreprises “old school”, mais de mon expérience, je pense que cela a tendance à
  se perdre)

Par contre, entre par exemple deux inconnus adultes, répondre à un “vous” par un “tu” est en effet impoli, ou alors c’est une marque d’agressivité, par exemple pendant une dispute.