Des générations de francophones sont d’accord avec toi. Les verbes du premier groupe forment leur impératif présent deuxième personne du singulier en -e et non -es comme à l’indicatif. Mais devant les pronoms en et y (lorsqu’ils sont compléments du verbe à l’impératif), on ajoute un -s et on fait la liaison. Il en est de même pour les quelques verbes du troisième groupe dont l’impératif singulier est en -e.

Parle de ton expérience. Parles-en. [paʁl.z‿ɑ̃]
Pense à ton rendez-vous. Penses-y. [pɑ̃s.z‿i]
Cueille des fleurs. Cueilles-en. [kœj.z‿ɑ̃]

La BDL signale quelques cas particuliers :

Va en acheter. (“en” est complément de “acheter” et non de “va”, donc pas de s)
Laisses-en sortir une. (“en” est complément de “sortir”, mais “laisser” est une sorte d’auxiliaire, et du coup on met quand même un s)
Travaille en silence. (“en” est une préposition, donc pas de s)

L’origine des formes de l’impératif explique l’historique de ces règles étranges. L’impératif en français ressemble beaucoup à l’indicatif : il est identique sauf au présent singulier pour les verbes du premier groupe, et pour quelques verbes irréguliers. Au premier groupe, l’impératif singulier deuxième personne vient de la forme latine, qui n’a pas non plus d’s final : indicatif amas → tu aimes, impératif ama → aime ! Le s devant les pronoms en et y est en partie euphonique, mais en partie aussi une contamination de l’indicatif, et un ajout de s final s’est produit par analogie à l’indicatif sur certains verbes, devenant systématique pour la deuxième personne du singulier à tous les temps et modes alors qu’il ne l’était pas en ancien français.