On va partir avec le premier terme à apparaître dans la langue française (XIVe siecle) :

Le verbe référer, directement issu du latin referre

Partant de là, on a le participe passé référé ainsi que le participe présent référant tous deux légitimement substantivables au besoin.

SAUF que… sauf que, comme le DHLF le fait observer, à l’exception d’une formule de droit, “aucun des emplois transitifs de ce verbe ne s’est maintenu.“

On ne connaît alors plus que l’usage pronominal (se référer à) (XVe)
Et c’est donc là que tu as raison : substantiver le participe présent d’un verbe pronominal, ce serait indiquer que c’est l’entité qui est “SE référant à quelque chose d’autre“

En parallèle de cela, l’anglais to refer poursuit sa vie de transitif indirect.
Vient ensuite (XIXe) Dumont traduisant un texte de Bentham dans lequel il trouve le substantif “reference” qu’il traduira en forgeant le mot français “référence”. => (système de référence / ouvrage de référence…)

C’est de cette référence (effectivement directement issue de l’anglais donc) que circa 1955, vient le référent, le truc auquel on fait référence.

Voilà toute l’affaire. Tu l’avais d’ailleurs bien sentie venir sous l’angle du sens. Sous le point de vue grammatical, tout s’explique donc par la transitivité perdue par le référer français mais conservée par le to refer anglais.