Selon le TLFi cela vient du latin médiéval « portus »

Col de la chaîne des Pyrénées, entre le versant français et le versant espagnol. Le fond de la fissure monte brusquement comme s’il voulait se hausser jusqu’à la falaise, mais s’arrête à mi-hauteur, formant une échancrure arrondie sur le ciel; c’est le port de Salau. De l’autre côté, c’est l’Espagne, dominée par des falaises identiques aux nôtres (…). On peut passer en Espagne sans suivre le sentier qui franchit le port, mais il y faut beaucoup d’acrobatie (Abellio, Pacifiques,1946, p.329).

Prononc.: [pɔ:ʀ]. Homon. porc, pore, port1, port2.

Étymol. et Hist. 1100 «col dans les Pyrénées» (Roland, éd. J. Bédier, 657). Empr. à l’a. prov. port (xiies., Raimbaut de Vaqueiras ds Bartsch Prov., 142, 14), lat. médiév. portus (xes., texte du Languedoc, cité par Aebischer ds Studi Medievali, 18, 7). Bbg. Appel (C.). Vermischtes. In: [Mél. Mussafia (A.)]. Halle, 1905, pp.147-157.

Walther von Wartburg consacre un assez long développement à cette question dans le Französiches Etymologisches Wörterbuch (https://apps.atilf.fr/lecteurFEW/lire/90/228) dans l’entrée pǒrtus.

Après avoir rappelé le sens répandu de pǒrtus (port – harbour), il précise :

• Outre le sens de port (harbour), on trouve dans les textes plus anciens, par exemple dans la Loi des Douze Tables (Vème siècle avant J. C.) pǒrtus dans le sens de porte (gate). Ce sens s’est maintenu notamment dans le nord de l’Espagne et au Portugal (portugais porto „passage pratiqué dans l’enclos d’un champ”, castillan portillo „abertura en las murallas”).
  Si le sens ancien de pǒrtus (gate, passage) a régressé à Rome, ce n’est pas le cas en Hispanie où il a été apporté lors de la colonisation romaine. Cette zone ibéro-romane s’étend aussi à la Gascogne. Le mot désigne là spécialement les cols qui permettent de passer les Pyrénées. Ce sens est attesté en ibéro-roman où il est documenté dès le Xème siècle en latin médiéval, cf. espagnol puerto „col”, asturien puertu „paso o camino entra altas montanas”, castillan portillo „camino angosto entro dos alturas”. Etant donné qu’une telle passe se resserre en plus d’un endroit en défilés plus étroits, le mot s’emploie souvent au pluriel en vieux provençal même s’il ne concerne qu’un seul col.
  Du sud, le terme est entré en français par la Chanson de Roland (Li reis serat as meillurs pors de Sizre, Le roi sera aux plus hauts cols de Cize). Il est souvent employé dans les chansons de geste.
  Comme ces cols marquent aussi la frontière avec l’Espagne, le pluriel porz est également utilisé pour indiquer généralement la frontière. C’est dans ce sens qu’il faut comprendre dans les chansons de geste pors d’Alemaigne, de Hongrie etc.
  L’emploi occasionnel de ce terme en moyen français et en français moderne ne témoigne pas d’une survivance en gallo-roman de l’ancien sens latin. Il s’agit plutôt d’un vestige de l’ancien français et d’une réminiscence des chansons de geste. De col, le mot en arrive à désigner l’ensemble du massif pyrénéen comme dans li port (Li fet des Romains, XIIIème siècle), de même en basque bortu „les Pyrénées“.