Premièrement, « avoir à voir avec » est classé ainsi à l’entrée voir du TLFi :

1^re Section. Domaine des perceptions phys.; p. ext., domaine des perceptions phys. mettant en jeu un sens
différent de celui de la vue.
[…]
2^e Section. Domaine de la pensée. Percevoir par l’esprit, se représenter en esprit.

• I. − Voir + compl.
• II. − Empl. trans. indir. Voir à

• III. − Empl. abstraits.

  • A. −
    • 1. Voir +(loc.) adv. Avoir une certaine conception des choses; se faire une certaine idée d’elles.
    • 2. Façon, manière de voir. Opinion, conception.
  • B. − Synon. de comprendre.
  • C. − P. ext. [Exprime une relation, un rapport; constr. le plus souvent avec ne… rien]
    • − Avoir à voir avec…
      • ♦ [Le suj. et le compl. désignent des pers.] Avoir un lien; avoir quelque chose de commun avec.
      • ♦ [Le suj. et le compl. désignent des choses] Être du même ordre que; aller dans le même sens que.
      • ♦ [Le suj. est un pron. neutre] Cela n’a rien à voir avec nous. Cela ne nous concerne pas.
    • − Avoir à voir dans…
      • ♦ [Le suj. désigne une pers.]
        • Être concerné par.
        • Avoir à redire à.
      • ♦ [Le suj. désigne une chose] Être en cause.

[…]
[ Trésor de la langue française informatisé – TLFi, extraits de la structure de l’entrée voir ]

On note par exemple qu’« avoir à voir dans » peut vouloir dire « avoir à redire à », qui lui n’implique pas de dire à nouveau mais plutôt de critiquer. Nous sommes loin du domaine des perceptions physiques. Il s’agit plutôt d’extensions des sens abstraits comme juger, considérer, deviner, connaître, s’occuper et veiller (sur) que voir peut signifier. ¹

Plus spécifiquement, au Dictionnaire étymologique et historique du galloroman (Französisches Etymologisches Wörterbuch – FEW), à l’entrée voir (voir p. 421, 2e colonne), ce qui précède « n’avoir rien à voir », c’est la tournure :

n’avoir que voir à qch « n’avoir pas à s’occuper de » OudC, 1640

[ Französisches Etymologisches Wörterbuch – FEW, vidēre ]

^{La référence au FEW, Curiosités françoises (1640) de A. Oudin.}

C’est complètement sorti d’usage (mais sa forme me rappelle celle de n’avoir que faire de). C’est une réduction de la valeur abstraite quand elle est ramenée à un sujet nom de chose qui la fait glisser vers la mise en rapport/se rapporter à (Dictionnaire historique de la langue française, dir. A. Rey, ed. Le Robert, à voir). Puis, de n’avoir rien à voir à à n’avoir rien à voir dans/avec ; le FEW note attesté en 1718 et 1773, alors que le DHLF note uniquement 1718 pour la forme avec avec.

En résumé il s’agit, par extension, d’une réduction des sens abstraits de voir, d’après la tournure « n’avoir que voir à [quelque chose] ».

_{¹ C’est n’est pas le sujet ici et je ne parle pas portugais, mais j’ai cru comprendre qu’il y avait aussi une grande variété de sens avec ver (2), mais peut-être que les sens abstraits dont je traite sont davantage réalisés ou plus usuels avec considerar ??}