Tu réponds si pour la simple raison que si tu répondais oui, il y aurait ambiguïté.

De fait, avec ton tu ne vas pas à la piscine ? La réponse oui isolée, pourrait signifier que celui qui est ainsi interrogé acquiesce.

Il semble que l’ambigüité sur les réponses aux questions négatives soit si crainte qu’il est fréquent, dans la réponse d’entendre ajouté le verbe de la question, en reprenant ton exemple :

Tu ne vas pas à la piscine ? – Si, j’y vais