Responding to an affirmative question

— Tu vas à la piscine ?

— Oui, j’aime la natation. (Agreeing — you will go)

— Tu vas à la piscine ?

— Non, je déteste la natation. (Disagreeing — you will not go)

Responding to a negative question

— Tu ne vas pas à la piscine ?

— Non, je déteste la natation. (Agreeing — you will not go)

— Tu ne vas pas à la piscine ?

— Si, j’aime la natation. (Disagreeing — you will go)

Note that all of these are the informal style of asking questions (i.e. like declarative sentences but with a rising intonation).

A less informal way is with the est-ce que structure:

Est-ce que tu ne vas pas à la piscine ?

The most formal way is by inversion:

Ne vas-tu pas à la piscine ?

(Thanks to @LukeSawczak for his edits)