Affirmative question

— Tu vas à la piscine ? — Oui, j’aime la natation. (Agreeing — you
will go)

— Tu vas à la piscine ? — Non, je déteste la natation. (Disagreeing —
you will not go)

Negative question

— Tu ne vas pas à la piscine ? — Non, je déteste la natation.
(Agreeing — you will not go)

— Tu ne vas pas à la piscine ? — Si, j’aime la natation. (Disagreeing
— you will go)

Note that all of these are the informal style of asking questions (i.e. like declarative sentences but with a rising intonation).
The most formal way is by inversion.

Ne vas-tu pas à la piscine ?

For your question in particular:

— Es-tu allé en ville ? — Oui, j’y suis allé/ Non, je n’y suis pas
allé.

A less informal way is with the est-ce que structure:

Est-ce que tu ne vas pas à la piscine ?

As @jlliagre note

Qu’est-ce que tu es allé faire en ville ?

is acceptable.

A formal version could be:

Qu’es-tu allé faire en ville ?

First of all, ‘Qu’est-ce que tu es allé à la ville’ is wrong.
To answer your question, qu’est-ce que literally means ‘what is this which’ or ‘what is this that’.
Qu’est-ce que translates to ‘what’ when it is used as an interrogative for a direct object. For example: Qu’est-ce que tu fais ? – What are you doing/What do you do?
It translates to ‘what is’ when it is used as an interrogative for a definition. For example: Qu’est-ce qu’un blog ? – What is a blog?
I hope this answers your question.