“si” is only used to answer a negative question or assertion and contradict it: (Contredit un énoncé négatif – see the third tab [SI³, adv.])

Tu ne manges pas? (Are you not eating?)
Si, j’arrive. (On the contrary, I’ll be right there)

Contrast with the negative answer:

Non, je n’ai pas faim. (No, I’m not hungry)

Another example, not on a question.

Tu ne fais jamais la vaisselle! (You never do the dishes!)
Si, je l’ai faite hier. (On the contrary, I did them yesterday)

vs.

Non, et alors. (Indeed I don’t, so what?)

“oui” is used to answer a positive question:

Tu veux du pain? (Do you want some bread?)
Oui, merci. (Yes, thanks.)

vs.

Non, merci. (No thanks.)

Also, note that en effet can be used to agree with the other person, regardless of whether he used a positive or negative sentence/question:

En effet, je n’ai pas faim. (Indeed, I’m not hungry)
En effet, je ne fais jamais la vaisselle. (Indeed, I never do the dishes.)
En effet, je veux du pain. (Indeed, I want bread — although that one is weird, unless you got some golden tattoo on your forehead.)

Actually Japanese is an interesting example, because it is a language that uses “yes” and “no” the opposite way of English when replying to a negative question.

— Aren’t you coming?

— No.

In English, “no” means here “no, I am not”. In Japanese it would mean “your affirmation is false, I am”.

French works the same way as English and Spanish here: replying “no” to a negative sentence is agreeing. In the case of “yes”, the word is not “oui” anymore, but “si”.

In a sense “si” is stronger than “oui”, since “oui” means you agree, while “si” means you do not agree, quite the opposite!

Il s’agit de la négation d’une négation.

— Tu comprends ?

— Oui.

Means “yes, I understand.”

— Tu ne comprends pas ?

— Si

Means “no, I don’t not understand“… Hence, “I do understand” 🙂

Saying « oui » in that context, is ambivalent and could be understood as « oui, je ne comprends pas. » Although the correct form would be « non, je ne comprends pas. »

OK, this is more like a long comment, because the answer has already been given with lots of details by Joubarc and others. Yet, I feel like these answers could be expanded a bit in terms of generality, so here I go… I’ll do so in French, and refer you to a related answer on English Language & Usage for an English reply (by yours truly).

Pour ce qui est des réponses aux questions fermées (questions « oui ou non »), on peut classer les différents languages en fonction du nombre de réponses possibles, qui peut aller jusqu’à quatre :

• Viendras-tu ? AAA, je viendrai.
• Viendras-tu ? BBB, je ne viendrai pas.
• Ne viendras-tu pas ? CCC, je viendrai.
• Ne viendras-tu pas ? DDD, je ne viendrai pas.

La plupart des langues peuvent se classer selon le nombre de réponses possibles :

• Les systèmes à deux formes : par exemple, l’anglais moderne n’a que yes et no. On a donc :

  AAA = CCC = yes (« yes, I will come » que la question soit positive ou négative)
  BBB = DDD = no (« no, I won’t come » dans les deux cas)

  Se classent parmi les langues à deux formes : l’anglais (yes/no), l’espagnol (si/no), l’italien (si/no), le portugais (sim/não) et le grec (ναι/όχι).

• Les systèmes à quatre formes : de manière surprenant, c’était le cas de l’anglais jusqu’à l’époque élisabethaine (Early Modern English) :

  ◊ Will he go? — Yea, he will.
  ◊ Will he go? — Nay, he will not.
  ◊ Will he not go? — Yes, he will.
  ◊ Will he not go? — No, he will not.

  Les quatres réponses sont différentes, yes/no/yea/nay. Le seul autre exemple que j’ai trouvé est le roumain (da/nu/ba da/ba nu).

• Les systèmes à trois formes, dont le français (oui/non/si), le danois et le suédois (ja/nej/jo), le norvégien (ja/nei/jo), l’islandais (ja/jú/nei), le hongrois (igen/nem/de) et l’allemand (ja/nein/doch). Ils fonctionnent tous selon le même mode, c’est-à-dire BBB = DDD ; autrement dit, ce sont les deux réponses affirmatives qui sont différenciées:

  ◊ Viendras-tu ? — Oui, je viendrai.
  ◊ Viendras-tu ? — Non, je ne viendrai pas.
  ◊ Ne viendras-tu pas ? — Si, je viendrai.
  ◊ Ne viendras-tu pas ? — Non, je ne viendrai pas.

En plus de tout cela, certaines langues n’ont pas de mots pour oui et non, et réutilisent le verbe de la question (telles que le Latin). Enfin, des langues comme le japonais fonctionnent sur un système d’accord avec la proposition énoncée (voir pour les détails le lien de Dave).

Références : Wikipedia, ce site pour les listes de langues par système.