It’s a question asked as a reply to a statement about something/someone being very good.

— Il est si bon aux échecs que tu n’as aucune chance de le battre !
— Si bon que ça ?

— Ces chocolats, ils sont si bons que je vais en prendre quatre boites !
— Si bons que ça ?

The meaning is the same as:

That good?

i.e. "Is it/he as good as that?"

It is not particularly colloquial but standard conversational French.

Very formal French would say:

Est-ce vraiment si bon que cela ?
Est-il…
Sont-ils…

You use this colloquial phrase when someone is praising something or somebody and that you are somewhat surprised and want to make sure, so to speak, that you are hearing right. It is used also in other cases. You must use a subject (the thing or person being praised, usually a pronoun but not necessarily) and a verb, which is "être". Sometimes you can speak elliptically and just use "si bon que ça ?". When the subject is not a person, singular and not a mass noun, the idiomatic turn "c’est" ("ce est" is not used except with the negation (ce n’est pas).) is often used instead of a personal pronoun. It is difficult to choose the subject. Number and gender agreement is necessary for "bon".

• 1— Tu devrais essayer ces œufs de ferme, il coutent 9 € les dix mais il n’y a pas mieux.
  — Vraiment ? Ils sont si bons que ça ? also Ces œufs sont si bon que ça ? …

• 2— Cette crème de marrons est la meilleur que j’ai trouvée dans les vingt dernières année.
  — Elle est si bonne que ça ? also Cette crème (de marrons) est si bonne que ça ?
  …

• 3— Jean est devenu un champion régional, vous le saviez ?
  — Il est si bon que ça ? also Jean est si bon que ça ? (Additional possibilities will not be mentioned in the following examples.)

• 4— Les Chinois l’appellent l’œuf de cent ans, il parait que c’est un délice ; c’est un œuf qui a été préservé cent ans selon la tradition orale mais réellement ce n’est pas plus de trente ans.
  — Vous pensez que c’est si bon que ça ? (not "il est")

• 5— Tu as lu l’article que tout le monde trouve excellent ?
  — Et toi tu l’as lu ? C’est/Il est si bon que ça ?

• 6— Il adore les bains de minuit.
  — C’est si bon que ça ? (not "ils sont"; compare with "1")

To ask if something is really good when the impression it might be good is derived from the appearance of pleasure that people get from it

• 7— Qu’est-ce que tu manges là, Robert ? Tu as l’air de te régaler, c’est si bon que ça ? (not "il")

• 8— Vous ne mangez que de ces pommes-là ? Elles sont si bonnes que ça ?

• 9— C’est une confiserie dont je raffole, j’en mangerais sur la tête d’un teigneux !
  — Si bon que ça ?

• 10— Ce sont des œufs de lombes, c’est comme le caviar…
  — Oh ! Si bon que ça ?

Simply to say that something is not very good, but then the negation must be used

• 11— Elle n’achète plus de ces huitres-là, elles ne sont pas si bonnes que ça.

• 12— Ce n’est pas/c’est pas si bon que ça pour moi, après être restée au soleil un moment il faut que je rentre dans l’eau progressivement. (people on the beach)