In this context “with that” is translated as “sur ce”. That’s probably what you are trying to get back at.

• Elle a fait une scène et sur ce elle a fait sa sortie.

Some of the possible translations that come to my mind would be :

• Elle fit une scène, puis s’en alla
• Elle fit une scène, et sur ce s’en alla
• Elle fit une scène, et avec ça s’en alla
• Elle fit une scène, et aussitôt après s’en alla
• Elle fit une scène, et là-dessus s’en alla

Literary:

Elle a fait un esclandre et sur ce, s’en est allée.

Colloquial:

Elle a piqué sa crise et aussi sec, s’est cassée.