You are right, “nous nous mîmes à causer” means “we began to talk”. “Nous nous mimes” comes from the simple past form of “Se mettre”. “Se mettre à quelque chose” means “to begin something”.
Simple past is mainly used to express an action that is now finished and often a brief action.

“Causer” is a familiar form of “parler de/ parler à”, to talk about something or to chat to someone. In this context it has nothing to do with the verb “to cause something”.

I don’t know a lot of websites about french language but in France Larousse is a reference http://www.larousse.fr/dictionnaires/bilingues

Le passé simple est un temps très peu utilisé à l’oral, cependant il est indispensable à l’écrit, quel que soit le type de littérature. Les livres pour enfants, par exemple, en regorgent.

La construction en question est loin d’être étrange. C’est le temps utilisé qui la rend “inhabituelle” à l’oreille.