It means “to start smoking“, as a habit, not a single cigarette.

There is no point asking someone if they started smoking a cigarette right now, because either they’re still smoking and you can see it (and use “T’es pas en train de fumer” directly, or they’re done and you’ll ask if they smoked a cigarette, not if they started then stopped.

If you ever need to say it, I’d say “Tu n’aurais pas commencé/allumé une cigratte, par hasard ?”

Ce jour là, il se mit à fumer pendant le repas. Chose qu’il ne faisait pas d’ordinaire.

Il s’agit ici de parler d’une occurrence de la pratique d’un fumeur.

Il fumait depuis l’âge de dix-huit ans. Il s’était mis à fumer avec des amis pendant les vacances d’été.

Il s’agit ici de prendre l’habitude de fumer.