I found a rule book explaining why and how.

The why is because it is this noun is used as an adjective (as @Chop said in comment) :

Devant un nom en fonction d’attribut indiquant une profession, il n’y a normalement pas d’article. Ceci s’explique par le fait que quand le nom est employé pour désigner une profession, il est as­si­milable à un adjectif. (voir p. 281 et p. 292)

Pierre est architecte. Ses parents étaient agriculteurs.
M. Boutefeu est traducteur. Son père est dentiste.

Toutes ces phrases répondent à la question « quelle est la profession de X ? » :

Quelle est la profession de ses parents ? Ils sont agriculteurs.
Quelle est la profession de notre voisin ? Il est ramoneur.

It also agrees with @Keith comments : it must be used without complement :

On emploie l’article zéro dans ce cas uniquement si le nom est utilisé sans complément. Si on le dé­ter­mine ou on le complète avec un élément particulier (un possessif, un adjectif, une proposition relative etc.), il faut utiliser un article :

Qui est Pierre ?
— Pierre est un architecte renommé.

The explanation is that we don’t ask about his job but about him : “who is he?”.

En effet, dans ce cas-là, on ne répond plus à la question « quelle est la profession de X ? » (architecte célèbre n’est pas une profession, le dentiste de notre famille non plus), mais à la question « qui est X ? », à laquelle on répond en général par c’est… (p. 281). […]

There is also a part when the name profession is detached from the rest of the sentence, you still don’t use article :

Quand le nom de profession est placé en position détachée en tête de phrase, il reste sans article. C’est ainsi que s’explique l’absence d’article après de dans les phrases suivantes :

Il était boxeur, maintenant il est devenu chanteur. → De boxeur, il est devenu chanteur.

Avec un adjectif, ce serait le même modèle :

Il était déjà impertinent, mais maintenant il est devenu franchement malpoli. → D’ impertinent, il est devenu franchement malpoli.

It is also referenced here, on 5th part, with some exercises if you want to practice but I’m afraid those aren’t on the topic.

It is not always être, it is not always a profession, it is not always one verb, and it is not always one noun.

• Quand j’étais enfant.
• Ils sont cousins.
• Il demeure Président du Conseil d’administration.
• Marc et Marie sont frère et soeur.
• Je veux être ingénieur.
• On est devenus architectes.

What are these verbs? – Stative, Linking, or Copulative?

They are stative verbs, specifically linking verbs, and include the copulas. The majority of the internet (in two languages) seems to confuse these three terms and use them interchangeably. A stative verb (verbe d’état) expresses a state of being, not an action. The verbs include “to think, feel, see, have, smell, depend, penser, sembler, dépendre de, étonner etc). Some stative verbs link attributes to the subject, hence they are called linking verbs (verbes attributifs). These specific stative verbs must have a predicate adjective or nominative after the verb (get, turn, grow, avoir l’air, passer pour, s’appeler, etc). The copulas (copules) or copulative verbs (verbes copulatifs), are mores specific and have no other extra purpose than to link the P.A. or P.N. to the subject. English and French only have one: (to be, être). Other languages like Russian and Japanese simply leave them out, while languages like Spanish and Italian (ser vs estar) have two in order to denote the permanence of the predicate’s arguments. You will hear linking verbs sometimes called “semi-copulas”, but I digress.

Okay… so what about the noun?

It is used to talk about professions, but not job descriptions. It is used to talk about religions, but usually these words are already adjectives. It it used to talk about family members, but mainly in the plural (frères et soeurs, cousins, parents, etc), or for a person who cannot have a job (enfant / gamin). This seems to describe the function in the family, or more specifically the name of the role in the family, in a group, in a life, or in a job. Not all linking verbs can be used with a Predicate Nominative, specifically as a role, so we make a list.

My proposed formula:

[Subject]
+
[Verb Phrase ending with: être, (re)devenir, (re)nommer, rester, demeurer, (ré)élire]
+
[Noun Phrase that describes the name of a person’s role being used as an adjective]

Or the condensed version:

[sujet] + [verbe attributif] + [rôle]