I don’t know if there is a rule. For each expression, such as être impatient …, avoir plaisir …, you might have to consult a dictionary to figure out which préposition to use.

Les verbes suivis d’un autre verbe à l’infinitif peuvent employer les prépositions à ou de (rarement ou jamais les autres), ou ne pas employer d’infinitif.

Comme pour les formes où le verbe est suivi d’un substantif, qui utilisent différentes prépositions (le plus souvent de ou à), c’est spécifique à chaque verbe.

Le même verbe peut aussi utiliser plusieurs formes avec des sens quelquefois différents.

Il faut les connaître ou consulter un dictionnaire ou des listes.

Voici un site qui en recense beaucoup.