I’m not sure if there is a proper word, but most people will talk about a Bescherelle (http://bescherelle.com/) from the brand name of the most used (if not only one) book of this type in French.

In case of a better answer, I’ll delete this one.

As per @MakorDal ‘s answer, it is very common to refer to such books as

un bescherelle

However, I believe the technical term for them is simply:

un dictionnaire de conjugaison

On utilise aussi “un conjugueur”, c’est un néologisme, mais il de plus en plus employé sur internet, chaque site qui donne des conseils ou des leçons en français a maintenant son “conjugueur”.
Il a l’avantage de ne pas citer de marque, comme “Bescherelle”.
Sinon oui, le terme traditionnel était “dictionnaire de conjugaison”.