You can use chaufferette:

TLFi:

Ustensile, appareil de différentes formes destiné à chauffer une partie du corps ou un objet à l’aide de substances chaudes (braise, cendre, eau chaude), ou selon des procédés plus modernes (électricité notamment).

As commented, bouillotte would also fit.

There used to be a specific and possibly regional term for it, moine, but I guess it has been lost nowadays.

Appareil formé d’un cadre en bois où l’on suspend un réchaud de braises et servant à chauffer les lits. Lit que bassinait en votre absence un «moine» − c’est ainsi qu’on appelle là-bas [à Lamalou-le-Haut] un réchaud qu’un ingénieux système d’arceaux suspend entre les draps écartés (Gide, Si le grain, 1924, p. 428) .
2. P. ext. Objet quelconque servant à chauffer les lits. Après (…) la femme dessert, fait son petit train train, la couverture, le moine, et quand elle est couchée, la place chaude, on tombe dans le tas (A. Daudet, Sapho, 1884, p. 189). Elle s’a frotté d’onguent et couchée avec un moine sur les reins (Arnoux, Seigneur, 1955, p.46).