I have never used nor heard prendre avec des gants de soie, only prendre des gants avec quelqu’un. Of course it doesn’t mean it’s never used… If I used it I would rather say il faudra prendre cet homme avec des gants (de soie) but il faudra prendre des gants (de soie) avec cet homme/avec lui sounds equally possible.

According to the Dictionnnaire culturel en langue française the phrase prendre, mettre des gants (avec quelqu’un) appeared in the 19th century. No mention of gants de soie either at gant or at soie.

Personally I hardly ever use prendre des gants mais (ne pas) prendre avec des pincettes to mean *handle with kid gloves”.

Example from the Dictionnnaire culturel en langue française:

« […] c’est un maniaque, un braque, un pointu […] un être susceptible, désagréable, insociable […] à ne pas prendre avec des pincettes […] » (E. Labiche, Un monsieur qui prend la mouche).

Thinking about it, it rather sounds like an antiphrasis used with that meaning (i.e. “handle s.o. with care”). Prendre avec des pincettes, in the affirmative can be found with the same meaning:

[…] une personne qui vous dit : « En ce moment, mon chef, il est vraiment à prendre avec des pincettes. » Ça veut dire : « Il faut faire attention, il faut prendre ses précautions quand on lui parle parce qu’il est très nerveux. » Prendre avec des pincettes, ça veut dire faire attention, prendre des précautions.

The first meaning of (ne pas) prendre avec des pincettes was:

Il n’est pas à prendre, à toucher, avec des pincettes : il est très sale, répugnant, et, fig., misérable, ignoble. (1835) (Dictionnaire culturel en langue française)

Il ne faut pas le pendre avec des pincettes.
Il ne faut pas prendre de pincettes avec lui.

Prendre avec des pincettes (affirmative then) when used for something and not someone means “to take something with a pinch of salt”:

Cette information est à prendre avec des pincettes.