Your first choice

Octave a une façon particulière de gérer les polynômes.

Mean you manage polynomials (like you create or delete polynomials).

And

Octave a une façon particulière de manipuler les polynômes.

Mean you transform polynomials.

I don’t know what Octave do but I think

Octave a une façon particulière de gérer les polynômes.

is better

I think the sentence with the closest meaning of:

Octave has a special way of handling polynomials.

Is the following:

Octave a une façon particulière de traiter les polynômes.

However adding more context would definitely solve this translation issue.

En plus de gérer, manipuler (qui rend le mieux l’étymologie anglaise), et traiter, je propose: appréhender. Mais ça convient mieux si Octave est une personne et pas un logiciel.