Critiquement est assez courant, et mentionné dans le TLF ainsi que le Littré, mais seulement dans le sens d’esprit critique.

Le répertoire des adverbes de Christian Molinier et Françoise Levrier ne cite que critiquement et critiquablement comme adverbe ayant cette racine.

Dans le sens mathématique, critiquement est attesté, mais rare. Par exemple Google Books ne trouve aucune occurrence de « critiquement instable », mais permet de trouver la thèse de Sylvain Maginier qui utilise ce terme.

On trouve, très rarement, la forme criticalement, mais pas dans des publications que je qualifierais de recommandables. Criticitement (d’après criticité) est introuvable, et de toute façon de construction douteuse.

Critique dans son sens scientifique dérive du même mot latin que dans son sens de jugement, l’adjectif criticus et ses composés. Il s’agit d’une dérivation plus tardive, mais cela n’empêche pas de construire l’adverbe de la même façon même si on aime s’attarder sur l’étymologie. Critiquement suit de nombreux autres adverbes de finale semblable : uniquement, publiquement, logiquement, …

Je recommande donc l’adverbe critiquement.