Pour moi, dans cette phrase, le ne n’est pas un ne explétif car il est nécessaire à la compréhension de la phrase (phrase négative).

Ici, trop peut être remplacé par pas :

« Puis il m’a serré la main qu’il a gardée si longtemps que je ne savais pas comment la retirer. »

L’auteur aurait pu également écrire (formule moins soutenue) :

« Puis il m’a serré la main qu’il a gardée si longtemps que je ne savais pas trop comment la retirer. »

Un équivalent plus habituel est « je ne savais pas vraiment comment la retirer ». Ne … trop connote doute, indécision, absence de choix, ou manque d’alternatives, dans une situation quelque peu embarrassante.

C’est l’une de ces combinaisons formées avec la particule ne, comme « ne … plus » ou « ne … rien ». Son emploi est plutôt recherché, mais on l’entend parfois. Par exemple :

Je ne savais trop quoi faire.

Ici, ne n’est pas explétif : il exprime la négation et est obligatoire. Quant à ne (pas) savoir trop, cela signifie ne pas savoir avec précision, se demander, ou encore ne pas voir de solution à un problème.

Cette phrase signifie Puis il m’a serré la main qu’il a gardée si longtemps que je me demandais comment la retirer.

Dans le même esprit, on emploie également ne pas voir trop : s’il y a une panne d’électricité à trois heures du matin, je ne vois pas trop quoi faire.

Ce “je ne savais trop” ou “je ne savais pas trop” (plus lourd), est une figure de style.

Loin de “savoir trop”, le narrateur ne sais pas du tout comment retirer sa main.

Mais il ne dit pas “je n’avais aucune idée”, il dit juste qu’il n’avait pas un surplus d’idées. C’est sûr.

C’est une litote.
https://fr.wiktionary.org/wiki/litote