Il n’y a rien entraîne le subjonctif ici parce qu’on cherche à exprimer l’éventualité d’une action et non pas une action dont la réalité est avérée. Il en va de même avec il (n)y a (pas) beaucoup.
Donc, oui, on dirait:

Il n’y a pas beaucoup que je puisse faire.

Ceci dit cette phrase est correcte et compréhensible, mais personnellement je préférerais exprimer ça autrement :

Il n’y a pas grand chose que je puisse faire.

Il y a peu de choses que je puisse faire.

Il n’y a pas beaucoup de choses que je puisse faire.

De même que je préfère dire :

Il y a peu de choses que je puisse faire.

à

Il y a peu que je puisse faire.

C’est peut-être dû au fait que je préfère employer un nom qu’un pronom après il y a, et peu et beaucoup peuvent être des pronoms, alors que rien peut aussi être un nom en plus d’être un pronom. Dans peu de choses et beaucoup de choses, peu et beaucoup sont des adverbes.

Certainement:

Il n’y a pas beaucoup que je puisse faire.

Dans il n’y a rien le subjonctif souligne une incertitude alors dans il n’y a pas beaucoup la chose va de soi.