Indeed, those are very similar expressions.
However, some may disagree, but to me “C’est pas trop…” is more colloquial, oral, than the first form. And in a proper written form, I would rather go with “Ce n’est pas vraiment ma tasse de thé”, but in oral “C’est pas trop” is perfectly fine.

For starters, we wouldn’t usually say ma tasse de thé in French; usually we would say,

• C’est pas vraiment mon truc.
• C’est pas trop mon truc.

The nuance (at least in my area!) between the two sentences is not one of degree: they both mean the same thing as far as strength or emphasis is concerned. The nuance lies more in context.

I would tend to use vraiment in a case where someone expected it to be my cup of tea, whereas I would tend to use trop in a situation where I am in a discussion setting where there isn’t really any expectation as to what my cup of tea is.

In other words, if my boss is asking me to do something that I really don’t know how to do, I would tend more to use vraiment, whereas if I’m talking with a friend about a particular activity, I might interject the latter expression.

Bottom line:

They’re synonymous. You can use them interchangeably. There is a slight nuance, however, as I outlined above.

Ce n’est pas ma tasse de thé is still used in France although essentially by educated/upper class people and very rarely otherwise, especially by younger generations who might not even know its meaning.

About the degree, I would say ce n’est pas trop ma tasse de thé is slightly lighter than ce n’est pas vraiment ma tasse de thé as the former doesn’t rule out it might be a little ma tasse de thé while the latter politely states that the truth is it is not ma tasse de thé. Not everyone agrees though, as shows @Quidam’s comment and downvote.

An even stronger expression which goes straight to the point would be ce n’est vraiment pas ma tasse de thé. See Depending on whether to say "vraiment pas" or "pas vraiment", does the meaning of this sentence change?

Les 2 expressions sont quasiment identiques, une personne peut utiliser l’une ou l’autre de ces expressions pour dire la même chose. Il n’y a pas vraiment de gradation, cela revient au même.
Toutes les personnes qui diront qu’il y a une gradation, en trouveront une différente. Certaines personnes trouveront que “pas vraiment” et plus fort que “pas trop”, d’autres le contraire.
Aucune source n’existe pour dire que “pas vraiment” est plus ou moins que “pas trop”. C’est un peu du chipotage.

Ce qui intéressant de considérer: Est-ce que je peux utiliser l’une ou l’autre de ces expressions et dire la même chose. Sont-elles interchangeables?

Je pense que oui. Tout dépend des habitudes d’expression de la personne.
C’est une expression que les personnes auront souvent tendance à employer toute faite.
Par exemple, une personne qui dira “C’est pas vraiment ma tasse de thé”, vous constaterez qu’elle aura toujours tendance à la ressortir telle quelle.

C’est pas vraiment ma tasse de thé.
C’est pas trop ma tasse de thé.

pas vraiment = pas trop.
Bien malin qui dira si “pas vraiment” est plus ou moins que “pas trop”.
Et surtout, il sera toujours obligé de dire “à mon avis”.
Aucune réponse n’est la bonne.
C’et une question d’opinion.

• Pour le dire plus fortement:
  C’est vraiment pas ma tasse de thé. (very strong).
  Là, il y a clairement une différence de nuance.