Tout d’abord, il faut signaler que l’expression “à dormir debout” a toujours le même sens, alors que l’utilisation de “ne pas tenir debout” peut varier selon le contexte.

“Dormir debout” frôle l’impossible (du moins pour un être humain, cfr ici), donc une histoire à dormir debout est une histoire qui semble loufoque, exagérée, incroyable dans son ensemble… Autrement dit, elle n’a ni queue ni tête. En général, ce sont des histoires assez complexes.

“Ne pas tenir debout” fait référence à un effondrement prochain. Par exemple:

Je suis mort de fatigue; je ne tiens plus debout; il faut que j’aille
dormir sinon je vais m’effondrer.

Dans le contexte où l’on signale l’invraisemblance, une histoire qui ne tient pas debout peut sembler vraisemblable à première vue, mais un élément de l’histoire la rend invraisemblable (comme si l’on enlevait une carte à la base d’un château de cartes, ce qui provoquerait l’effondrement de tout l’édifice). Par exemple:

Ton histoire ne tient pas debout. Comment peux-tu avoir regardé la
télévision pendant une heure alors qu’il y avait une panne de courant
dans tout le quartier?

Pour conclure, l’histoire à dormir debout apparaît comme invraisemblable dans son ensemble alors que l’histoire qui ne tient pas debout ne pèche que par l’un ou l’autre détail. J’ajouterais qu’une histoire à dormir debout est invraisemblable mais parfois vraie, alors qu’une histoire qui ne tient pas debout est plutôt vraisemblable à première vue mais fausse en réalité.