Il existe de nombreux cas d’utilisation de cette forme dans la littérature et elle est courante dans la langue parlée mais personnellement, je ne la considère pas logique, c’est à dire que je ne devrais normalement l’employer en aucun cas ; « une heure » indique seulement deux choses, un point dans le temps comme une heure de l’après-midi ou du matin et secondement une durée d’une heure. Il ne fait aucun doute que dans tous ces usages, en particulier les quatre dans la question, il ne s’agit que de la durée de temps.

L’usage est amplement décrit dans le TLFi à la Section I. B. 2. b) ;

[Pour exprimer une durée inachevée au moment de la parole ou au temps de la narration] Synon. il y a… (que), voilà… (que), cela fait… (que) (la question corresp. est depuis combien de temps?).

Depuis + indication chronol. de durée, du laps de temps écoulé.

• Depuis dix minutes. Vous me donnez les premières consolations que j’aie reçues depuis six mois.

• Elle était (…) au service de la famille depuis une trentaine d’années.

• ça fait quinze jours qu’on se bat et on a l’habitude.
  Depuis quinze jours? répéta Pinette incrédule.

• Depuis quelques jours, depuis quelque temps, depuis un certain temps. L’humeur de la comtesse est changée depuis quelque temps.
• Nous nous trouvâmes dans un espace découvert (…). La culture était négligée depuis de longues années.
  Depuis + indication ou suggestion d’une longue durée. Depuis une éternité, depuis un temps fou, depuis un temps infini; depuis des siècles, des semaines; depuis des jours et des jours; depuis beau temps, depuis belle lurette.
• Tu dois pourtant savoir ce que signifie la paix pour des hommes qui depuis des mois se battent

le sens général ne prend cependant pas en compte cet usage, ce qui montre que ce n’est qu’une anomalie (à éviter) un sens qui va à contre courant ; ce contre-sens produit une impression désagréable.

(TLFi) À partir du moment indiqué ou suggéré par le contexte, depuis ce temps-là; ensuite, par la suite.

On ne peut pas considérer « une heure » et d’autres notions de temps-durée comme « dix ans », « trois mois » et ainsi de suite, comme des expressions d’un point dans le temps pour servir de référence de départ.

Ci-dessous des possibilités correctes de remplacement pour deux des phrases trouvées dans la question

• Il y avait une bonne heure que j’étais assis sur un banc.
  Ça faisait une bonne heure que j’étais assis sur un banc.

• Il aurait déjà dû arriver il y a une bonne heure.
  Ça faisait déjà une bonne heure qu’il aurait dû arriver.

Il aurait déjà dû arriver depuis une bonne heure.
« Could it be that this “depuis/for” is actually associated with “aurait dû”, not “arriver”? »

Je n’y vois rien d’étonnant. L’explication est intéressante mais à mon avis il aurait dû sans infinitif c’est une tête de phrase sans valeur et même quand c’est énoncé comme tel ça sous-entend un autre verbe ([le] faire, agir, par exemple).

À mon avis l’explication tient simplement du fait que la personne devait être là il y a une heure, donc elle est théoriquement absente depuis une heure ou au final ça fait une heure depuis le moment où elle aurait dû arriver ; ça signifie donc qu’on attend depuis une heure : est-ce différent de constater pendant une heure que quelqu’un n’est pas présent depuis une heure alors qu’il devait l’être ? La sémantique du verbe arriver implique de parvenir à destination ; ici on n’y est pas encore parvenu alors qu’on aurait du y être depuis un moment précis qui perdure vu le retard. Je crois que c’est un peu ce qu’on explique ailleurs en langue anglaise…

La solution se trouve davantage à mon avis dans la transformation de la phrase ou l’analyse de procès du verbe que dans une adéquation grammaticale et rigide des morceaux qui la composent… quoique oui en surface il y a une différence entre cette phrase et les trois premiers exemples, si ce n’est parce que le sujet grammatical n’est pas le même (je, il) : mais au final même dans la dernière phrase on peut dire que le sujet logique c’est je, la personne qui attend (j’attends depuis une heure qu’il arrive).