La phrase de substitution dont vous parlez est :

Elle aurait dû penser à son livre. (She should have thought about her book.)

Il aurait fallu qu’elle pense à son livre (She would have needed to think about her book) semble être une bonne traduction.

Les sens des deux verbes falloir et devoir sont assez proches, même si falloir semble un peu moins fort, mais :

• il faut partir = we have to leave

• il faudrait partir = we should leave (semble correct néanmoins)

En résumé ce n’est pas vraiment une erreur, on pourrait traduire par « should » ce verbe falloir.

*Il aurait dû fallu qu’elle pense à son livre n’est pas correct. Je ne pense pas qu’il soit possible d’utiliser devoir de manière impersonnelle. Elle aurait dû penser à son livre par contre est correct et peut remplacer Il aurait fallu qu’elle pense à son livre dans la plupart des contextes sans changer le sens mais en introduisant une ambigüité potentielle : « Elle aurait dû… » est aussi utilisable quand il y a manquement à une obligation tandis qu’avec « il aurait fallu… » sa responsabilité ne peut être aussi fortement mise en cause, on est plus dans le domaine de l’occasion manquée.

Il me semble^* que She would have needed to think about her book est plus proche de elle aurait eu besoin de penser à son livre et donc qu’elle aurait personnellement été touchée par son manque de prévoyance (ce qui est possible mais pas obligatoire avec les deux autres formulations).

(*) D’une part mon anglais est loin d’être parfait et il est fort possible que des nuances m’échappent, d’autre part de par l’utilisation du conditionnel ce sont des phrases qui supposent un contexte qui n’est pas explicité ici et il est possible que face à un autre contexte que ceux auxquels je pense, mon opinion change.

Les deux traductions sont bonnes et « Il aurait dû fallu qu’elle pense à son livre » est incorrect en français. Voir les « explications ».

• Voici donc les traductions correctes :

  Il aurait fallu qu’elle pense à son livre! = She should have thought
  about her book!

  Cette traduction est correcte car falloir (aurait fallu) peut aussi être traduit par should (comportement recommandé, politesse) mais sans contexte « aurait fallu » exprime une nécessité. La phrase en français implique clairement que la personne ne peut pas faire quelque chose d’important parce qu’elle n’a pas pensé à son livre. Votre traduction est donc sans doute plus précise en l’absence de contexte :

  Il aurait fallu qu’elle pense à son livre! = She would have needed to
  think about her book.

• La phrase ci-dessous est incorrecte car il y a falloir et devoir dans la même phrase, et parce que l’un des deux participes (fallu ou dû) devrait être à l’infinitif :

  Il aurait dû fallu qu’elle pense à son livre = She would have needed to must think about her book

• Mais par contre il est vrai que :

  She should have thought about her book! = Elle aurait dû penser à son livre!

Ici « elle aurait dû » est moins fort et plus large que « il aurait fallu qu’elle » et correspond mieux à « she should have ».

Explications : Le problème ici est l’expression du devoir, de l’obligation, du besoin etc. En anglais on utilise principalement, selon les cas, les verbes modaux et constructions need (pour le besoin), must (devoir impératif), have to (besoin/devoir moral), shall/should (devoir moral / comportement normatif), ought (obligation, besoin) pour ne citer que les plus simples.

En français, l’expression de base pour exprimer toutes ces situations est le verbe devoir :

Les musulmans doivent prier cinq fois par jour.
Muslims must pray five times a day

Pour aller à Paris, tu dois prendre le train.
You need to take a train to travel to Paris.

Pour éviter de confondre les deux, la forme impersonnelle du verbe falloir (il faut que) est utilisée pour exprimer le besoin, l’obligation matérielle inévitable. Une des traductions possibles de falloir serait « to be missing » ou « to be needed » (exemple : il faut encore 20 minutes pour faire ce gateau).

Ainsi on utilise presque jamais en français « il faut » et devoir dans la même phrase (ça donnerait en anglais quelque chose comme have to need, ce qui n’est pas facile à placer dans une phrase).

Question 2

“Il faut” et “devoir” peuvent être employés dans la même phrase, si il n’y a pas une redondance complète (sinon ça reste correct mais le sens devient confus et ce n’est pas beau), et donc si les deux ont des sens légèrements différents, ou si l’un est l’objet de l’autre.

Par exemple si “il faut” est l'”action” considérée par, et objet de “devoir” (assez courant en anglais avec must et need) ce qui nécessite une situation bien particulière où les deux ne soient pas complètement répétitifs, par exemple dans cette expression assez courante à l’oral :

Il doit bien falloir un permis poids lourd pour avoir le droit de conduire ce fourgon.

En anglais ça donne quelque chose comme you must need a truck license to be legally able to drive this vehicle. Ici devoir exprime un léger doute qui porte sur le besoin (falloir) de posséder le permis en question.

Autre exemple avec “Il faut que” (il faut et devoir ne sont pas dans la même proposition, mais bien dans la même phrase).

Pour reprendre la phrase de la question il est grammaticalement correct d’écrire :

Il aurait dû falloir qu’elle pense à son livre = She should have needed to think about her book

C’est très tordu mais on peut imaginer une situation à la Inception ou cela serait correct même si le bon sens voudrait qu’on simplifie pour ne pas donner de mal de tête au lecteur :

Imaginons que s’il avait fallu qu’elle pense à prendre son livre elle aurait dû penser à aller le chercher à la bibliothèque ce qui lui aurait rappelé son ex-copain libraire et ça l’aurait rendue malheureuse.

Mais comme il ne fallait pas qu’elle pense à prendre son livre parce que le professeur avait dit qu’elle n’en avait pas besoin ce jour là, elle n’a pas dû penser à son livre, et elle n’a pas pensé à son ex-copain et n’a pas été malheureuse toute la journée. Ainsi pour qu’elle ait été malheureuse ce jour là il aurait du falloir qu’elle pense à son livre.

Aspirine quelqu’un ?

Autres exemple possible avec devoir comme traduction de “to owe” en anglais :

Il faut devoir beaucoup d’argent à quelqu’un pour être mis en prison
pour dettes. You must owe a lot of money to someone to be sent to a
debtors’ prison.

Cette phrase est tout à fait correcte. Il aurait “dû falloir” n’existe pas car redondant.
“Il aurait fallu qu’elle pense à son live” ou bien “Elle aurait dû penser à son livre”. Cette dernière semble même préférable, une structure impersonnelle (“il aurait fallu”) étant ici moins appropriée.