You sentence is correct and idiomatic. All these forms are possible:

Je pense/suppose qu’il faudra que je demande à mon chef si je peux partir tôt ou pas.

Je pense/suppose qu’il faut…

Je pense/suppose qu’il faudrait…

Je pense/suppose qu’il aurait fallu que je demande à mon chef si je pouvais partir tôt ou pas.

En termes de sens, en français, c’est le plus souvent ce qui précède qui commande à ce qui suit. La pensée se conduit usuellement de l’antécédent au conséquent et non l’inverse.

Il s’ensuit qu’ici, pour ce qui est du sens, la question n’est pas tant de savoir si on peut faire précéder falloir de quoi que ce soit que de savoir si on peut faire suivre penser, supposer… de quoi que ce soit et… on l’occurrence… la réponse est oui! On peut.

En terme grammatical, tu penses/supposes est la proposition principale. Le que (qu’) suivant va introduire une proposition subordonnée qui peut fort simplement débuter par sujet + verbe (même pris impersonnellement) Il faudra.

Tout est bon donc.