Dans ton contre-exemple, le n’est pas un article défini, mais un pronom. La contraction ne s’effectue que dans le cas de l’article.

Le même raisonnement s’applique pour les autres contractions [de les >>> des], [à le >>> au], etc.

Exemples :

J’ai fait un gateau. Je me prépare à le manger. (car le est un pronom remplaçant le gateau)

Je parle au professeur. (forme contractée de [à le professeur], car le est ici un simple article)