C’est une exception spécifique aux verbes forcer, obliger et contraindre (Le Bon usage, 14e ed., §908 a) 8°). Ces verbes ont la particularité qu’en conjugaison active, l’object indirect se construit avec à, mais sous forme de participe adjectif ou composé avec être (par example au passif), ils se construisent plutôt avec de.

Si à apparaît dans le cas où l’objet indirect est réduit à un pronom, c’est probablement parce que c’est la forme que prend l’objet dans la constructive active "de base" (je m’y oblige).