Here, the sentence has the meaning of: Je fis comme mon père m’avait dit de faire. I did as my father had told me to do. And implicitly, "l’" stands for that. It could be translated by: I did as ...

L’usage de “nous” était tout à fait correct dans ce contexte. Il était possible de supposer qu’il s’agissait de votre famille, bien qu’il eut pu s’agir de d’autres personnes. “On” me semble encore moins précis car il peut aussi signifier ...