Ici, je pense que dont lie d’abord François et la mère. On pourrait remplacer par:

La mère de François traduit un livre.

Mais il se trouve que le livre pourrait avoir été écrit par le même François, ou non. Il y a ambiguïté sur l’auteur (ou le propriétaire) du livre. Il s’agit bien d’un pronom relatif complément à la fois du sujet (mère) et du complément d’objet (livre) dans la subordonnée relative (LBU 14ème édition, §724.d, p932). Un exemple similaire donné par LBU:

Il plaignit les pauvres femmes dont les époux gaspillent la fortune (Flaubert, Educ., II,5).

Notez qu’ici, dont se rapporte à la fois aux femmes et à leurs fortunes, ou tout du moins, je pense que c’est le sens qu’un locuteur français natif choisirait par défaut.

Pour en revenir à l’exemple de l’OP, je ne pense pas qu’il y ait ambiguïté sur le fait qu’on parle de la mère de François. Pour parler de la mère de quelqu’un d’autre, il faudrait dire, par exemple:

… François dont ma mère traduit un livre.

LBU donne un exemple où un pronom possessif est utilisé pour lever l’ambiguïté:

Cette malheureuse créature, dont la mort prématurée attriste aujourd’hui sa famille (Hello, Contes extraordinaires, Regard du Juge, op. cit. p932).

Toutefois, on ne peut pas toujours utiliser un pronom possessif pour lever l’ambiguïté:

… François dont ma mère traduit son livre.

ne sonne pas très bien, quoique grammaticalement correct.

Pour en revenir à l’ambiguïté de l’OP, le contexte pourrait aider en précisant le statut de ce livre, ou le statut d’écrivain de François.

Si les pronoms possessifs ou le contexte ne suffisent pas, il va falloir recourir à une phrase plus compliquée. On pourrait par exemple arrêter une première phrase après François et en commencer une autre:

Sans précision sur l’auteur du livre:

Hier, j’ai rencontré François. Sa mère traduit un livre.

Avec toujours une petite ambiguïté, on ne sait pas si l’auteur est François ou sa mère:

Hier, j’ai rencontré François. Sa mère traduit son dernier livre.

Sans aucune ambiguïté:

Hier, j’ai rencontré François. Sa mère traduit le dernier livre qu’il a écrit.

On pourrait alors revenir à une construction avec dont à partir du dernier exemple:

Hier, j’ai rencontré François, dont la mère traduit un des livres qu’il a écrits.

ou – si la mère est l’auteur du livre:

Hier, j’ai rencontré François, dont la mère traduit un des livres qu’elle a écrits.

On peut aussi lever l’ambiguïté de la façon suivante:

… François, dont un livre est traduit par sa mère.

On pourrait aussi dire (sens différent, bien entendu):

… François, dont un livre est traduit par ma mère.

Mais, la phrase suivante:

… François, dont un livre est traduit par la mère.

peut être perçue comme un peu bancale. Ce la mère ne sonne pas très bien, à mon avis.

Je n’ai pas trouvé de règle générale dans les grammaires que j’ai consultées (est-ce un cas fréquent?). LBU note l’ambiguïté du pronom relatif complément à la fois du sujet et de l’objet direct ou de l’attribut, mais ne mentionne pas de règle générale. La mention d’un “pronom complément à la fois du sujet et de l’objet direct” semble reconnaître de façon implicite une “règle” selon laquelle le pronom relatif dont se rapporterait aux deux simultanément.

En effet, je dirais qu’instinctivement et par défaut – a priori -, on comprend l’antécédent de dont comme un complément à la fois du sujet de l’objet direct. Suivant cette règle, il n’y aurait pas vraiment ambiguïté au premier abord, mais force est de constater qu’il y a bien ambiguïté si l’on y réfléchit un peu. Pour ce qui est de la mère, c’est bien celle de François, cela n’est pas ambiguë. Pour ce qui est du livre, il n’y a pas de certitude, tout au moins dans la phrase telle que présentée par l’OP, sans aucun contexte, et il faut recourir à un pronom possessif, ou à une construction plus élaborée pour éviter l’ambiguïté.

To complement Frank’s answer with a theory as to why:

Technically, yes, the example is ambiguous — but the likelihood that “la mère” and not “un livre” is subordinated is much higher than the reverse.

… François dont la mère traduit un livre. (La mère de François ; on ne sait pas quel livre)

But changing the determiner to “ma mère” strongly suggests that the tendency is for the nearest otherwise unspecified noun to be subordinated. Since “ma mère” is perfectly specified, “un livre” is now the complement of “dont”.

… François dont ma mère traduit un livre. (Ma mère ; un livre de François)

Incidentally, one might also suppose that “un livre” becomes the target for a different reason: maybe the use of “ma mère” rules out her being François’s mother. But in a context in which François is the speaker’s brother and hence “ma mère” is also his, “un livre” still gets subordinated:

Tu connais mon frère François, dont ma mère traduit un livre ? (Ma mère ; un livre de François)

So this suggests that the defining factor is the need for specification.

With the indefinite article, the pull to associate the first noun with François is not as strong:

François dont un chien mange un poisson.

Here, it seems about equally likely that the dog or the fish belongs to François. (The dog might be slightly more likely because it’s closer.) This suggests that the attachment to “dont” comes not from the noun’s being unspecified, but from its being underspecified. That is, it’s because the definite article suggests that we ought to know which one and the closest supplier of the answer to “Which one?” is “dont”.

For the same reason, the first example is only ambiguous because there’s a small chance that we could already know who “la mère” refers to:

Une petite famille habite cette maison. Les enfants vont à l’école ; le père est ingénieur ; la mère est traductrice et reçoit souvent de grands écrivains. Aujourd’hui le visiteur est un dénommé François, dont la mère traduit un livre.

And even with the added context, “la mère” feels pretty strongly attached to François.

(Edit) Interestingly, though, if you use the definite article for both, then both the mother and the book could easily belong to François, though only one actually has to:

François, dont la mère traduit le livre.