First, that’s a register we only see in books, us French aren’t used to it at all, so it’s hard to say if this or that “sounds good” or not.

Quick answers, from the top of my head (before research):

1. I wouldn’t say that, but I’m not 100% sure the result is ungrammatical, I guess it just doesn’t sound as good.

2. I think I would have used aurait pu if I had written that. Both seem good to me, eût pu sounds more literary (you basically have to be a writer to know how to use this tense properly)

3. Like I said, one sounds more natural (spoken), the other one looks more literary, so for a book it would be better to use what the author used.

Now look what I found : a page about Conditionnel passé vs plus-que-parfait du subjonctif !

Long story short, plus-que-parfait du subjonctif is interchangeable with conditionnel passé in this context.

Here are some explanations:

Dans une phrase hypothétique comprenant une subordonnée de condition introduite par si, on emploie généralement le plus-que-parfait de l’indicatif pour exprimer une condition non réalisée dans le passé et le conditionnel passé pour exprimer une conséquence de cette condition non réalisée.

So :

• Plus-que-parfait de l’indicatif -> Unachieved condition in the past
• Conditionnel passé -> Consequence of that unachieved condition

However,

Dans la langue littéraire, on exprime parfois la même idée en employant le mode subjonctif. En effet, le plus-que-parfait de l’indicatif et le conditionnel passé peuvent tous deux être remplacés par le plus-que-parfait du subjonctif dans ce contexte.

Both of these tenses can be replaced by plus-que-parfait du subjonctif in this context (only in literature).

They explain why:

Le conditionnel n’existant pas en latin, c’est le mode subjonctif qui permettait d’exprimer les faits irréels et la possibilité, le mode indicatif étant réservé au probable. Le conditionnel a introduit la notion de possibilité à l’intérieur du mode indicatif et c’est généralement ce temps qu’on emploie aujourd’hui pour exprimer la conséquence d’une condition.

Before conditional existed, there was already a way to express hypothetical facts and possibilities. Now we use conditional but using subjonctif is still possible.

Dans la langue littéraire, on emploie encore parfois le subjonctif dans ce contexte; on peut alors l’employer pour exprimer la condition et la conséquence – contrairement au conditionnel, qui ne peut exprimer que la conséquence.

In literature, subjonctif can be used in this context, to express both the condition and the consequence, while the conditional can only express the consequence.

For a long time, plus-que-parfait du subjonctif was even called “conditionnel deuxième forme” in this context, it’s mostly dropped now, because it added unnecessary confusion.