The expression qu’il n’y avait que faire is an old style, literary equivalent to qu’il n’y avait rien à faire, i.e. there was he had¹ nothing (interesting) to do.

TLFi

− N’avoir que faire de
N’avoir nul besoin de. Le valet n’a que faire de certaines vertus du maître : elles ne lui conviennent pas plus que le thym et la marjolaine à nos lapins de choux (Bernanos, Dialog. Carm.,1948, 3e tabl., 2, p. 1615). Le chauffeur n’a que faire de cultiver en lui ces capacités individuelles. Pour ne point faillir à sa fonction de vitesse, il a besoin surtout de réflexes sûrs (Huyghe, Dialog. avec visible, 1955, p. 41).

Ne faire nul cas de. Et qu’ai-je à faire d’eux, tous ces êtres qui ne sont pas l’aimée ? (Vogüé, Morts, 1899, p. 62). J’exigerai ton audience en retour. Je n’ai que faire de l’ami qui ne me connaît pas et réclame des explications (Saint-Exup., Citad., 1944, p. 971).

There is no à before faire just like there is no à before it in :

Que faire maintenant ? (What to do now?)

¹ _{@petitrien got it right, il is certainly personal here.}

What you assume loosely is exactly what you should understand in my opinion.
It seems to me that this usage of “que” is none other than “que” as “quoi” or more exactly “de quoi”, “quelque chose”, which persists nowadays in certain turns; this analysis makes then of “que” an indefinite pronoun and not a pronoun in indirect interrogative use¹ as the TLFi would have it;

(TLFi) II a) 2. b) [Constr. avec l’inf., en concurrence avec quoi] Il ne sait que dire. Il ne savait que dire (MARTIN DU G., Thib., Cah. gr., 1922, p. 640).

This means that “Il ne sait quoi dire.” is quite correct too (and of course means the same thing). You do not find that form much (an ngram gives nothing) but the variant in the first person imperfect tense is common (ngram, “Je ne savais quoi dire.”).

“Que” does not connect the verbs but is the object, “que” meaning “something” (quelque chose); in modern French “à” is used but in the now old language of Madame de La Fayette there was no connection: “que faire” was right and “que à faire” meant nothing.

You could put it that way in modern French;

• … qu’il n’y avait pas là quelque chose à faire quand elle n’y était pas…
  “de quoi faire” wouldn’t be idiomatic” and “quoi faire” would not be good syntax.

The words in italics are the necessary modern additions to make the sentence correct.

You can see well enough that the pronoun is an indefinite pronoun if you replace it by “rien”, which is a pronoun of this type and which results in the same meaning;

• … qu’il n’y avait * là* rien à faire quand elle n’y était pas…

¹_{Cf. TLFi *III B 2.**.
– On ne voit pas quoi serait remis en question par ces développements. (ex. de user LPH)}

Le jour suivant elle revit le duc de Guise chez la reine; mais il ne l’aborda pas, et se contenta de sortir un peu après elle pour lui faire voir qu’il n’y avoit que faire quand elle n’y étoit pas.

Contrairement aux réponses précédentes, je ne retrouve pas dans il n’y avait la tournure il y a à la forme négative. Pour moi, il se réfère au duc de Guise et y à chez la reine.

Hilaire Van Daele dans son Petit dictionnaire de l’ancien français dit :

• Expr. : avoir que faire = avoir quelque chose à faire, avoir à faire

Je crois qu’il faut lire la phrase en question comme Le duc de Guise n’avait pas à faire chez la reine quand la princesse de Montpensier n’y était pas.

On trouve dans la langue du 16e siècle des emplois de que où il remplace à :

• Mais à ce dernier rôle de la mort et de nous, il n’y a plus que feindre, il faut parler français; il faut montrer ce qu’il y a de bon et de net dans le fond du pot. (Montaigne, les Essais, ch. xviii.)

It should be an old expression; if not, the newer one is “Il n’y avait que faire.”
This expression means “He was not bothering.”.