Attention : Lorsque le verbe conjugué avec avoir n’a pas de C.O.D. placé avant le verbe il n’y a pas d’accord.

On écrit :

J’ai adoré/j’avais adoré/j’aurai adoré/j’aurais adoré (passé composé/plus-que-parfait/futur antérieur/conditionnel du passé

même si le sujet est une dame. En revanche on écrit :

Je suis/étais/serai/serais parti/partie ; respectivement pour un sujet masculin/feminin.)

Ici il nous faut utiliser le conditionnel du passé. On le comprend car on voit l’emploi de l’imparfait après si. La correspondance français-anglais est :

Si je l’avais connu, je n’en serais pas parti = Had I known it, I
would not have left from there.

Pour votre phrase :

J’aurais adoré voyager partout avec toi et si je n’avais servi qu’à te
laisser partir sans faire de bruit, alors j’aurais servi si peu, mais
servi au mieux.

Quant au futur antérieur, lui, il correspond au future perfect tense de l’anglais. Comme en anglais son emploi est un peu limité. Il décrit un événement du futur du point de vue de son achèvement.

J’espère que dans deux ans nous aurons achevé la renovation de notre
appartement = I hope that it two years’ time we will have completed
the refurbishment of our flat.

Il est important de comprendre ici si la situation est hypothétique ou réelle, car c’est ce qui fait qu’un temps sera adapté ou l’autre.

Ici, la présence de “si je n’avais” indique qu’il s’agit d’une situation hypothétique, et le conditionnel est adapté (j’aurais aimé, j’aurais servi). À noter qu’il n’y a pas d’accord ici, puisque le participe les verbes conjugués avec l’auxiliaire avoir s’accordent avec l’objet et encore seulement lorsqu’il est placé avant l’auxiliaire.

On peut imaginer une version où la situation est réelle et où le futur antérieur serait adapté :

Bientôt je prendrai ma retraite. J’aurai aimé voyager avec toi, et lorsque nous nous quitterons, j’aurai servi si peu, mais servi au mieux.