The past conddional is used to :

• give uncertain information, non-confirmed

par exemple : D’après Marc, il aurait demandé à changer de poste

• express a regret

par exemple : Si j’avais su qu’il pleuvait, j’aurais pris un parapluie

• express a prior action to another action at present conditional.

par exemple : Il a dit qu’il viendrait (conditionnel présent) dès qu’il aurait terminé (conditionnel passé) la vaisselle.

Also, in your example “Vous feriez mieux d’aller sans moi. J’aurais voulu vous accompagner, mais j’ai besoin de faire …”, this is the regret which expressed. It means you can still change your mind and go with them too.
The present conditional doesn’t express regret, that’s the difference between the two phrases.

The present conditional is used to :

• give an uncertain information, non-confirmed

par exemple : D’après Jean, il serait sur le point d’arriver.

• express a futur in the past

par exemple : Il dit (présent) qu’il ira (futur) avec nous.
Il a dit (passé) qu’il irait (conditionnel) avec nous.

• make hypothesis, express an eventuality

par exemple : Travailler à distance pourrait me convenir.

• ask politely, propose, express a wish, advise

par exemple: Pourriez-vous m’indiquer la sortie, s’il vous plaît.
J’aimerais beaucoup partir en vacances au soleil.