• La rancidité (inconnu au petit Robert) est liée à une altération d’un corps gras, une huile rance.
• La rancœur est lié au ressentiment ; elle reflète une désillusion liée à une situation, à une épreuve ; elle donne un goût de cendre dans la bouche, d’impuissance inacceptable, contre laquelle on ne peut plus rien.
• La rancune est une rancœur personnalisée qui appelle une froide vengeance.

Lorsqu’on a de la rancune contre quelqu’un, on est rancunier, c’est un état qui peut être source de vengeance contre la personne visée pour se débarrasser de cette rancune.

Si on a de la rancœur, on éprouve de la rancœur (mais on ne peut pas être ‘rencœurier’), c’est un sentiment obsédant sans cesse ressassé dont on ne voit pas comment s’en sortir.

Il s’agit au départ littéralement de la pourriture et de l’odeur; de rance (rancidus) – rancir (devenir rance; souvent pron. avec se) – ranci (mais Baudel. pour le substantif d’ambiance en 1867). Rancune est une transformation de rancure sous l’influence d’amertume, et c’est à l’origine la colère puis, avec atténuation, le sens de souvenir précis avec idée de se venger finit par s’imposer; on a déjà eu rancurer (d’un latin rancura, lui-même de rancor). Et on a rancoeur, une réfection du 15e avec coeur de mots plus anciens basés sur rancor. En résumé rancune provient de rancoeur qui lui veut essentiellement dire rancune!! Puis Charles Baudelaire vient fermer le bal dans Les Fleurs du mal (1857/1868) puisqu’on lui doit en 1856 le sens d’ « amertume que laisse une déception, une injustice. » pour rancoeur (selon le Dictionnaire historique de la langue française, sous dir. A. Rey, ed. Le Robert – « rancoeur ») et c’est surtout en ce sens-là que la différence existe. Voici entre autres les passages auxquels on fait forcément référence¹ :

Pour noyer la rancoeur [1856] et bercer l’indolence
De tous ces vieux maudits qui meurent en silence,
Dieu, touché de remords, avait
fait le sommeil;
L’Homme ajouta le Vin, fils sacré du
Soleil!

Le Vin de chiffonniers, extrait, Les Fleurs du mal

Je sucerai, pour noyer ma rancoeur,
Le népenthès et la bonne ciguë
Aux bouts charmants de cette gorge aiguë
Qui n’a
jamais emprisonné de coeur.

Le Léthé, extrait, Les Fleurs du mal

Il [le Vertige] la [l’âme] terrasse au bord d’un gouffre séculaire,
Où, Lazare odorant
déchirant son suaire,
Se meut dans son réveil le cadavre
spectral
D’un vieil amour ranci, charmant et sépulcral.

Le Flacon, extrait, Les Fleurs du mal

Et ce parfum d’un autre monde, dont je m’enivrais avec une sensibilité perfectionnée, hélas! il est remplacé par une fétide odeur
de tabac mêlée à je ne sais quelle nauséabonde moisissure. On respire
ici maintenant le ranci [1867] de la désolation.

La chambre double, extrait, Le Spleen de Paris, aussi 1864 dans
Petits poèmes en prose

Un matin nous partons, le cerveau plein de flamme,
Le cœur gros
de rancune et de désirs amers,
Et nous allons, suivant le
rythme de la lame,
Berçant notre infini sur le fini des mers :

Le Voyage, extrait, Les Fleurs du mal

Tous assurément littéraires. La rancune anime, la rancoeur, déprime ? On peut ouvrir au maximum la recherche (ngram; on peut se questionner par exemple sur le rôle de l’adjectif rancunier), ou préférablement jeter un coup d’oeil sur Gallica vu la nature du corpus et les fonctions de l’outil (découpage par auteur/siècle etc.). ² Les données semblent aller dans le même sens que la tendance présentée en question, quoique les résultats bruts constituent un portrait incomplet vu les sens différents selon les époques pour rancoeur par exemple. Un exemple particulier :

“Rancune est populaire, mais rancœur serait noble et plus fort que
ressentiment”,

De Marmontel (1723-1799), Œuv. t. X, p. 430, au Littré, où on voyait rancoeur comme vieilli (« Haine cachée et invétérée qu’on garde dans le cœur ; même sens que rancune, mais d’un style plus élevé. »). La rancoeur est possiblement rattachée à un objet plus abstrait que celui de la rancune.

_{1. Recherche dans l’œuvre. Consultation facile de Les Fleurs du mal (aussi). Rancoeur+Baudelaire sur Gallica directement.}

_{2.Par exemple, rancune (25244 entrées, 21e: 1619, 20e:4438, 19e:18124, 18e:398, 17e:129, 16e:60) ; rancoeur (3773 entrées, 21e:1843, 20e:1076, 19e:724, 18e:19, 17e:34, 16e:5 sous Gallica, la bibliothèque numérique de la Bibliothèque nationale de France et de ses partenaires (en ligne depuis 1997).}