Well, for a definition of literature and formal situations which includes books targeted to non-reading children and shows for the same public. I.E. it is not a tense reserved for a class of more or less precious writers obsessed by the form (like some tenses of the subjunctive are), it is still the normal tense for story telling.

As a hint that’s the case, I already mentioned the survey I did a few years ago in that class of books I had and about half of them were using the present, and half of remaining one, i.e. half of those written in the past, were using the passé simple, and I checked then that it wasn’t confined to older classics.

But that isn’t to say that its usage hasn’t changed. It was the default tense to used for past events (see the 24 hours rule), the passé composé being then used for such events only to mark their impact on the present. Well, when it was applicable, the passé composé had always use cases unsuitable for the passé simple, the famous incipit is « longtemps je me suis levé de bonne heure », not « longtemps je me levai de bonne heure ».

Nowadays, the default tense is the passé composé and the passé simple will be used when the author desires to mark a certain distance, and which makes it the normal tense for story telling (at least when written at the third person, you aren’t so detached when you are retelling something which happened to you), excepted at places were the author will switch to the passé composé or even to an historical present as a way to give increase the dynamic of the telling.

That doesn’t mean either that the evolution of the language won’t be such that the passé simple will not take the path of some tense of the subjunctive and be restricted to literary effects. It may be on that way, but is isn’t the case yet.

The lack of usage of the passé simple in current spoken French is due to its current value. It’s not a question of formality (you won’t use it more depending on who you are talking to for instance), it’s not even a question of written versus spoken language. What happens is that its value make its usage more pertinent in written texts or some (but far from all) formal setting.

The fact that a “24 hours rule” (which is too obviously arbitrary to be taken as something else that a rule of thumb IMHO) has been proposed and used shows that the question of the difference of value between the passé simple and the passé composé is not recent, and even native speakers have felt the need of a guideline for a long time. If your question is why the that difference of value is less strong than in some other roman language, I’ll let someone else answer.

Warning: I am a native English speaker who is not at all proficient in French, but I was baffled by this myself when I started to learn French and thought I might give some analogies to English.

If it helps, we have many similar constructions in English. For example, when’s the last time you used

“John said ‘I don’t have to do that.’ “

to introduce a quotation? If you are like the majority of Americans under 40 or so, you never use “said” to introduce a quotation, but always use “was like.” If you don’t believe me (a lot of Americans who use this “be like” construction — and use it exclusively in spoken English– claim that only “valley girls” do), take a tally the next time you have a conversation. (I am not claiming the word “say” is never used, but that it is never used for the specific purpose of introducing a quotation.)

On the other hand, in written English we always write “say” and a book that presented its dialogue with the “be like” construction would strike us as extremely informal.

In my opinion, “ne … pas” in spoken French is about where “say” is in spoken American English: if you ask people, they’ll tell you that you should always say “ne” unless you are being really informal, and indeed when they write, this is what they do, but if you just take a tally of how many times you hear the “ne” vs. how many times you don’t, you’ll get over 90% for not hearing it.

On the other hand, the “passe simple” is even farther away from mainstream spoken French, but is often found in writing. One thing you can compare in English — “do not” contracts to “don’t” in all speech and most informal writing, but you’re not supposed to write “don’t” in fancier writing. Or maybe a closer comparison is “being in a hurry, I went to the store,” a sentence construction we almost never say but which we write frequently.

La question du « pourquoi » une langue a telle ou telle caractéristique me semble un peu vaine. En dehors des décisions qui relèveraient d’une instance désirant contrôler la langue utilisée par les sujets qu’elle gouverne et interdirait ou imposerait telle ou telle tournure grammaticale ou lexicale, une langue évolue, en général très lentement, et sous le biais de diverses influences qui peuvent aller des catastrophes naturelles aux flux migratoires internes ou venant de l’extérieur de la zone linguistique.

Pourquoi le passé simple a-t-il peu à peu disparu de la langue orale ? Je me risquerai à quelques spéculations. Peut-être parce que d’autres temps ont pris les valeurs qu’il exprimait et qu’il n’était du coup plus indispensable.
Le passé composé, d’apparition plus récente dans l’histoire de la langue française a supplanté le passé simple, à l’écrit d’abord, et la disparition relative du passé simple des textes écrits a entraîné, sa disparition quasi complète de l’oral. Du fait de son utilisation moins fréquente le passé simple est apparu comme plus littéraire.
Le passé simple n’exprime pas les mêmes valeurs en espagnol, et donc toute comparaison de fréquences dans l’une et l’autre langue ne peut pas se faire. Si passé simple français et espagnol ont bien la même origine dans le parfait latin, les deux langues ont évolué différemment.

Par contre bien sûr l’évolution d’une langue peut être plus ou moins bien retracée de façon historique. Marcel Cohen a écrit une très bonne histoire du français : Histoire d’une langue, le français d’où je tire quelques souvenirs.

Le passé simple trouve son origine dans le parfait latin. Le parfait latin (temps simple) correspond à la fois au passé simple et au passé composé français actuel.
En ancien français il y avait hésitation entre les appellations parfait et passé simple mais l’appellation parfait est préférée car il s’agit bien avec ce temps d’exprimer un fait passé sans relation avec le présent. Le passé composé est apparu plus récemment que le passé simple mais s’employait bien sûr déjà en ancien français.

Il semblerait qu’un tournant de l’histoire des temps du passé se trouve au 17^ème siècle. Je cite quelques extraits de Marcel Cohen :

[…] Pour l’emploi des temps, le point intéressant au cours du
17^ème siècle est la distinction entre le passé simple
(défini) et le passé composé (indéfini) de l’indicatif. Au
16^ème siècle […] on avait imaginé que le passé indéfini
exprimait une action du jour, le passé défini une action datant de la
veille au moins. Au début du 17^ème siècle, des grammairiens
ont mieux compris la distinction qui était celle de leur temps : le
passé défini exprimait une action complètement passée dans une
longueur quelconque entièrement écoulée “je fis ce matin, l’année
dernière”; le passé indéfini était employé pour un temps non achevé,
“j’ai fait aujourd’hui, cette année” ; c’était donc l’expression d’un
aspect accompli avec un résultat durant encore. Mais il semble que dès
la seconde moitié du siècle, au moins dans la langue parlée, le passé
indéfini ait pris, en plus de son sens propre, le sens de passé
simple, dont il a restreint l’emploi. (p. 194-195)

Quelques cent pages plus loin il souligne la disparition progressive du passé simple en faveur de l’imparfait dans les romans du 19^ème siècle, en particulier chez Zola, à cause de l’emploi de plus en plus grand du discours indirect.

Voici par ailleurs ce que dit Marcel Cohen dans son édition de 1973 au sujet de la disparition du passé simple :

« … le passé simple ou défini est sorti de l’usage parlé
parisien, le passé composé ou indéfini étant employé en toutes
circonstances […] Mais ce temps a continué à s’employer pour le
récit écrit dans les romans, les livres d’histoire, les articles de
journaux. C’est une forme grammaticale qui marque nettement la
différence entre la langue écrite et la langue parlée. Bien rare sont
les auteurs qui ont décidé de ne pas écrire le passé simple. […]

Mais il ajoute :

La situation paraît être en train de changer. D’abord le passé défini
apparaît quelques fois dans la bouche d’orateurs, de professeurs en
chaire, de speakers de radio pour des occasions plus ou moins
solennelles. D’autres part, des instituteurs et professeurs, des
écoliers et élèves de lycée, des journalistes et des écrivains à style
familier ont commencé à entremêler assez souvent dans le même récit
les deux sortes de passé, non point sans doute au hasard, mais avec
des nuances d’emploi difficiles à définir.

Je reprendrai maintenant quelques pistes, parmi les très nombreuses évoquées, trouvées dans le mémoire de maîtrise d’un étudiant Suédois intitulé Disparition du passé simple en français oral.
Dans son travail cet étudiant introduit l’idée que l’usage de la règle des 24 heures (voir citation de Cohen plus haut) pourrait être considérée comme une des causes lointaines possibles de la disparition du passé simple dans la langue orale qui d’habitude s’intéresse aux événements récents.
Il fait aussi de nombreuses références au travail du chercheur M. Van Vliet (« * The disappearance of the French passé simple: A morphological and
sociolinguistic study* » 1983) qui constate également qu’il existe une tendance qui favorise la régularisation du système verbal français en transformant les terminaisons verbales en marqueurs préfixés. Van Vliet dit que le nombre de formes composées dans la langue française est plus élevé qu’avant et que celui des formes simples a baissé de 50%.
Selon Van Vliet encore il y aurait aussi des raisons phonétiques à la disparition du passé simple et pour certaines de ces raisons fait la comparaison avec l’espagnol :

il s’est passé un changement dans la prononciation de la langue
française entre le 12e et le 16e siècle, qui consiste en la
disparition des consonnes finales. Après cela, les voyelles finales
ont été réduites en schwa, le précédent du « e muet » de nos jours,
qui de son tour a disparu. […] Le résultat de ces changements
phonétiques est que les pronoms sont toujours préfixés en français,
sauf à l’impératif, et qu’ils sont essentiels pour la bonne
compréhension à l’oral, comme la forme verbale n’aide plus à
distinguer le sens. Ce développement est unique parmi les langues
romanes. L’espagnol et l’occitan, par exemple, gardent toujours les
consonnes finales dans la prononciation. En espagnol, l’utilisation
des pronoms n’est pas nécessaire. Le français diffère également des
autres langues romanes dans un autre sens ; dans la plupart des
langues romanes, le passé simple et le passé composé ont toujours des
fonctions différentes et tous les deux existent à l’oral, tandis qu’en
français ce n’est pas le cas.

Je ne citerai bien sûr pas les 60 pages de ce mémoire, pour ceux qui sont intéressés, il suffit de suivre le lien mais je donne sa phrase de conclusion :

Quant au passé simple, ce travail atteste sûrement de ses derniers
moments d’existence à l’oral, après lesquels il a définitivement perdu
la lutte remontant loin dans le temps contre le passé composé.

Et rendez-vous dans cent ans ?

A brief summary of the above in English :

As to why a language has such and such linguistics traits is – irrespective of any arbitrary decision of political instances deciding for the people – a matter of looking into the evolution of the language. And evolution of any language is a very slow process in which lots of factors interact, such as natural phenomenons and population migrations, but not only of course.

My first reaction is to say that the passé simple has been disappear

J’ai trouvé un mémoire de maîtrise complet: « Disparition du passé simple en français oral » (Hanni Halonen, Université de Tampere, Institut des études de langue et de traduction, 2007).