C’est une très bonne question liée à l’évolution de la langue et de la société française…
En effet, le passé simple n’est presque plus employé à l’oral en France. Dans mon entourage, personne ne l’emploie à moins de vouloir donner un certain style à la discussion, comme lorsqu’un conteur raconte une histoire par exemple.

Je pense que cela vient du fait qu’il est plus difficile à apprendre que le passé composé car de nombreux verbes (du 3e groupe notamment) ont une conjugaison qui leur est propre (ex: je fis, je dûs, j’eus…)

Quand j’étais plus jeune, on nous l’apprenait à l’école et on l’employait un bien plus à l’oral (et à l’écrit) mais je ne sais pas si ça se fait encore car très peu de gens l’utilisent.

Concernant les autres temps, c’est pareil. Plus complexes, plus désuets et plus du tout utilisés à l’oral donc ils disparaissent…
Je trouve cependant que c’est intéressant de les connaitre afin d’être à l’aise lorsqu’on lit des textes littéraires.