Je me demande pourquoi on dit système fermé et non système clos ou clôturé.

Pour la même raison que les affichettes que l’on place à l’entrée d’un magasin indiquent ouvert/fermé (et pas ouvert/clos, et encore moins ouvert/clôturé) alors qu’en anglais, ce sera open/closed.

L’antonyme naturel d’ouvert est fermé.

Clos est un synonyme de fermé, mais il est moins générique et s’emploie plus souvent dans des locutions figées (ex: le débat est clos, il a trouvé porte close, un vase clos, un procès à huis clos). Le verbe clore a d’ailleurs longtemps été délaissé à cause de son ancienne proximité phonétique avec clouer.

Clôturé semble moins indiqué que fermé ou clos car il a un sens plus spécialisé : au propre : « qui est entouré de clôtures » et au figuré : « qui est terminé, qui a pris fin ».

Clôturé dans ce contexte aura plus un sens de finalité, où on suppose un état précédent/antérieur ouvert comme dans dossier clos.

Par opposition, en thermodynamique ou en électricité par exemple on dirait système fermé ou circuit fermé (resp.) pour la description de l’état indépendamment des autres états possibles

Pour dire en d’autres termes ce que formule la réponse de jlliagre et ajouter un contexte et des exemples, cela est possiblement le résultat d’une tendance culturelle des sciences propre au français ;
on se sert beaucoup de cet adjectif en science ;

• lignes courbes fermées en géométrie
• ensembles fermés en topologie
• circuits fermés en électricité et en électronique
• circuits fermés dans la technologie de la télévision
• systèmes fermés en économie