Because the grammatical gender of object names is unrelated to the biological gender of their owners, unlike adjectives that do agree with the grammatical gender of the noun they qualify

Word genders are often inherited from their Latin ancestors, if any, with neutral converted to masculine.

Chemise comes from the feminine camisia while soutien-gorge is built from the verb soutenir so has no specific gender and thus is masculine. Note that women might wear une chemise de nuit but also un chemisier…

Pourquoi ? Parce que ! Parce que quoi ? Parce que c’est comme ça ! Point barre !

C’est vrai que, pour certains mots en particulier, il peut être possible de trouver la réponse comme jlliagre le suggère en remontant à leur étymologie. Mais c’est souvent plus un piège qu’autre chose. Arbre est du masculin en français et… arbor du féminin en latin. Et il en est ainsi avec une multitude d’autres.

Je réalise la parfaite inutilité de cette contribution aussi, pour que vous n’ayez pas lu pour rien, je livrerai une information que je trouve amusante sur le propos du… soutien-gorge de l’OP.

Le débat sur le genre des mots n’est pas une tocade contemporaine. Déjà le grand Vaugelas (XVIe) (une référence en grammaire) était intervenu à propos du genre du mot ouvrage.
Eh bien Vaugelas avait trouvé une sacrée idée pour le genre des mots, je cite :

“Mais les femmes parlant de leur ouvrage, le font toujours féminin & disent voilà une belle ouvrage, mon ouvrage n’est pas faite. Il semble qu’il leur doit être permis de nommer comme elles veulent ce qui n’est que de leur usage.“

Elli… ton idée n’était donc pas absurde puisque déjà proposée par un grammairien de renom mais… cela n’a manifestement pas marché.