Beau and belle are originally coming from the Middle Ages. There were at this time specific terms to describe the son-in-law (fillastre), father-in-law (parastre), mother-in-law (marastre). Similarly, for brother-in-law and sister-in-law, serorge was the analogous term. However, when you did like someone from your family, you were usually using the biaus and bele words (which became beau and belle) to refer to those people, for instance bele suer for the sister-in-law.

The original end of those words, astre, became pejorative. Since that time, it has been replaced with beau and belle to refer to those people, giving beau-frère, beau-père, …

As the language evolved, serorge was also replaced, and led to belle soeur.

Source : Langue-fr.net

On parle de la première attestation écrite de belle-sœur en français dans son sens courant (par alliance) en 1423, dans un traité entre Frédéric d’Autriche et Catherine de Bourgogne, l’épouse de son frère :

^{Histoire générale et particulière de Bourgogne, avec des notes, des dissertations et les preuves justificatives. – Dijon, de Fay 1739-81, t.3, CCXXVIII, p. CCXXIX}

Bel avait déjà été utilisé comme épithète de courtoisie (par exemple bel sire dans la vie de saint Alexis, au 11^e) et c’est ainsi que le TLFi explique la composition dans belle-sœur. Le Dictionnaire historique de la langue française (dir. A. Rey, ed. Le Robert) dit que c’était employé au 12^e comme terme d’affection pour « chère soeur » ; avant d’employer belle-soeur pour la « soeur du mari » (1423, voir aussi FEW soror, bellus), on avait sororge/serorge au 13^e pour désigner la même chose (entre autres). On peut noter que certains emplois anciens de l’élément belle ou sœur peuvent s’appliquer aux deux genres ou bénéficier d’extensions de sens ou d’usages particuliers, et il peut y avoir, selon le contexte, concurrence entre l’orthographe de soror/soeur par exemple, et des mots distincts basés sur les racines senior et socer.

This was not about the beauty meaning but rather used originally as a courtesy (see Larousse 5. dans des appellations) akin to something like (my) dear/good sister. The contemporary meaning (sister-in-law) is attested by 1423.