It is correct grammatically; a comma is needed after « français ».

• J’avais le cours de français, lequel a fini à 13 heures.

However, that’s formal language, that you might use for instance if it were in a reply to a judge in court. In speaking with friends you’d say rather something like this.

• J’avais le cours de français, il a fini à 13 heures.
• J’avais le cours de français, qui a fini à 13 heures.

There is a slight pause after the comma (reading and speech), otherwise you are not saying quite the same thing. The reason for the comma is that the relative pronoun introduces a descriptive clause when the comma is used; when the clause is a determining clause, that is a clause that says which French course it is (that course that end at 1 PM and not another one) then you use no comma.

L’article défini devant cours indique qu’il s’agit d’un cours de français précis parmi d’autres. Dans ce cas, qui est utilisé pour préciser de quel cours il s’agit; on ne peut pas utiliser lequel dans ce cas :

J’avais le cours de français qui a fini à 13 heures (, pas celui qui finissait à 11 heures).

En revanche, on peut utiliser lequel pour apporter une information nouvelle :

J’avais un cours de français, lequel a fini à 13 heures.

mais la tournure est recherchée.

On peut aussi utiliser un article indéfini puis apporter une précision :

J’avais un cours de français qui a fini à 13 heures.

Souvent, on n’utilise pas d’article et on sépare les deux propositions :

J’avais cours de français. Il a fini à 13 heures.