Yes, the 2nd one sounds strange to my ears, too. Compare:

{terminer en + present participle}:

Sur ce, je terminerai en citant … / en vous remerciant pour …

{terminer par + noun}:

Sur ce, je terminerai par une citation de … / par cette phrase.

In this case, it does not work the same way as “finir par + infinitive“, for instance.

Il me semble que ni l’un ni l’autre de ces choix ne vaille « Je terminerai par un résumé des … ».

La raison pour laquelle la seconde construction parait incorrecte est certainement celle-ci, que l’on relève dans le TLFi ;

(TLFi) Vieilli. Terminer + prép. + inf. Finir par, finir de.

• [Socrate] termine par conclure qu’ils s’en iront les uns dans un Tartare dont ils ne reviendront pas, d’autres dans un Paradis dont ils ne sortiront plus.

La raison la première construction n’est pas idéale est que c’est une construction qui dans la phrase a la fonction de CC, parce que c’est un gérondif ; en tant que tel il peut avoir les fonctions suivantes ;

1. Temps _ Il chante en prenant sa douche.
2. La cause _ Je me suis enrhumé en sortant avec les cheveux mouillés.
3. La manière, le moyen _ Comment marche-t-il ? Il marche en regardant ses pieds.
4. La condition _ En révisant tous les jours, vous réussirez à l’examen.
5. L’opposition entre deux événements _ Mon frère apprend des poèmes tout en regardant la télévision.

Aucune de ces notions ne sont applicables dans le contexte de finir un développement.

On peut commencer par résumer, mais on finit avec quelque chose ou en faisant quelque chose.

Je commencerai par résumer les principaux points de cette candidature. OK

Je terminerai en résumant les principaux points de cette candidature. OK

Je terminerai avec un résumé des principaux points de cette candidature. OK

Je terminerai par un résumé des principaux points de cette candidature. OK

Je terminerai par résumer les principaux points de cette candidature. Pas OK