Yes it is necessary as the second form doesn’t make sense in French.

Je ne me sentais pas le cœur de refuser. → I didn’t feel like refusing

Je ne sentais pas le cœur de refuser. → I wasn’t smelling/feeling the "hearth of refusing"

"se sentir le cœur de" is a French idiom. Removing the reflexive se breaks that idiom and its meaning.

You are feeling here the difference between the transitive and the intransitive form of “feel” for sentir (and not smell).
In this context, intransitive, only the first form is correct.

feel vi (+ adj: experience emotion) se sentir⇒ v pron.

I did not feel courageous to refuse => « Je ne me sentais pas le cœur de refuser »

Different from the transitive form:

 feel [sth] vtr (be conscious of) (avoir conscience de) sentir⇒ vtr

He could feel her gaze on him => « Il sentait son regard »

Je ne sentais pas le coeur de refuser : incorrect. cela n’a aucun sens et grammaticalement c’est une construction impossible.

Je ne me sentais pas le coeur de refuser = Je ne sentais pas que j’avais le coeur de refuser.

C’est une construction du type:

Sujet (je) verbe de perception (sentais) [sujet + structure à l’infinitif].

Où le sujet est moi => me , le verbe à l’infinitif implicite est avoir.

Je voyais cette personne arriver.

Je me voyais tomber.

Je ne me voyais pas arrêter.

Je ne me sentais pas (avoir) le coeur de refuser.

Je ne me voyais pas (avoir) le courage de le lui dire.