Fosset est ici la graphie ancienne du mot fossé, qui subsiste encore aujourd’hui au Québec.

TLFi (Fossé):

REM.
Fosset, subst. masc.,région. (Canada). Var. graphique. − Tu seras content seulement quand t’auras bu ton chien-de-soul et qu’ils te ramasseront dans le fosset (Guèvremont, Survenant,1945, p. 242).

L’expression se tenir à cheval du fossé signifie donc probablement, au sens propre « circuler à cheval au bord ou au dessus du fossé sans être désarçonné », et au sens figuré « s’écarter du droit chemin tout en maintenant son équilibre ».