1- In the sentence

Il est facile de parler français.

facile is an attribut complément du verbe,
de parler français is a complément d’objet indirect.

It’s the same construction in English:

It is easy to speak French.

You can add the complément du comparatif plus ... que ...:

Parler anglais est plus facile que de parler français.

and with a negation:

Parler anglais n‘est pas plus facile que de parler français.

This sentence has the same grammatical structure as yours:

Cette chose bien simple n‘était pas plus facile, cependant, que de remuer le soleil !

2- You cannot remove de in the sentence, as you cannot remove it of

Il est facile de parler français.
Il est facile parler français.

3- Other examples :

Je suis désolé d’être arrivé en retard. (I’m sorry for being late)
Elle est obligée de partir. (She has to go/She is obliged to leave)
Je viens de penser à toi. (I just think of you)

This is a simple comparative:

Il est plus facile de marcher que de nager.

Il est plus facile de se taire que de parler trop.

Negative:

Il n’est pas plus bête de donner des exemples concrets que de faire la grammaire toute la journée.

Le bateau pouvait s’arrêter, ils n’avaient qu’à descendre ; et cette chose bien simple n’était pas plus facile, cependant, que de remuer le soleil !

Now, the Flaubert sentence follows the same pattern, you just have to "dig it out":

Il n’est pas plus facile pour le bateau de s’arreter que [pour nous or some other thing like that] de remuer le soleil.

The structure is the same but it is just not grouped together….

1. What is its grammatical or syntactic function? (For example, is there a de-infinitive similar to the English to-infinitive?)

   Not that similar but there should be a preposition between an adjective and an infinitive, e.g.

   • Tricher est interdit.

   • Il est interdit de tricher.

   • Trouver la sortie est facile.

   • Il est facile de trouver la sortie.

   • La sortie est facile à trouver.

2. Would it be acceptable to delete de in the Flaubert sentence (i.e. have que remuer le soleil instead)? Would that be ungrammatical? Would it be grammatical but change the meaning?

   That would break the quality of Flaubert prose but not grammar as that de is considered by current grammars to be syntactically expletive.

   Reference tlfi: de

   De + inf. dans l’expression d’une comparaison.

   − [de est facultatif dans le second terme d’une phrase qui énonce une préférence, un choix entre deux comportements (préférence de volonté plutôt que de goût).] Plutôt souffrir que (de) mourir.

   • « Plutôt souffrir que mourir, c’est la devise des hommes. » Jean de la Fontaine – La Mort et le Bûcheron.
   • « Face au monde qui change, il vaut mieux penser le changement que changer le pansement. » Jean Yanne 😉

   In any case, the meaning wouldn’t change.

   Note that if the first infinitive is introduced by de, then the second de is mandatory:

   • « Il est plus facile d’embaucher que de licencier. »

3. What would be other usages for de + an infinitive? I.e. please give other sentence forms in which de would have the same syntactic role as described in answer to question 1.

   Ils sont trop verts, dit-il, et bons pour des goujats.

   Fit-il pas mieux que de se plaindre ?

   Jean de la Fontaine – Le Renard et les Raisins

   (See also « Fit-il pas mieux que de se plaindre ? » if your are confused by the last verse.)