De is not an article but a preposition introducing the infinitive, a little like to in English.
A literal translation would be:

To be with them, that’s more important than the food I eat.

This ordering goal is to emphasize "to be with them". A non emphasized sentence would be :

[…] et c’est plus important d’être avec eux que la nourriture que je mange.

While the sentence as a whole is casual, this particular usage is not a mistake or "imperfect French". Au contraire, it is even described as being literary by the TLFi.

De
…
II. − De marque une relation syntaxique; il est introducteur de substantif, de pronom ou d’infinitif en fonction de complément, de sujet, d’attribut, d’apposition, ou en fonction expressive.
…
B. − [De introducteur de sujet, d’attributs, d’apposition; de signifie « le fait de », en parlant d’un fait particulier.]
1. De + infinitif sujet [(tour littéraire assez répandu; de a une valeur expressive plutôt que syntaxique).]
a) [En tête de phrase.] d’écrire ces quelques lignes, − de prendre date vis-à-vis de moi-même m’a fait grand bien (Du Bos, Journal, 1924, p. 152).

The Littré shows a few quotes with this usage:

De dire si la compagnie Prit goût à la plaisanterie, J’en doute, La Fontaine, Filles de Minée.
D’expliquer ce qui s’y passe, ce n’en est pas ici le lieu, Bossuet, Or. 7
De savoir quelles sont leurs limites, ce n’est pas une chose facile, La Bruyère, VII
De préférer la raison à la félicité, c’est être très insensé, Voltaire, Bramin.

and states:

Cette tournure est perpétuelle dans le XVII^e siècle, et on ne parle guère autrement ; aujourd’hui on supprime souvent, surtout quand l’infinitif est sujet complexe, ce de qui n’est ni sans utilité ni sans grâce, et qui d’ailleurs peut être repris, quand on veut, d’après les meilleures et les plus sûres autorités.