Avoir vite fait de est une locution verbale équivalente à avoir tôt fait de qui n’est plus très utilisée. Voir Two consecutive Participes Passé in the expression « j’aurais eu tôt fait de … »
L’expression avoir vite fait de est figée. Ici, le mot faire n’a pas valeur de verbe au sens où il ne sera jamais conjugué. De même, vite ne pourra pas être supprimé : il a fait de partir n’a pas de sens.