First, I wouldn’t say “je suis allé à un restaurant, mais

“je suis allé dans un restaurant.”

ou

“je suis allé au restaurant.”

Now, to answer the question, if I had to use a pronoun I would take y when you are not replacing something that follows de.

“j’y suis (beaucoup/peu/souvent) allé.”

Yes en can have as antecedent (beaucoup de/peu de/quelques) + something, but the issue is with the intransitive verb être with which en cannot be used that way.

You need to select a transitive verb, for example fréquenter, visiter, essayer then en will be possible, e.g.:

Il y a des centaines de restaurants dans la ville. J’en ai essayé quelques-uns, et ils sont assez bien, à mon avis.