Je ne trouve pas de solution parfaite, mais quelques idées qui me viennent:

• Il est tout de même venu/Il est quand même venu. L’accent ici est davantage porté sur le fait qu’on n’espérait plus que ça arrive (d’où une touche de contrariété, mais très légère).
• Il a fini par arriver. Dans ce cas l’accent est mis sur le temps passé avant l’arrivée de la personne.
• Il est finalement arrivé Similaire à l’exemple précédent.

Dans les exemples ci-dessus, il n’y a pas réèllement de notion marquée de contrariété dans la formule. Je pense que la solution la plus simple revient à l’exprimer via un mot supplémentaire placé avant ou après la phrase, des mots comme Dommage, Tant pis, Hélas (plus formel) ou encore comme dans l’exemple de la question des intejections comme Mince, Merde, …

Je rejoins aussi l’avis d’Édouard: l’intonation et un éventuel soupir joue beaucoup dans cet exemple.

Une solution idéale resterait selon moi: (soupir) Il est quand même venu…