Tous bien sur!
You’re saying ‘we all have difficult times’, not ‘ we have whole difficult times’

L’accord avec le pronom on quand il sert de première personne du pluriel (la forme familière de nous) est un peu bizarre. Le verbe principal est toujours à la troisième personne du singulier (accord grammatical). S’il y a un participe ou un adjectif qui s’accorderait, il est en général au singulier, mais on trouve de plus en plus le pluriel. Les compléments moins directement attachés au verbe sont au pluriel (accord sémantique).

On est [sing.] arrivé(s) [sing., quelquefois plur.] au but.
On n’est [sing.] pas sorti(s) [sing., quelquefois plur.]¹ de l’auberge.
On est [3^e sing.] bon(s) [sing.] pour se faire saucer².
On est [3^e sing.] les meilleurs [plur.] des moments difficiles.
On a [3^e sing.] tous [plur.].

Pour les cas ambigus, avec un adjectif, j’ai l’impression on a plus tendance à mettre l’adjectif au pluriel quand il est féminin, peut-être parce qu’il y a déjà un accord sémantique à faire : « on est bonnes pour … », « on n’est pas soumises », etc. Pour le pronom tous, le pluriel est obligatoire (on peut dire « tout le groupe » au singulier, mais ce n’est pas employé lorsque le concept de groupe n’est pas explicite et mis en avant) : « on a tous … », « on a toutes … ».

Comme il s’agit d’une tournure orale, l’écrit devrait suivre l’oral. Même si l’usage dominant à l’écrit est le singulier (influencé par l’accord grammatical classique), la langue demande le pluriel, et on devrait transcrire cette tournure orale systématiquement avec un pluriel.

¹ _{À cause d’un bug de Ngram Viewer, il faut re-cliquer sur « Search » pour voir le graphe.}
² _{Se faire saucer (familier) = se prendre la pluie.}

Je me réfère à l’excellente explication grammaticale de Gilles, pour prendre une autre approche qui est celle du style (autrement dit, distinguer entre ce qui est interdit/permis et ce qui serait judicieux).

Bien que “on” ait désormais tendance a remplacer la première personne du pluriel et que cela soit grammaticalement admis, il faut quand même se rappeler qu’il s’agit à la base d’une troisième personne du singulier, qui a pris un sens indéterminé. Le TLFi fait le tour de la question. Selon le même TLFi, il est dérivé du latin homo, “un homme”.

J’aurais donc tendance à systématiquement utiliser “nous” quand il s’agit de personnes déterminées, en tout cas à l’écrit:

Nous sommes arrivés au but.

Je ne trouve pas choquant de dire:

On a tous des moments difficiles.

Vu qu’il s’agit d’une généralisation à toute la société (“tous” est là pour indiquer que la règle est toujours applicable).

Alors que la phrase:

Nous avons tous des moments difficiles.

serait plus judicieuse quand elle s’applique un ensemble précis de personnes (par exemple pour une équipe sportive, une entreprise, etc.)

En revanche, lorsqu’il est important d’être un peu plus formel, particulièrement à l’écrit:

Tout le monde a des moments difficiles.

S’agissant d’une question de style, je laisse ce qui précède à l’appréciation de chacun.