La première sonne faux. Certains énoncés mathématiques peuvent être écrits comme ça, mais c’est une erreur.

La seconde est correcte, et est la forme qui doit être utilisée:

on prend y tel que x soit égal à 5

Explications (par Vincent G):

Si la subordonnée introduite par tel que est une subordonnée de comparaison, l’emploi de l’indicatif est nécessaire dans celle-ci. Dans ce cas tel que exprime la similitude ou introduit un exemple, tel que je viens de l’écrire.

En revanche, si la subordonnée introduite est une subordonnée de conséquence, c’est le subjonctif qui est requis dans la subordonnée, est on est dans ce cas là pour la phrase citée en exemple dans la question.

(sources : Le Larousse)

La seconde est la bonne forme, la première est incorrecte.

La règle dépasse les mathématiques:

phrase d’action + tel que (dans le sens de but) => subjonctif dans la seconde phrase.

Ce lien fournit tout une série d’exemples: http://www.bertrandboutin.ca/Folder_151_Grammaire/C_b_emploi_subj.htm

On peut garder le même sens en remplaçant tel que par afin que, pour que, de (telle) sorte que, de façon (à ce) que, de manière que, :

on prend y afin que x soit égal à 5.

on prend y pour que x soit égal à 5.

je ferme les portes tel qu’il soit impossible d’entrer => il sera impossible d’entrer.

A contrario, on peut avoir un indicatif, s’il n’y a pas de sens de but, mais simplement une affirmation:

Je le dis tel que je le fais.

je ferme les portes tel qu’il est impossible d’entrer => au moment où je ferme les portes, on voit bien qu’il est impossible d’entrer.

Si la subordonnée introduite par tel que est une subordonnée de comparaison, l’emploi de l’indicatif est nécessaire dans celle-ci. Dans ce cas tel que exprime la similitude ou introduit un exemple, tel que je viens de l’écrire.

En revanche, si la subordonnée introduite est une subordonnée de conséquence, c’est le subjonctif qui est requis dans la subordonnée, est on est dans ce cas là pour la phrase citée en exemple dans la question.

(sources : http://www.larousse.fr/dictionnaires/francais/tel/77019?q=tel+que#76118)