Dire s’accorde avec le sujet (un sous-ensemble) qui est masculin singulier. Il faut donc dire:

Un sous-ensemble Y de A est dit algébrique s’il existe (…)

Le mot sous-ensemble s’écrit avec un trait d’union. Autrement la construction de la phrase est correcte et me paraît tout à fait adaptée aux mathématiques. Wikipédia donne, par exemple, la définition suivante pour un ensemble fini:

Un ensemble E est dit fini si et seulement s’il existe un entier (…)

Personnellement, la construction m’a toujours semblée étrange. Je préfère employer :

Un sous-ensemble algébrique est un sous-ensemble Y de A qui […]

On appelle sous-ensemble algébrique un sous-ensemble Y de A qui […]

Un sous-ensemble Y de A est qualifié d’algébrique si […]

On dit d’un sous-ensemble Y de A qu’il est algébrique si […]