That can be either:

Qu’est-ce que tu veux dire par là ?

or

Qu’est ce que tu veux dire avec ça ?

Beaucoup isn’t used with an article.

Il peut améliorer un beaucoup de ton mémoire has multiple issues, I would say:

Ça peut beaucoup améliorer ta mémoire.

Dans tous les cas, by that peut se traduire simplement en par là, dans des expressions qui expriment une opinion, une affirmation, une pensée:

Que voulez-vous dire par là ?

Que voulez-vous affirmer par là ?

Que voulez-vous exprimer par là ?

Qu’entendez-vous par là ?

A quoi pensez-vous par là ?

Concerning "beaucoup":

In French, "beaucoup" is an adverb, not a noun, so you can’t say "un beaucoup". You can say for example:

J’aime beaucoup le chocolat. -> I like chocolate very much.

J’ai beaucoup dormi. -> I have slept a lot.

For your example I suggest you use "grandement":

Cela peut grandement améliorer ta mémoire -> This can improve your memory by a lot.

If you mean that it can improve a big proportion of the whole memory not necessary in a big amount of improvement, you can say:

Cela peut améliorer beaucoup de ta mémoire -> This can improve a lot of your memory.

That last formulation sounds weird, but it is because the sense is weird itself.