Tu penses à quoi ? and À quoi tu penses ? are both common idiomatic spoken French. The former is more relaxed.

À quoi est-ce que tu penses ? is standard French.

À quoi penses-tu ? is formal

Same for the à qui and ta mère variants.

C’est plus une question d’usage que de syntaxe :
“A quoi tu penses?” est utilisé.
“A quoi ta mère pense ?” ne l’est pas.

“A quoi ta mère pense” représente plutôt la chose, celle à laquelle elle pense.
Pour en faire une question, il faut poser cette question :
“A quoi ta mère pense-t-elle ?“
“A quoi elle pense, ta mère ?” ou ” Elle pense à quoi, ta mère ?”
ou alors: “sais-tu à quoi ta mère pense ?”