No, it must be one of these two:

Example One

1. Je ne me souviens pas de qui il parlait
2. Je ne me souviens pas à qui il parlait.

Translation:

1. I don’t remember who he was talking about. [formal: about whom he was talking]
2. I don’t remember who he was talking to. [formal: to whom he was talking]

Example Two:
3) I don’t remember about whom he spoke.
4) I don’t remember to whom he spoke.

Translation:

1. Je ne me souviens pas de qui il a parlé.
2. Je ne me souviens pas à qui il a parlé.

Meaning: to whom he spoke/was speaking
or
about whom he spoke/was speaking.

Even in English, you can’t have: of to he was speaking. [buzzer]

Note: the French imperfect here is past continuous in English. It is not simple past.

In the case you provide, no, this is not possible, and this type of construction (any pair of preposition one after the other) is not found often. This practice of using two successive prepositions is found in the ancient tongue (17th, 18th and 19th century (for instance "de à qui").

However, this does not mean that two prepositions in a succession are not found; you do find quite a few and their meaning is according to the combination of the two; nevertheless, they are not analysed as two prepositions any more but as a prepositional locution.

For instance you still find "de avec" (written "d’avec"), a prepositional locution.

réf. 1, 1988 Aller en Angleterre, c’est signaler la rupture d’avec ce passé , coupure qu’avait marquée, dans son oeuvre, Les Caves du Vatican .

réf. 2, 1936 […]et s’étant toujours défendu contre ce genre de dépendance en cherchant et en marquant ses différences d’avec autrui

réf. 3, 1958 Le procédé de séparation du vanadium d’avec le fer, préconisé par D.

réf. 4, 1981 Une évolution similaire apparaissait dans la séparation d’avec le monde et l’appartenance au groupement

On emploi toujours beaucoup "de après", écrit "d’après", but this is not considered as two prepositions any more; the two of them form a prepositional locution.

"De derrière" is another one that is mostly a usage of the past but that you’ll find in certain expressions such as "de derrière les fagots" and (colloquial) "idée de derrière la tête". This combination is not considered as that of two prepositions but is recorded in the TLFi as a locution.

ref. 1, 1959 De Derrière les Fagots

réf. 2, 1976 Connaissez-vous les meilleures histoires drôles qu’a rapportées Armand Isnard de derrière le rideau de fer ?

réf. 3, 2013 De fines volutes de fumée bleutée s’élevèrent bientôt. Puis, de derrière les cabanes qui longeaient le rempart sud surgirent des silhouettes rapides et furtives qui s’élancèrent vers l’espace découvert.

réf. 4, 2017 Exposition "Quelques nouvelles de derrière les barreaux". mercredi 22 novembre 2017

Some combinations are quite common, as for example "près de", which is sometimes shortened as "près" ; however, this combination is considered to be one unique preposition, called a "locution prepositive".

La phrase

Je ne me souviens pas de à qui il parlait.

se rencontre parfois à l’oral, mais n’est pas académique, ignorant l’élision et n’évitant pas la succession de prépositions.

On entend un peu plus souvent :

Je ne me souviens pas d’à qui il parlait.

qui n’est pas non plus acceptée par la norme.

L’absence de de peut choquer car on se souvient normalement de quelque chose :

Je ne me souviens pas à qui il parlait.

Une solution simple ne mécontentant personne est :

Je ne me souviens pas de la personne à qui il parlait.

Le premier de disparaît quand s’il est suivi de d’où :

Je ne me souviens pas de d’où il vient.

On peut quand même avoir de suivi d’une préposition si cette dernière fait partie d’une locution ou à perdu autrement son statut :

Je ne me souviens pas d’À la claire fontaine.

Je ne me souviens pas de de Gaulle…

Je ne me souviens pas de D’où viens-tu Johnny?

Les lecteurs potentiels de À qui la fortune sourit proviendront d’un vaste public.

À qui la fortune sourit, Laurence Mussio, 2020

D’autres successions de prépositions sont courantes, au moins à l’oral :

T’as pas idée d’à qui t’as affaire…

Room Service, Elvin Post, 2010

Je ne me souviens pas de par où je suis passé.

Jean Trémolières, Collectif.

Jacques Blaize, Du fondement à l’inachevé, 2002

"Je n’ai pas eu le droit d’aller en acheter parce que j’avais mon matériel de vote, je n’ai donc pas la moindre idée de pour qui j’ai voté”

Le nouvel économiste, 2016