Melhor resposta
A única vez que diria “de 20 anos atrás” é quando Estou situando algo em um momento específico no tempo. Este é o meu suéter da faculdade de 20 anos atrás. Esta é uma fotografia de 20 anos atrás. Quando você usa em uma construção como essa, significa que remonta àquela época.
Normalmente dizemos apenas 20 anos atrás. Eu o conheci há 20 anos. Morei naquela casa há 20 anos.
Se entendi bem o que você está tentando dizer em sua frase, seria melhor formulado assim: Ver você me lembra como eu costumava ser 20 anos atrás.
Resposta
“De 20 anos atrás” pode estar nos dizendo a origem de algo no tempo. Por exemplo, “Esta fotografia é de 20 anos atrás” significa que a fotografia foi tirada há 20 anos. Também é usado para comparar antes e agora, como em “A produção de carvão caiu 90\% em relação a 20 anos atrás.” Sem “de”, a frase identifica um ponto no tempo como em “Eu era muito mais magro há 20 anos.”
No exemplo de frase dado na pergunta, faz mais sentido se a palavra “de” é excluído.