Não há nada de "mágico" ou "misterioso" em como a arquitetura Transformer funciona. Veja uma implementação do paper Attention is all you need usando numpy + pytorch, e entenda como fiz um classificador de dados tabulares a partir dela.