Transformer (aprendizado profundo)

No aprendizado profundo, o transformer ou transformador é uma arquitetura de rede neural artificial baseada no mecanismo de atenção multicabeça (multi-head), em que o texto é convertido em representações numéricas chamadas tokens, e cada token é convertido num vetor através da procura numa tabela de embedding de palavras. Em cada camada, cada token é então contextualizado dentro do escopo da janela de contexto com outros tokens (não mascarados) através de um mecanismo de atenção multicabeça paralelo, permitindo que o sinal dos tokens-chave seja amplificado e o dos tokens menos importantes seja diminuído. Os transformers têm a vantagem de não terem unidades recorrentes, necessitando por isso de menos tempo de treinamento do que as arquiteturas neurais recorrentes (RNNs) anteriores, como a LSTM. Variações posteriores têm sido amplamente adotadas para o treinamento de grandes modelos de linguagem (LLMs) em grandes conjuntos de dados (de linguagem). A versão moderna do transformer foi proposta no artigo de 2017 "Attention Is All You Need" por investigadores da Google. Os antecessores dos transformers foram desenvolvidos como uma melhoria em relação às arquiteturas anteriores para tradução automática, mas desde então têm encontrado muitas aplicações. São utilizados no processamento de linguagem natural em larga escala, em visão computacional (Transformer de Visão), na aprendizagem por reforço, em áudio, na aprendizagem multimodal, na robótica, e para jogar xadrez. Também levaram ao desenvolvimento de sistemas pré-treinados, tais como os transformers pré-treinados generativos (GPTs) e o BERT (representações de codificador bidirecional de transformers).