GPT-2

Generative Pre-trained Transformer ( GPT ) é uma inteligência artificial de código aberto criada pela OpenAI em fevereiro de 2019. O GPT traduz texto, responde a perguntas, resume passagens, e gera saída de texto em um nível que, embora às vezes indistinguível dos humanos, pode se tornar repetitivo ou sem sentido ao gerar longas passagens. É um aluno de propósito geral ; não foi especificamente treinado para realizar nenhuma dessas tarefas, e sua capacidade de realizá-las é uma extensão de sua capacidade geral de sintetizar com precisão o próximo item em uma sequência arbitrária. O GPT-2 foi criado como um "escalonamento direto" do modelo GPT 2018 da OpenAI, com um aumento de dez vezes na contagem de parâmetros e no tamanho do conjunto de dados de treinamento. A arquitetura GPT implementa uma rede neural profunda, especificamente um modelo de transformer, que usa atenção no lugar de arquiteturas anteriores baseadas em recorrência e convolução. Mecanismos de atenção permitem que o modelo se concentre seletivamente em segmentos de texto de entrada que ele prevê serem os mais relevantes. Este modelo permite uma paralelização muito maior e supera os benchmarks anteriores para modelos baseados em RNN/CNN/LSTM. A OpenAI lançou a versão completa do modelo de linguagem GPT-2 (com 1,5 bilhão de parâmetros) em novembro de 2019. O GPT-2 seria seguido pelo GPT-3 de 175 bilhões de parâmetros, revelado ao público em 2020 (cujo código-fonte nunca foi disponibilizado). O acesso ao GPT-3 é fornecido exclusivamente por meio de APIs oferecidas pela OpenAI e pela Microsoft .