GPT-2

GPT-2 (Generative Pre-trained Transformer 2, en français Transformeur génératif préentraîné 2) est un grand modèle de langage développé par OpenAI. Deuxième modèle de sa série pionnière de modèles GPT, GPT-2 a été pré-entraîné sur un ensemble de données issues de 8 millions de pages web. Il est considéré comme le véritable tournant ayant révélé la puissance des transformeurs génératifs préentrainés pour générer du texte inédit et cohérant. OpenAI publiait avant GPT-2 ses modèles en Open source. Pour la première fois, la puissance du modèle, notamment son potentiel de nuisance, convainc ses développeurs de ne le publier que partiellement en février 2019. La version complète du modèle à 1,5 milliard de paramètres a finalement été publiée le 5 novembre. Geoffrey Hinton révélait dans une interview que "ChatGPT en soi ne l'avait pas vraiment stupéfait, GPT-2, un des premiers modèles de langage, l'avait beaucoup plus impressionné". GPT-2 est une version augmentée de GPT-1, avec un nombre de paramètres et un jeu de données d'entraînement environ dix fois plus important. Le modèle de langage GPT-2 est capable de réaliser des tâches relativement diverses grâce à son aptitude exceptionnelle, par rapport à l'état de la science de l'époque, à réaliser de la complétion de texte. Cette capacité à prédire le prochain mot dans une séquence de mots lui permet de traduire des textes, de répondre à des questions sur un sujet donné, de résumer des passages d'un texte plus long et de générer un texte d'une qualité parfois indiscernable de celle d'un humain . Cependant, il arrivait qu'il se répète ou devienne incohérent lors de la génération de longs passages. Il a été remplacé par les modèles GPT-3, GPT-4 et GPT-5, qui ne sont plus libres de droits. GPT-2, à l'instar de son prédécesseur GPT-1 et de ses successeurs GPT-3, GPT-4 et GPT-5, utilise...