BERT (modelo de lenguaje)

BERT (Bidirectional Encoder Representations from Transformers) o Representación de Codificador Bidireccional de Transformadores es una técnica basada en redes neuronales para el pre-entrenamiento del procesamiento del lenguaje natural (PLN) desarrollada por Google.​ BERT fue creado y publicado en 2018 por Jacob Devlin y sus compañeros en Google​​y su uso original fue para comprender mejor las búsquedas de las personas usuarias.​ Lo que distingue a BERT es su capacidad para captar el contexto bidireccional en una oración. Es decir, que puede captar el significado de una palabra en relación con las palabras que la rodean. Esta mejora en la comprensión contextual ha llevado a un mayor rendimiento en diversas tareas de procesamiento del lenguaje natural. Lo cual ha sido aprovechado por Google para perfeccionar la comprensión de las búsquedas.​ La implementación de BERT ha llevado a resultados de búsqueda más precisos y relevantes, ya que el motor de búsqueda puede entender mejor el contexto detrás de las consultas. El modelo original de BERT se entrenó utilizando dos grandes conjuntos de datos en lengua inglesa: BookCorpus y Wikipedia en inglés. Desde su introducción, BERT ha sido adoptado en todo el mundo y se ha utilizado en diversas aplicaciones, desde mejorar la calidad de las respuestas automáticas hasta potenciar la capacidad de las máquinas para entender el lenguaje en contextos complejos.