Seminario SIAUS sobre Transformer

Dentro del ciclo SIAUS (Seminario de Inteligencia Artificial de la Universidad de Sevilla), el ponente D. Pedro Almagro Blanco impartirá el seminario The Way to Transformers.

En esta charla, se presentarán los conceptos fundamentales que hay detrás del modelo Transformer, una de las arquitecturas que ha revolucionado el Procesamiento del Lenguaje Natural.

Se repasarán conceptos básicos de redes neuronales y autocodificadores antes de entrar a explicar conceptos propios del modelo Transformer como la capa de atención o el positional encoding. Además, se explicarán detalles concretos de su funcionamiento y del proceso que se sigue para entrenar grandes máquinas de lenguaje.