Seminarios "La informática en la encrucijada"
Sala Multiusos
Entendiendo el Transformer: El mecanismo de atención
Ponente: Pedro Almagro (Universidad de Sevilla
La ponencia "Entendiendo el Transformer: El Mecanismo de Atención", organizada de manera conjunta por el Seminario de Inteligencia Artificial de la US y el ciclo de seminarios “La informática en la encrucijada” del Programa de Doctorado de Ingeniería Informática de la ETSII, aborda los principios del modelo Transformer, responsable en gran medida del nuevo auge de la IA.
Esta ponencia se centrará en el mecanismo de atención, que permite al modelo identificar y ponderar información relevante sin seguir un orden secuencial estricto. La presentación comparará este enfoque con modelos tradicionales como las redes recurrentes y mostrará de manera sencilla cómo el mecanismo de atención permite enriquecer la representación de los diferentes tokens en una frase en función de su contexto y cómo este proceso puede definirse a nivel matricial y aprovechar así el paralelismo ofrecido por GPUs y TPUs.