Large Language Models

Abstract

Durante los últimos meses, los grandes modelos de lenguajes (LLMs) han revolucionado varias áreas de la informática. Estos modelos, dado tamaño medido en varios miles de millones de parámetros, parecen inescrutables. Esto nos deja con la sensación de que el tren ya pasó, que no podremos hacer aportes de importancia en el área, que quedaremos relegados a ser meros usuarios de estas tecnologías. Sin embargo, la arquitectura de estos modelos es relativamente simple. Basta aprender algunos conceptos generales para hacerse una idea de su funcionamiento, capacidades y limitaciones. En esta charla voy a contarles mi experiencia implementando mi propio modelo de lenguajes para solucionar un problema particular y voy a hacer hincapié en aquellos conceptos que considero deben aprenderse primero para subirse al tren. Ya sea como usuarios, para comprender qué podemos pedirle a estos modelos y qué no, o como investigadores, para poder identificar las diferencias en las arquitecturas, las mejoras propuestas por nuevas técnicas y los problemas del estado del arte.