Sobre hombros de gigantes: los nuevos modelos de IA en código abierto

"Si he visto más lejos, ha sido por estar sobre hombros de gigantes". El conocimiento humano se construye sobre las bases establecidas por aquellos que nos precedieron, y en el caso de Isaac Newton se refería sin duda a científicos como Johannes Kepler, Galileo Galilei y Alhacén. En el campo de la inteligencia artificial (IA), esto ha sido evidente en los últimos seis meses con el impulso del estado del arte en modelos generativos, en particular en el campo del lenguaje. La llegada del celebérrimo ChatGPT fue el resultado de siete años de colaboración en código abierto en una arquitectura de IA peculiarmente llamada transformers, con contribuciones de miles de investigadores y un puñado de gigantes de la informática que lideraron equipos en el mundo entero, compartiendo sus descubrimientos abiertamente y entreayudándose con tesón.

Para este colectivo de investigadores de IA, el que ChatGPT sea un producto propietario closed source constituye una aberración, recibida al principio con cierta resignación que poco a poco se ha convertido en indignación constructiva. Una coalición de universidades llamada RedPajama, con subsidios del Departamento de Energía norteamericano bajo un programa poco conocido llamado INCITE, creó un dataset abierto de más de un billón de vocablos para facilitar el desarrollo de grandes modelos de lenguaje (LLMs) de código abierto.

En paralelo, se desarrollaron nuevas técnicas matemáticas con también nombres curiosos como LoRA que reducen las necesidades de cálculo y electricidad en varios órdenes de magnitud. Estas dos tendencias han incitado precisamente a muchas universidades y compañías en todo el mundo a innovar y desarrollar alternativas.

Campanazo mundial

Con esto, nuevos LLM de código abierto sin restricciones de uso empezaron a llegar justo a principios de mayo. Muchos de ellos provienen de Estados Unidos, como cabría esperar, pero no solamente. También proceden de Canadá, el Reino Unido e Israel. Y hace dos semanas llegó el Falcon desde el Instituto de Innovación Tecnológica de Abu Dabi (TII), dando un campanazo que se oyó en el mundo entero al lanzar una versión que rápidamente alcanzó el primer puesto en el ranking Open LLM de la compañía francesa HuggingFace, superando en rendimiento incluso al modelo puntero de Meta, denominado LLaMa.

El TII ha lanzado Falcon bajo a una licencia permisiva de tipo Apache 2.0 que autoriza a cualquier persona o compañía a explotarlo sin restricciones. Esto ha permitido que equipos independientes desarrollen productos competitivos con OpenAI y Google, por lo que es solo cuestión de días hasta que veamos la llegada de alternativas al mercado.

Velocidad sin precedente

Noticias relacionadas

El sistema eléctrico registró un déficit de 2.200 millones en 2023 que fue compensado por el superávit del año anterior

Hipotecas para extranjeros en España, ¿qué debo saber?

La velocidad a la que se están divulgando nuevas técnicas y lanzando nuevos productos no tiene precedente en la historia de la ciencia o de la ingeniería. Hace apenas un mes, se filtró desde Google un memorando titulado No tenemos foso [defensivo], y OpenAI tampoco. El autor, probablemente un ingeniero sénior de IA, vaticinaba que la comunidad de open source se iba a llevar por delante los avances propietarios de Google y OpenAI. Esto ha tardado apenas cuatro semanas en hacerse realidad. Los gigantes están cruzando el foso con cabreo.

A medida que más equipos independientes como el que construyó Falcon se van sumando a este colectivo que trabaja abiertamente, se está democratizando el acceso a la tecnología de vanguardia. Y queda mucho trabajo por hacer. Por ejemplo, el 46% del texto CommonCrawl que se usa para entrenar estos modelos está redactado en inglés; apenas el 4,5% es español, y el 0,2%, catalán. Y casi todo el refinado de los modelos se hace en inglés. Para temas técnicos, casi siempre es más recomendable usar los modelos en inglés y traducir al final el contenido deseado.