Los LLMs son el pasado...
Ahora se empieza hablar de un nuevo paradigma CALM (Continuous Autoregressive Language Models)
Pero qué serán los modelos CALM?
- En los modelos actuales de tipo LLM, la generación se hace token por token (es algo discreto para que os hagáis una idea el típico Hola mundo sería algo como [1543, 8821], es decir se genera letra a letra), esto de por si es un cuello de botella
- En los modelos CALM, en vez de generar letra por letra, el modelo agrupa varias palabras (por ejemplo, 10 o 20 tokens) y las comprime en un solo vector continuo
-El modelo aprende a predecir el siguiente vector (en ese espacio continuo) en lugar del siguiente token
- Por último el modelo decodifica ese vector para recuperar los tokens originales con altísima fidelidad (más del 99.9%)
Para que os hagáis una idea los LLM pintarían pixel por pixel una imagen mientras que CALM pinta muchos pixeles a la vez (brocha gorda)
Pero por qué es mejor CALM que LLM?
- Se podría generar texto mucho más rápido
- Menos coste de CPU/GPU
- Chatgpt corriendo en local en tu móvil?
Todo esto viene de un paper que os dejo en los comentarios