๐๐๐๐๐ ๐ญ๐ฐ๐ด ๐ฎ๐ฐ๐ฅ๐ฆ๐ญ๐ฐ๐ด ๐ฅ๐ฆ ๐๐ ๐ด๐ฆ ๐ฐ๐ญ๐ท๐ช๐ฅ๐ข๐ฏ ๐ฅ๐ฆ ๐ค๐ฐ๐ด๐ข๐ด. ๐ง
La memoria de los modelos de inteligencia artificial es limitada, se olvidan de ciertas cosas, es decir, no puedes preguntarles cosas infinitas porque se les olvida el contexto, vaya, de lo que estabais hablando, a eso se le conoce como context window (o ventana de contexto).
+----------------------------------------------+
| Ventana de Contexto |
| |
| [Token 1] [Token 2] [Token 3] ... [Token N] |
| |
+----------------------------------------------+
Esta ventana determina cuรกntos tokens (fragmentos de texto) el modelo puede procesar simultรกneamente. Por ejemplo, GPT-3.5 tiene un lรญmite de 4,096ย tokens, mientras que GPT-4 puede manejar hasta 32,768ย tokens.
Para superar esta limitaciรณn y permitir que los modelos de IA manejen contextos mรกs amplios sin olvidar informaciรณn previa, se utilizan bases de datos vectoriales. Estas bases de datos almacenan representaciones matemรกticas de datos (vectores) que facilitan la recuperaciรณn eficiente de informaciรณn relevante. Entre las mรกs destacadas se encuentran Pinecone, Chroma, Qdrant, etc.
Recientemente, Google presentรณ una nueva arquitectura llamada #Titans, que incorpora un mรณdulo de memoria neural diseรฑado para memorizar contextos histรณricos y asistir al mecanismo de atenciรณn en la gestiรณn de informaciรณn pasada. Esta innovaciรณn permite que el modelo maneje ventanas de contexto superiores a 2 millones de tokens, mejorando significativamente su capacidad para tareas que requieren anรกlisis de secuencias largas.
Una arquitectura tรญpica para extender la memoria del modelo incluirรญa:
โถUna base de datos vectorial para almacenar el conocimiento
โทUn sistema de embeddings para convertir la informaciรณn en vectores
โธUn modelo de IA para procesar y generar respuestas
โนUn sistema de recuperaciรณn de informaciรณn relevante
El vรญdeo muestra como con un script soy capaz de crear una base de conocimiento para un modelo y aplicando embeddings para poder encontrar la informaciรณn de una forma mรกs precisa y rรกpida.
#IA #AI #LLM #VectorDatabase #Embeddings #RAG #ContextWindow #DataScience #Pinecone #GoogleGemini #Innovation #Tech #DesarrolloIA