Será mejor que GPT-4 Vision tenga cuidado: ¡descubra las alternativas de código abierto a LLaVA 1.5 que están por llegar!
LLaVA 1.5: una alternativa de código abierto a GPT-4 Vision
La inteligencia artificial generativa está evolucionando rápidamente con la aparición de modelos de lenguaje multimodal (LMM) como GPT-4 Vision de OpenAI. Estos modelos revolucionan nuestra interacción con los sistemas de IA al integrar texto e imágenes.
Sin embargo, la naturaleza cerrada y comercial de algunas de estas tecnologías puede limitar su adopción universal. Es en este contexto que entra en juego la comunidad de código abierto, impulsando el modelo LLaVA 1.5 como una alternativa prometedora a GPT-4 Vision.
La mecánica de LMM
Los LMM funcionan utilizando una arquitectura multicapa. Combinan un modelo previamente entrenado para codificar elementos visuales, un modelo de lenguaje grande (LLM) para interpretar y responder a las instrucciones del usuario y un conector multimodal para vincular la visión y el lenguaje.
Su formación se desarrolla en dos etapas: una fase inicial de alineación entre visión y lenguaje, seguida de un ajuste fino para responder a las solicitudes visuales. Este proceso, aunque eficiente, a menudo requiere importantes recursos computacionales y una base de datos rica y precisa.
Las ventajas de LLaVA 1.5
LLaVA 1.5 se basa en el modelo CLIP para la codificación visual y Vicuña para el lenguaje. A diferencia del modelo LLaVA original, que utilizaba las versiones de texto de ChatGPT y GPT-4 para el ajuste visual, LLaVA 1.5 va más allá al conectar el modelo de lenguaje y el codificador visual a través de un perceptrón multicapa (MLP). Esta actualización enriqueció su base de datos de aprendizaje con preguntas y respuestas visuales, con un total de aproximadamente 600.000 ejemplos. Por lo tanto, LLaVA 1.5 superó a otros LMM de código abierto en 11 de 12 puntos de referencia multimodales.
El futuro de los LMM de código abierto
La demostración online de LLaVA 1.5, accesible a todos, muestra resultados prometedores, incluso con un presupuesto limitado. Sin embargo, persiste una restricción: el uso de los datos generados por ChatGPT limita su uso a fines no comerciales.
A pesar de esta limitación, LLaVA 1.5 proporciona un camino hacia el futuro de los LMM de código abierto. Su rentabilidad, su capacidad para generar datos de aprendizaje escalables y su eficiencia en el ajuste de instrucciones visuales lo convierten en un presagio de futuras innovaciones.
LLaVA 1.5 es sólo el comienzo de una serie de avances de la comunidad de código abierto. Al anticipar modelos más eficientes y accesibles, podemos imaginar un futuro en el que la tecnología de IA generativa sea accesible para todos, revelando el potencial ilimitado de la inteligencia artificial.