Guía completa de los modelos Llama 4: Scout, Maverick y Behemoth

Meta ha lanzado recientemente Llama 4, una nueva generación de modelos de inteligencia artificial open source que redefine los estándares del sector. Esta familia de modelos incluye Scout, Maverick y Behemoth, cada uno diseñado para casos de uso específicos y que representa un avance significativo con respecto a Llama 3.

Visión general de los modelos Llama 4

Los modelos Llama 4 de Meta constituyen un grupo de modelos abiertos, multimodales y extremadamente eficientes. El más impresionante es Llama 4 Maverick, que ha superado el umbral de los 1400 puntos en el benchmark LMarena, por delante de modelos como GPT-4o, DeepSeek V3, Gemini 2.0 Flash y muchos otros.

Una de las características más destacables de estos modelos es su capacidad para gestionar contextos de 10 millones de tokens, la ventana de contexto más larga de todos los LLM open source hasta la fecha.

Los tres modelos y sus particularidades

Llama 4 Scout: pequeño, rápido e inteligente

Scout es el modelo más eficiente de la familia Llama 4. Es un modelo ligero y rápido, ideal para desarrolladores e investigadores que no tienen acceso a grandes recursos de GPU.

Características principales:

• Arquitectura: Scout utiliza una arquitectura Mixture of Experts (MoE) con 16 expertos, de los cuales solo activa 2 a la vez, lo que da como resultado 17 000 millones de parámetros activos sobre un total de 109 000 millones. Admite una ventana de contexto de 10 millones de tokens.
• Eficiencia: El modelo funciona de forma eficiente en una sola GPU H100 gracias a la cuantización Int4, lo que lo convierte en una opción de alto rendimiento asequible.
• Rendimiento: Scout supera a competidores como Gemma 3, Gemini 2.0 Flash-Lite y Mistral 3.1 en diversos benchmarks.
• Entrenamiento: Preentrenado en 200 idiomas (100 de ellos con más de mil millones de tokens cada uno) y con diversos datos de imagen y vídeo, admite hasta 8 imágenes por prompt.
• Aplicaciones: Gracias a sus capacidades avanzadas de razonamiento visual, Scout es ideal para chatbots con memoria larga, herramientas de resumen de código, bots educativos y asistentes optimizados para dispositivos móviles o embebidos.

Llama 4 Maverick: potente y fiable

Maverick es el modelo insignia open source de la familia. Está diseñado para el razonamiento avanzado, la programación y las aplicaciones multimodales. Aunque es más potente que Scout, mantiene una buena eficiencia gracias a la misma estrategia MoE.

Características principales:

• Arquitectura: Maverick utiliza una arquitectura MoE con 128 expertos enrutados y un experto compartido, y activa solo 17 000 millones de parámetros sobre un total de 400 000 millones durante la inferencia. Se entrena con una fusión temprana de las entradas de texto e imagen y admite hasta 8 imágenes como entrada.
• Eficiencia: El modelo funciona de forma eficiente en un solo host H100 DGX o puede distribuirse entre varias GPU.
• Rendimiento: Maverick alcanza una puntuación ELO de 1417 en el benchmark LMSYS Chatbot Arena, superando a GPT-4o y Gemini 2.0 Flash, y igualando a DeepSeek v3.1 en razonamiento, programación y capacidades multilingües.
• Entrenamiento: Construido con técnicas punteras como el escalado de hiperparámetros MetaP, el entrenamiento en precisión FP8 y un dataset de 30 billones de tokens. Ofrece una sólida comprensión de imágenes, razonamiento multilingüe y un rendimiento rentable que supera al modelo Llama 3.3 70B.
• Aplicaciones: Sus puntos fuertes lo hacen ideal para la programación colaborativa con IA, la comprensión de documentos a nivel empresarial y los sistemas de tutoría educativa.

Llama 4 Behemoth: el modelo maestro

Behemoth es el modelo más grande de Meta hasta la fecha. No está disponible para uso público, pero ha desempeñado un papel crucial en el desarrollo de Scout y Maverick.

Características principales:

• Arquitectura: Behemoth utiliza una arquitectura MoE con 16 expertos y activa 288 000 millones de parámetros sobre cerca de 2 billones durante la inferencia. Es nativamente multimodal y destaca en razonamiento, matemáticas y tareas que combinan visión y lenguaje.
• Rendimiento: Behemoth supera sistemáticamente a GPT-4.5, Claude Sonnet 3.7 y Gemini 2.0 Pro en benchmarks STEM como MATH-500, GPQA Diamond y BIG-bench.
• Papel: Desempeña un papel clave como modelo maestro, guiando a Scout y Maverick mediante una codestilación con una función de pérdida novedosa que equilibra la supervisión blanda y dura.
• Entrenamiento: El modelo se entrenó en precisión FP8, con un paralelismo MoE optimizado que ofrece mejoras de velocidad 10 veces superiores a Llama 3, y una nueva estrategia de aprendizaje por refuerzo. Esto incluye el muestreo de prompts difíciles, la construcción de lotes multicapacidad y el muestreo a partir de diversas instrucciones de sistema.

Innovaciones técnicas de los modelos Llama 4

Preentrenamiento

El preentrenamiento constituye la base de los conocimientos y capacidades de un modelo. Meta introdujo varias innovaciones en esta etapa:

• Datos multimodales: Los modelos Llama 4 se entrenaron con más de 30 billones de tokens procedentes de diversos conjuntos de datos de texto, imagen y vídeo. Son nativamente multimodales y procesan tanto el lenguaje como la visión desde el principio.

• Mixture of Experts (MoE): Solo un subconjunto de los parámetros totales del modelo está activo durante cada inferencia. Este enrutamiento selectivo permite que modelos masivos como Maverick (400B de parámetros) y Behemoth (~2T) sean más eficientes.

• Arquitectura de fusión temprana: Las entradas de texto y visión se entrenan conjuntamente mediante una fusión temprana, integrando ambas en una arquitectura de modelo compartida.

• Ajuste de hiperparámetros MetaP: Esta nueva técnica permite a Meta definir tasas de aprendizaje por capa y escalas de inicialización que se transfieren bien entre distintos tamaños de modelo y configuraciones de entrenamiento.

• Precisión FP8: Todos los modelos utilizan FP8 para el entrenamiento, lo que aumenta la eficiencia de cálculo sin sacrificar la calidad del modelo.

• Arquitectura iRoPE: Un nuevo enfoque que utiliza capas de atención entrelazadas sin embeddings posicionales y un escalado de temperatura en el momento de la inferencia, lo que ayuda a Scout a generalizar con entradas extremadamente largas (hasta 10M de tokens).

Postentrenamiento

Una vez entrenados los modelos base, se refinaron siguiendo una secuencia cuidadosamente elaborada:

• Fine-tuning supervisado ligero (SFT): Meta filtró los prompts fáciles utilizando los modelos Llama como jueces y solo empleó los ejemplos más difíciles para afinar el rendimiento en tareas de razonamiento complejas.

• Aprendizaje por refuerzo (RL): Se implementó un entrenamiento RL continuo utilizando prompts difíciles, filtrado adaptativo y diseño de currículo para mantener las capacidades de razonamiento, programación y conversación.

• Optimización directa de preferencias (DPO): Tras el RL, se aplicó un DPO ligero para pulir casos límite y la calidad de las respuestas, equilibrando utilidad y seguridad.

• Codestilación de Behemoth: Behemoth actuó como maestro generando salidas para entrenar a Scout y Maverick. Meta incluso introdujo una función de pérdida novedosa para equilibrar dinámicamente los objetivos de supervisión blanda y dura.

Estas etapas han dado lugar a modelos que no solo son grandes, sino profundamente optimizados, más seguros y más capaces en diversas tareas.

Rendimiento y benchmarks

Llama 4 Maverick alcanzó recientemente el 2.º puesto en la clasificación general, convirtiéndose en la 4.ª organización en superar los 1400 puntos en Arena. Estos son los puntos destacados:

• Modelo abierto, por delante de DeepSeek
• Empatado en el 1.er puesto en prompts difíciles, programación, matemáticas y escritura creativa
• Salto enorme con respecto a Llama 3 405B: 1268 → 1417
• Sometido a control de estilo

En el gráfico ELO frente a coste, Llama 4 Maverick se posiciona notablemente bien, ofreciendo un rendimiento de primer nivel a un coste de inferencia estimado de entre 0,19 y 0,49 $ por millón de tokens, muy inferior al de alternativas propietarias como GPT-4o y GPT-4.5.

Casos de uso y aplicaciones prácticas

Para Llama 4 Scout:

• Chatbots con memoria larga en dispositivos móviles
• Herramientas de resumen y análisis de código
• Asistentes educativos para escuelas con recursos limitados
• Aplicaciones embebidas que requieren una IA potente pero eficiente

Para Llama 4 Maverick:

• Programación asistida por IA en la empresa
• Análisis y comprensión de documentos voluminosos
• Sistemas de tutoría inteligente multimedia
• Aplicaciones multilingües que requieren un razonamiento sofisticado

Cómo empezar con Llama 4

Para utilizar los modelos Llama 4, puedes:

1. Descargar los modelos: Disponibles en el sitio oficial de Meta AI y en Hugging Face
2. Usar la API: Meta ofrece una API para la inferencia de los modelos Llama 4
3. Desplegar en local: Para quienes dispongan de los recursos de hardware adecuados, es posible un despliegue en máquinas locales

Para Scout, se recomienda un mínimo de 24 GB de VRAM, mientras que Maverick funciona mejor con al menos 48 GB.

Conclusión

Los modelos Llama 4 representan un avance significativo en el campo de los LLM open source. Con su innovadora arquitectura MoE, su ventana de contexto de 10 millones de tokens y su impresionante rendimiento, Scout y Maverick ofrecen alternativas competitivas a modelos propietarios como GPT-4o y Claude.

Lo que distingue especialmente a Llama 4 es el equilibrio entre rendimiento y eficiencia. Maverick demuestra que es posible alcanzar un rendimiento de nivel superior con un coste de inferencia notablemente más bajo que el de sus competidores propietarios, sin dejar de ser open source.

Tanto si eres desarrollador, investigador o empresa, los modelos Llama 4 merecen tu atención por sus capacidades multimodales avanzadas, su eficiencia y su apertura, que permite la innovación y la personalización.