Introducción a los modelos de lenguaje (LLM)

Introducción a los modelos de lenguaje (LLM)

¿Qué es un modelo de lenguaje?

Un modelo de lenguaje (Language Model, o LLM) es un modelo de inteligencia artificial diseñado para comprender y generar texto humano. Estos modelos se entrenan con enormes corpus de textos y pueden:

• Predecir la continuación lógica de un texto
• Generar contenido coherente
• Responder a preguntas
• Traducir entre idiomas
• Resumir textos
• Y mucho más...

Tipos de modelos de lenguaje

1. Modelos basados en transformers

Los transformers son la arquitectura dominante de los LLM modernos. Utilizan un mecanismo de atención para comprender las relaciones entre las palabras de un texto.

Ejemplos:

• GPT (Generative Pre-trained Transformer)
• BERT (Bidirectional Encoder Representations from Transformers)
• T5 (Text-to-Text Transfer Transformer)
• LLaMA (Large Language Model Meta AI)

2. Modelos de distintos tamaños

Los LLM pueden clasificarse según su tamaño:

• Modelos pequeños: < 1000 millones de parámetros

  • Ejemplo: GPT-2 Small (124M parámetros)

• Modelos medianos: 1-10 mil millones de parámetros

  • Ejemplo: GPT-3 Small (125M parámetros)