Profundización en Modelos de Lenguaje Grandes

📚 Resumen del contenido

Este curso ofrece una introducción completa e intensiva a la evolución de los Modelos de Lenguaje de Gran Tamaño (LLMs), sus arquitecturas técnicas fundamentales, paradigmas de entrenamiento (preentrenamiento, fine-tuning y alineación), extensiones multimodales, ingeniería de prompts, Cadena de Pensamiento (CoT), agentes, así como temas de vanguardia como la seguridad del modelo y la protección de privacidad.

Análisis profundo de la evolución tecnológica y la alineación de seguridad en modelos de gran tamaño de todo el stack, desde el preentrenamiento hasta agentes generales.

🎯 Objetivos de aprendizaje

1. Distinguir entre arquitecturas de modelos: Identificar las diferencias estructurales y casos de uso para modelos Encoder-only, Decoder-only y Encoder-Decoder.
2. Explicar el pipeline de entrenamiento de LLMs: Describir la transición desde el preentrenamiento autónomo hasta el Fine-Tuning Supervisado (SFT) y el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF).
3. Analizar la escalabilidad y el comportamiento del modelo: Explicar los conceptos de Leyes de Escalabilidad, Habilidades Emergentes (aprendizaje in-context, Cadena de Pensamiento) y el fenómeno de las Alucinaciones.
4. Analizar las diferencias estructurales entre arquitecturas Encoder-only (BERT), Decoder-only (GPT) y Encoder-Decoder (T5).
5. Explicar el proceso de entrenamiento en tres etapas: Preentrenamiento (modelo base), Tuning de Instrucciones (SFT) y Alineación (RLHF/PPO).
6. Comparar el rendimiento, leyes de escalabilidad y innovaciones arquitectónicas de los principales LLMs como GPT, Llama, Qwen y DeepSeek.
7. Implementar estrategias de prompting cero-shot y few-shot para extracción y clasificación de datos estructurados.
8. Calibrar hiperparámetros del modelo (Temperatura, Top P, Penalidades) para equilibrar salidas creativas y deterministas.
9. Construir prompts efectivos de Cadena de Pensamiento (CoT) utilizando métodos manuales, automáticos y cero-shot ("Pensemos paso a paso").
10. Analizar y comparar variantes de CoT: Diferenciar entre Autoconsistencia, Programa de Pensamiento (PoT), Árbol de Pensamiento (ToT) y Grafo de Pensamiento (GoT).

🔹 Lección 1: Introducción a los Modelos de Lenguaje de Gran Tamaño y Tecnologías de Preentrenamiento

Resumen: Esta lección explora la evolución de la Inteligencia Artificial desde modelos especializados de pequeño tamaño hasta modelos de lenguaje de gran tamaño (LLMs) de propósito general. Detalla el cambio arquitectónico desde los "BERTology" basados en encoder hasta paradigmas generativos de decoder único, cubriendo la pipeline técnica crítica de preentrenamiento, tuning de instrucciones y alineación (RLHF). Además, el contenido examina familias de modelos líderes en la industria, incluyendo GPT, Llama y innovaciones nacionales como Qwen y DeepSeek.

Resultados del aprendizaje:

• Distinguir entre arquitecturas de modelos: Identificar las diferencias estructurales y casos de uso para modelos Encoder-only, Decoder-only y Encoder-Decoder.
• Explicar el pipeline de entrenamiento de LLMs: Describir la transición desde el preentrenamiento autónomo hasta el Fine-Tuning Supervisado (SFT) y el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF).
• Analizar la escalabilidad y el comportamiento del modelo: Explicar los conceptos de Leyes de Escalabilidad, Habilidades Emergentes (aprendizaje in-context, Cadena de Pensamiento) y el fenómeno de las Alucinaciones.

🔹 Lección 2: Estudios de caso de LLMs principales y estrategias de despliegue

Resumen: Esta lección proporciona una visión técnica integral de los Modelos de Lenguaje de Gran Tamaño (LLMs), rastreando su evolución desde arquitecturas básicas encoder-decoder hasta sistemas modernos multimodales y basados en agentes. Detalla la pipeline técnica fundamental —comprendiendo preentrenamiento, tuning de instrucciones y alineación— mientras evalúa estudios de caso principales como GPT-4, Llama 3 y DeepSeek. El módulo concluye con estrategias prácticas de despliegue (API frente a local) y marcos avanzados de ingeniería de prompts como RAG y ReAct.

Resultados del aprendizaje:

• Analizar las diferencias estructurales entre arquitecturas Encoder-only (BERT), Decoder-only (GPT) y Encoder-Decoder (T5).
• Explicar el proceso de entrenamiento en tres etapas: Preentrenamiento (modelo base), Tuning de Instrucciones (SFT) y Alineación (RLHF/PPO).
• Comparar el rendimiento, leyes de escalabilidad y innovaciones arquitectónicas de los principales LLMs como GPT, Llama, Qwen y DeepSeek.

🔹 Lección 3: Fundamentos de la ingeniería de prompts y Cadena de Pensamiento

Resumen: Esta lección aborda la transición avanzada desde el prompting cero-shot básico hasta el aprendizaje estructurado few-shot y las capacidades emergentes de razonamiento de Cadena de Pensamiento (CoT). Los estudiantes analizarán cómo controlar el comportamiento del modelo mediante hiperparámetros técnicos y demostraciones estructuradas para resolver tareas complejas de carácter lógico, matemático y lingüístico. El material concluye con una exploración del aprendizaje supervisado por proceso y métodos automatizados de construcción de CoT.

Resultados del aprendizaje:

• Implementar estrategias de prompting cero-shot y few-shot para extracción y clasificación de datos estructurados.
• Calibrar hiperparámetros del modelo (Temperatura, Top P, Penalidades) para equilibrar salidas creativas y deterministas.
• Construir prompts efectivos de Cadena de Pensamiento (CoT) utilizando métodos manuales, automáticos y cero-shot ("Pensemos paso a paso").

🔹 Lección 4: Razonamiento avanzado, edición de conocimiento y lógica matemática

Resumen: Esta lección explora variantes estructurales avanzadas del prompting Cadena de Pensamiento (CoT), los marcos técnicos para editar conocimiento dentro de los Modelos de Lenguaje de Gran Tamaño (LLMs) y el dominio especializado del razonamiento matemático. Detalla cómo los modelos pasan de un razonamiento lineal simple a estructuras complejas basadas en grafos, cómo se corrigen conocimientos "indeseados" mediante edición interna y externa, y las pipelines de entrenamiento y evaluación para modelos matemáticos de última generación.

Resultados del aprendizaje:

• Analizar y comparar variantes de CoT: Diferenciar entre Autoconsistencia, Programa de Pensamiento (PoT), Árbol de Pensamiento (ToT) y Grafo de Pensamiento (GoT).
• Evaluar técnicas de edición de conocimiento: Comprender las métricas de Fiabilidad, Localidad y Portabilidad, y distinguir entre soluciones de edición interna (ROME) y externa (SERAC).
• Evaluar pipelines de lógica matemática: Identificar los conjuntos de datos de entrenamiento (GSM8K, MATH, AIME) y procesos de distillación utilizados para mejorar el razonamiento matemático de larga duración en modelos como DeepSeek-Math y o1.

🔹 Lección 5: Seguridad del contenido, watermarking y análisis de ataques de fuga

Resumen: Esta lección explora los mecanismos técnicos para identificar contenido generado por LLMs y los desafíos de seguridad planteados por ataques adversariales. Cubre técnicas de watermarking estadísticas (KGW, SIR, X-SIR) diseñadas para sobrevivir a traducciones y reescrituras, junto con un análisis de prompts de "fuga" (DAN, STAN) utilizados para evitar barreras de seguridad. El material concluye con estrategias defensivas y el conflicto inherente entre utilidad del modelo y seguridad.

Resultados del aprendizaje:

• Analizar la fundación matemática del watermarking KGW y SIR, incluyendo partición de vocabulario y ajustes invariantes semánticos.
• Identificar y categorizar estrategias de fuga como "Simulación", "Escalada de privilegios" y ataques basados en cifrado.
• Evaluar medidas defensivas incluyendo Defensa In-Context (ICD), Defensa de Advertencia Preventiva (CWD) y Red Teaming.

🔹 Lección 6: Investigación sobre esteganografía en LLMs y protección de privacidad

Resumen: Esta lección explora el equilibrio crítico entre la utilidad y la seguridad de los Modelos de Lenguaje de Gran Tamaño (LLMs), centrándose en los mecanismos de ataques de fuga y la implementación técnica de esteganografía. Cubre cómo los atacantes evitan filtros de seguridad mediante ingeniería de prompts sofisticada (por ejemplo, DAN, STAN) y cómo los LLMs pueden usarse para comunicación encubierta al embeber datos en el proceso de generación de tokens. Además, introduce la arquitectura y capacidades de los Modelos de Lenguaje de Gran Tamaño Multimodales (MLLMs) en el procesamiento y generación de tipos de datos diversos como imágenes, audio y video.

Resultados del aprendizaje:

• Identificar y analizar patrones comunes de ataques de fuga, incluyendo roles (DAN), coerción cognitiva (PUA) y métodos de canal lateral (cifrado/código).
• Explicar el mecanismo técnico de la esteganografía en LLMs, específicamente cómo se mapean flujos de bits a la distribución de probabilidad (logits) de predicciones de próximos tokens.
• Clasificar arquitecturas de MLLM según su capacidad para percibir y generar múltiples modalidades (Texto, Imagen, Audio, 3D).

🔹 Lección 7: Arquitectura y diseño avanzados de LLMs multimodales

Resumen: Esta lección explora la infraestructura técnica de los Modelos de Lenguaje de Gran Tamaño Multimodales (MLLMs), centrándose en los mecanismos de codificación, proyección y decodificación que permiten la inteligencia cruzomodal. Detalla la transición de codificadores específicos por modalidad hacia espacios de representación unificados y analiza los diversos métodos utilizados para cerrar la brecha entre señales no textuales y los espacios semánticos de los LLMs.

Resultados del aprendizaje:

• Identificar codificadores especializados y métodos de tokenización para modalidades no visuales, incluyendo audio (HuBERT, Whisper) y nubes de puntos 3D (Point-BERT).
• Evaluar diferentes técnicas de proyección del lado de entrada (Lineal, MLP de múltiples capas, Resamplers) utilizadas para alinear representaciones multimodales con espacios semánticos de LLM.
• Comparar las tres estrategias principales de conexión del lado de decodificación: tokens discretos, embeddings continuos y codebooks para generación multimodal.

🔹 Lección 8: Agentes autónomos, RLHF y alineación de seguridad

Resumen: Esta lección explora la evolución de los agentes de interfaz gráfica (GUI) desde la ejecución estática de tareas hasta la toma de decisiones autónomas en entornos dinámicos. Detalla las arquitecturas técnicas de agentes de código abierto y cerrado, la integración del Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y la Optimización de Política Proxima (PPO) para la alineación de políticas, y los desafíos críticos de seguridad —que van desde inyecciones de prompts ambientales hasta backdoors del modelo— que requieren marcos defensivos robustos como GuardAgent y R-Judge.

Resultados del aprendizaje:

• Analizar los componentes arquitectónicos de los agentes GUI, incluyendo módulos de planificación, toma de decisiones y reflexión en sistemas multiagente.
• Explicar la mecánica del Aprendizaje por Refuerzo (RL) y RLHF, específicamente el papel de los modelos de recompensa y PPO en alinear el comportamiento del agente con valores humanos.
• Evaluar riesgos de seguridad e incertidumbres en agentes autónomos, incluyendo errores fuera de distribución (OOD), ataques de fuga y distracciones ambientales.