Profundización en Modelos de Lenguaje Grandes

Resumen: Esta lección explora la evolución de la Inteligencia Artificial desde modelos especializados de pequeño tamaño hasta modelos de lenguaje de gran tamaño (LLMs) de propósito general. Detalla el cambio arquitectónico desde los "BERTology" basados en encoder hasta paradigmas generativos de decoder único, cubriendo la pipeline técnica crítica de preentrenamiento, tuning de instrucciones y alineación (RLHF). Además, el contenido examina familias de modelos líderes en la industria, incluyendo GPT, Llama y innovaciones nacionales como Qwen y DeepSeek.

Resultados del aprendizaje:

• Distinguir entre arquitecturas de modelos: Identificar las diferencias estructurales y casos de uso para modelos Encoder-only, Decoder-only y Encoder-Decoder.
• Explicar el pipeline de entrenamiento de LLMs: Describir la transición desde el preentrenamiento autónomo hasta el Fine-Tuning Supervisado (SFT) y el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF).
• Analizar la escalabilidad y el comportamiento del modelo: Explicar los conceptos de Leyes de Escalabilidad, Habilidades Emergentes (aprendizaje in-context, Cadena de Pensamiento) y el fenómeno de las Alucinaciones.

Resumen: Esta lección proporciona una visión técnica integral de los Modelos de Lenguaje de Gran Tamaño (LLMs), rastreando su evolución desde arquitecturas básicas encoder-decoder hasta sistemas modernos multimodales y basados en agentes. Detalla la pipeline técnica fundamental —comprendiendo preentrenamiento, tuning de instrucciones y alineación— mientras evalúa estudios de caso principales como GPT-4, Llama 3 y DeepSeek. El módulo concluye con estrategias prácticas de despliegue (API frente a local) y marcos avanzados de ingeniería de prompts como RAG y ReAct.

Resultados del aprendizaje:

• Analizar las diferencias estructurales entre arquitecturas Encoder-only (BERT), Decoder-only (GPT) y Encoder-Decoder (T5).
• Explicar el proceso de entrenamiento en tres etapas: Preentrenamiento (modelo base), Tuning de Instrucciones (SFT) y Alineación (RLHF/PPO).
• Comparar el rendimiento, leyes de escalabilidad y innovaciones arquitectónicas de los principales LLMs como GPT, Llama, Qwen y DeepSeek.

Resumen: Esta lección aborda la transición avanzada desde el prompting cero-shot básico hasta el aprendizaje estructurado few-shot y las capacidades emergentes de razonamiento de Cadena de Pensamiento (CoT). Los estudiantes analizarán cómo controlar el comportamiento del modelo mediante hiperparámetros técnicos y demostraciones estructuradas para resolver tareas complejas de carácter lógico, matemático y lingüístico. El material concluye con una exploración del aprendizaje supervisado por proceso y métodos automatizados de construcción de CoT.

Resultados del aprendizaje:

• Implementar estrategias de prompting cero-shot y few-shot para extracción y clasificación de datos estructurados.
• Calibrar hiperparámetros del modelo (Temperatura, Top P, Penalidades) para equilibrar salidas creativas y deterministas.
• Construir prompts efectivos de Cadena de Pensamiento (CoT) utilizando métodos manuales, automáticos y cero-shot ("Pensemos paso a paso").

Resumen: Esta lección explora variantes estructurales avanzadas del prompting Cadena de Pensamiento (CoT), los marcos técnicos para editar conocimiento dentro de los Modelos de Lenguaje de Gran Tamaño (LLMs) y el dominio especializado del razonamiento matemático. Detalla cómo los modelos pasan de un razonamiento lineal simple a estructuras complejas basadas en grafos, cómo se corrigen conocimientos "indeseados" mediante edición interna y externa, y las pipelines de entrenamiento y evaluación para modelos matemáticos de última generación.

Resultados del aprendizaje:

• Analizar y comparar variantes de CoT: Diferenciar entre Autoconsistencia, Programa de Pensamiento (PoT), Árbol de Pensamiento (ToT) y Grafo de Pensamiento (GoT).
• Evaluar técnicas de edición de conocimiento: Comprender las métricas de Fiabilidad, Localidad y Portabilidad, y distinguir entre soluciones de edición interna (ROME) y externa (SERAC).
• Evaluar pipelines de lógica matemática: Identificar los conjuntos de datos de entrenamiento (GSM8K, MATH, AIME) y procesos de distillación utilizados para mejorar el razonamiento matemático de larga duración en modelos como DeepSeek-Math y o1.

Resumen: Esta lección explora los mecanismos técnicos para identificar contenido generado por LLMs y los desafíos de seguridad planteados por ataques adversariales. Cubre técnicas de watermarking estadísticas (KGW, SIR, X-SIR) diseñadas para sobrevivir a traducciones y reescrituras, junto con un análisis de prompts de "fuga" (DAN, STAN) utilizados para evitar barreras de seguridad. El material concluye con estrategias defensivas y el conflicto inherente entre utilidad del modelo y seguridad.

Resultados del aprendizaje:

• Analizar la fundación matemática del watermarking KGW y SIR, incluyendo partición de vocabulario y ajustes invariantes semánticos.
• Identificar y categorizar estrategias de fuga como "Simulación", "Escalada de privilegios" y ataques basados en cifrado.
• Evaluar medidas defensivas incluyendo Defensa In-Context (ICD), Defensa de Advertencia Preventiva (CWD) y Red Teaming.

Resumen: Esta lección explora el equilibrio crítico entre la utilidad y la seguridad de los Modelos de Lenguaje de Gran Tamaño (LLMs), centrándose en los mecanismos de ataques de fuga y la implementación técnica de esteganografía. Cubre cómo los atacantes evitan filtros de seguridad mediante ingeniería de prompts sofisticada (por ejemplo, DAN, STAN) y cómo los LLMs pueden usarse para comunicación encubierta al embeber datos en el proceso de generación de tokens. Además, introduce la arquitectura y capacidades de los Modelos de Lenguaje de Gran Tamaño Multimodales (MLLMs) en el procesamiento y generación de tipos de datos diversos como imágenes, audio y video.

Resultados del aprendizaje:

• Identificar y analizar patrones comunes de ataques de fuga, incluyendo roles (DAN), coerción cognitiva (PUA) y métodos de canal lateral (cifrado/código).
• Explicar el mecanismo técnico de la esteganografía en LLMs, específicamente cómo se mapean flujos de bits a la distribución de probabilidad (logits) de predicciones de próximos tokens.
• Clasificar arquitecturas de MLLM según su capacidad para percibir y generar múltiples modalidades (Texto, Imagen, Audio, 3D).

Resumen: Esta lección explora la infraestructura técnica de los Modelos de Lenguaje de Gran Tamaño Multimodales (MLLMs), centrándose en los mecanismos de codificación, proyección y decodificación que permiten la inteligencia cruzomodal. Detalla la transición de codificadores específicos por modalidad hacia espacios de representación unificados y analiza los diversos métodos utilizados para cerrar la brecha entre señales no textuales y los espacios semánticos de los LLMs.

Resultados del aprendizaje:

• Identificar codificadores especializados y métodos de tokenización para modalidades no visuales, incluyendo audio (HuBERT, Whisper) y nubes de puntos 3D (Point-BERT).
• Evaluar diferentes técnicas de proyección del lado de entrada (Lineal, MLP de múltiples capas, Resamplers) utilizadas para alinear representaciones multimodales con espacios semánticos de LLM.
• Comparar las tres estrategias principales de conexión del lado de decodificación: tokens discretos, embeddings continuos y codebooks para generación multimodal.

Resumen: Esta lección explora la evolución de los agentes de interfaz gráfica (GUI) desde la ejecución estática de tareas hasta la toma de decisiones autónomas en entornos dinámicos. Detalla las arquitecturas técnicas de agentes de código abierto y cerrado, la integración del Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y la Optimización de Política Proxima (PPO) para la alineación de políticas, y los desafíos críticos de seguridad —que van desde inyecciones de prompts ambientales hasta backdoors del modelo— que requieren marcos defensivos robustos como GuardAgent y R-Judge.

Resultados del aprendizaje:

• Analizar los componentes arquitectónicos de los agentes GUI, incluyendo módulos de planificación, toma de decisiones y reflexión en sistemas multiagente.
• Explicar la mecánica del Aprendizaje por Refuerzo (RL) y RLHF, específicamente el papel de los modelos de recompensa y PPO en alinear el comportamiento del agente con valores humanos.
• Evaluar riesgos de seguridad e incertidumbres en agentes autónomos, incluyendo errores fuera de distribución (OOD), ataques de fuga y distracciones ambientales.