Approfondimento sui Grandi Modelli Linguistici

📚 Riepilogo del contenuto

Questo corso offre un'introduzione completa e approfondita all'evoluzione dei Large Language Models (LLM), alle architetture tecniche fondamentali, ai paradigmi di addestramento (pre-addestramento, fine-tuning e allineamento), alle estensioni multimodali, all'ingegneria dei prompt, al Chain of Thought (CoT), agli agenti, nonché a temi avanzati come la sicurezza dei modelli e la protezione della privacy.

Analisi approfondita dell'evoluzione tecnologica e dell'allineamento alla sicurezza dei grandi modelli full-stack, dal pre-addestramento agli agenti generali.

🎯 Obiettivi didattici

1. Distinguere tra architetture dei modelli: Identificare le differenze strutturali e i casi d'uso per modelli Encoder-only, Decoder-only e Encoder-Decoder.
2. Spiegare il flusso di addestramento dei LLM: Descrivere la transizione dal pre-addestramento self-supervised al Supervised Fine-Tuning (SFT) e al Reinforcement Learning from Human Feedback (RLHF).
3. Analizzare la scalabilità e il comportamento del modello: Spiegare i concetti delle Scaling Laws, delle Abilità Emergenti (apprendimento in contesto, Chain of Thought) e del fenomeno delle Allucinazioni.
4. Analizzare le differenze strutturali tra architetture Encoder-only (BERT), Decoder-only (GPT) e Encoder-Decoder (T5).
5. Spiegare il processo di addestramento in tre fasi: Pre-addestramento (modello base), Instruction Tuning (SFT) e Allineamento (RLHF/PPO).
6. Confrontare prestazioni, leggi di scalabilità e innovazioni architetturali dei principali LLM come GPT, Llama, Qwen e DeepSeek.
7. Implementare strategie di prompting zero-shot e few-shot per l'estrazione e la classificazione di dati strutturati.
8. Calibrare i iperparametri del modello (Temperature, Top P, Penalties) per bilanciare output creativi e deterministici.
9. Costruire prompt efficaci di Chain-of-Thought (CoT) utilizzando metodi manuali, automatici e zero-shot ("Pensiamo passo dopo passo").
10. Analizzare e confrontare varianti di CoT: Differenziare tra Self-Consistency, Program of Thought (PoT), Tree-of-Thought (ToT) e Graph-of-Thought (GoT).

🔹 Lezione 1: Introduzione ai Large Language Models e alle tecnologie di pre-addestramento

Panoramica: Questa lezione esplora l'evoluzione dell'Intelligenza Artificiale dalle piccole modelli specializzati ai Large Language Models (LLM) a scopo generale. Illustra lo spostamento architettonico dall’approccio "BERTology" basato su encoder a paradigmi generativi a decoder unico, coprendo la pipeline tecnica fondamentale di pre-addestramento, tuning istruzioni e allineamento (RLHF). Inoltre, viene analizzata la famiglia di modelli leader nel settore, tra cui GPT, Llama e innovazioni nazionali come Qwen e DeepSeek.

Risultati apprendimento:

• Distinguere tra architetture dei modelli: Identificare le differenze strutturali e i casi d'uso per modelli Encoder-only, Decoder-only e Encoder-Decoder.
• Spiegare il flusso di addestramento dei LLM: Descrivere la transizione dal pre-addestramento self-supervised al Supervised Fine-Tuning (SFT) e al Reinforcement Learning from Human Feedback (RLHF).
• Analizzare la scalabilità e il comportamento del modello: Spiegare i concetti delle Scaling Laws, delle Abilità Emergenti (apprendimento in contesto, Chain of Thought) e del fenomeno delle Allucinazioni.

🔹 Lezione 2: Case study sui principali LLM e strategie di implementazione

Panoramica: Questa lezione fornisce una panoramica tecnica completa sui Large Language Models (LLM), tracciandone l'evoluzione dalle architetture encoder-decoder di base ai sistemi moderni multimodali e basati su agenti. Dettaglia la pipeline tecnica centrale — comprensiva di pre-addestramento, tuning istruzioni e allineamento — mentre valuta case study principali come GPT-4, Llama 3 e DeepSeek. Il modulo si conclude con strategie pratiche di implementazione (API vs. locale) e framework avanzati di ingegneria dei prompt come RAG e ReAct.

Risultati apprendimento:

• Analizzare le differenze strutturali tra architetture Encoder-only (BERT), Decoder-only (GPT) e Encoder-Decoder (T5).
• Spiegare il processo di addestramento in tre fasi: Pre-addestramento (modello base), Instruction Tuning (SFT) e Allineamento (RLHF/PPO).
• Confrontare prestazioni, leggi di scalabilità e innovazioni architetturali dei principali LLM come GPT, Llama, Qwen e DeepSeek.

🔹 Lezione 3: Fondamenti dell'ingegneria dei prompt e del Chain-of-Thought

Panoramica: Questa lezione affronta il passaggio avanzato dal prompting zero-shot di base al learning strutturato few-shot e alle abilità emergenti di ragionamento del Chain-of-Thought (CoT). Gli studenti analizzeranno come controllare il comportamento del modello tramite iperparametri tecnici e dimostrazioni strutturate per risolvere compiti logici, matematici e linguistici complessi. Il materiale si conclude con un'analisi dell'apprendimento supervisionato sul processo e metodi automatizzati di costruzione del CoT.

Risultati apprendimento:

• Implementare strategie di prompting zero-shot e few-shot per l'estrazione e la classificazione di dati strutturati.
• Calibrare gli iperparametri del modello (Temperature, Top P, Penalties) per bilanciare output creativi e deterministici.
• Costruire prompt efficaci di Chain-of-Thought (CoT) utilizzando metodi manuali, automatici e zero-shot ("Pensiamo passo dopo passo").

🔹 Lezione 4: Ragionamento avanzato, editing della conoscenza e logica matematica

Panoramica: Questa lezione esplora varianti strutturali avanzate del prompting Chain-of-Thought (CoT), i framework tecnici per l'editing della conoscenza nei Large Language Models (LLM) e il dominio specializzato del ragionamento matematico. Dettaglia come i modelli passino da un ragionamento lineare semplice a strutture complesse basate su grafi, come vengano corretti i contenuti "indesiderati" tramite editing interno ed esterno, e le pipeline di addestramento/valutazione per modelli matematici all'avanguardia.

Risultati apprendimento:

• Analizzare e confrontare varianti di CoT: Differenziare tra Self-Consistency, Program of Thought (PoT), Tree-of-Thought (ToT) e Graph-of-Thought (GoT).
• Valutare tecniche di editing della conoscenza: Comprendere i metriche di Affidabilità, Località e Portabilità, e distinguere tra soluzioni di editing interno (ROME) e esterno (SERAC).
• Valutare pipeline di logica matematica: Identificare i dataset di addestramento (GSM8K, MATH, AIME) e i processi di distillazione utilizzati per migliorare il ragionamento matematico a lungo termine in modelli come DeepSeek-Math e o1.

🔹 Lezione 5: Sicurezza del contenuto, watermarking e analisi dei jailbreak

Panoramica: Questa lezione esplora i meccanismi tecnici per identificare il contenuto generato da LLM e le sfide di sicurezza poste dagli attacchi avversariali. Copre tecniche di watermarking statistiche (KGW, SIR, X-SIR) progettate per resistere a traduzioni e riscritture, insieme a un'analisi degli script "jailbreak" (DAN, STAN) usati per eludere le barriere di sicurezza. Il materiale si conclude con strategie difensive e il conflitto intrinseco tra utilità e innocuità del modello.

Risultati apprendimento:

• Analizzare la base matematica del watermarking KGW e SIR, inclusi partizionamento del vocabolario e aggiustamenti invarianti semantici.
• Identificare e categorizzare strategie di jailbreak come "Finta", "Escalation di privilegi" e attacchi "basati su cifratura".
• Valutare misure difensive come In-Context Defense (ICD), Cautionary Warning Defense (CWD) e Red Teaming.

🔹 Lezione 6: Ricerca su steganografia LLM e protezione della privacy

Panoramica: Questa lezione esplora l'equilibrio critico tra utilità e sicurezza dei Large Language Models (LLM), concentrandosi sui meccanismi degli attacchi "jailbreak" e sull'implementazione tecnica della steganografia. Copre come gli attaccanti eludano i filtri di sicurezza tramite ingegneria dei prompt sofisticata (es. DAN, STAN) e come i LLM possano essere usati per comunicazioni segrete incamerando dati nel processo di generazione dei token. Inoltre introduce l'architettura e le capacità dei Modelli Linguistici Multimodali (MLLM) nel elaborare e generare diversi tipi di dati come immagini, audio e video.

Risultati apprendimento:

• Identificare e analizzare schemi comuni di attacco jailbreak, inclusi role-playing (DAN), coercizione cognitiva (PUA) e metodi side-channel (cifratura/codice).
• Spiegare il meccanismo tecnico della steganografia LLM, in particolare come i bitstream siano mappati sulla distribuzione di probabilità (logits) delle previsioni del prossimo token.
• Categorizzare architetture MLLM in base alla loro capacità di percepire e generare attraverso diverse modalità (Testo, Immagine, Audio, 3D).

🔹 Lezione 7: Architettura e progettazione avanzata dei LLM multimodali

Panoramica: Questa lezione esplora l'infrastruttura tecnica dei Modelli Linguistici Multimodali (MLLM), concentrandosi sui meccanismi di codifica, proiezione e decodifica che abilitano l'intelligenza cross-modale. Dettaglia il passaggio da encoder specifici per modalità a spazi di rappresentazione unificati e analizza i diversi metodi usati per colmare il divario tra segnali non testuali e gli spazi semantici dei LLM.

Risultati apprendimento:

• Identificare encoder specializzati e metodi di tokenizzazione per modalità non visive, inclusi audio (HuBERT, Whisper) e nuvole di punti 3D (Point-BERT).
• Valutare diverse tecniche di proiezione lato input (Lineari, MLP a più strati, Resampler) usate per allineare le rappresentazioni multimodali allo spazio semantico dei LLM.
• Confrontare le tre principali strategie di connessione lato decodifica: token discreti, embedding continui e codebook per la generazione multimodale.

🔹 Lezione 8: Agenti autonomi, RLHF e allineamento alla sicurezza

Panoramica: Questa lezione esplora l'evoluzione degli agenti GUI dalla gestione statica di compiti a decisioni autonome in ambienti dinamici. Dettaglia le architetture tecniche di agenti open-source e closed-source, l'integrazione del Reinforcement Learning from Human Feedback (RLHF) e del Proximal Policy Optimization (PPO) per allineare le politiche, e le critiche sfide di sicurezza — che vanno dalle injection di prompt ambientali ai backdoor del modello — che richiedono framework difensivi robusti come GuardAgent e R-Judge.

Risultati apprendimento:

• Analizzare i componenti architetturali degli agenti GUI, inclusi moduli di pianificazione, decisione e riflessione nei sistemi multi-agente.
• Spiegare i meccanismi del Reinforcement Learning (RL) e del RLHF, in particolare il ruolo dei modelli di ricompensa e del PPO nell'allineare il comportamento dell'agente ai valori umani.
• Valutare rischi di sicurezza e problemi di affidabilità negli agenti autonomi, inclusi errori Out-of-Distribution (OOD), attacchi jailbreak e distrazioni ambientali.