Probabilità e Statistica: La Scienza dell'Incertezza

📚 Riepilogo del contenuto

Un corso universitario completo e introduttivo sui fondamenti matematici della probabilità e della statistica. Richiedendo un anno di calcolo, il corso copre modelli probabilistici, variabili casuali, valore atteso, distribuzioni campionarie, verosimiglianza e inferenza bayesiana, nonché relazioni tra variabili.

Padroneggia la rigorosa scienza matematica dell’incertezza attraverso la probabilità basata sul calcolo e l’inferenza statistica.

Autore: Michael J. Evans e Jeffrey S. Rosenthal

Ringraziamenti: Gli autori riconoscono i contributi di diversi revisori e colleghi delle istituzioni come l’Università di Toronto, l’Università McMaster e l’Università Purdue. Vengono inoltre menzionate le risorse finanziarie e infrastrutturali fornite dall’Università di Toronto.

🎯 Obiettivi didattici

1. Definire un modello probabilistico formale utilizzando spazi campionari, eventi e misure di probabilità.
2. Applicare principi combinatori (permutazioni, sottoinsiemi, coefficienti binomiali) per risolvere problemi di probabilità uniforme.
3. Utilizzare la Legge della Probabilità Totale e il Teorema di Bayes per analizzare sistemi a più stadi e aggiornare le convinzioni sulla base di nuove informazioni.
4. Definire e distinguere tra variabili casuali discrete e assolutamente continue e le loro funzioni di probabilità/densità rispettive.
5. Identificare e applicare distribuzioni di probabilità chiave (Bernoulli, Binomiale, Poisson, Normale, ecc.) per modellare fenomeni del mondo reale.
6. Calcolare densità marginali, distribuzioni condizionate e valutare l’indipendenza per distribuzioni multivariate.
7. Calcolare valore atteso, varianza e covarianza per variabili casuali discrete, continue e miste.
8. Applicare la Legge dell’Statistico Inconsapevole (LOTUS) e le proprietà di linearità per calcolare i valori attesi di variabili trasformate.
9. Derivare momenti utilizzando funzioni generatrici di probabilità (PGF) e funzioni generatrici dei momenti (MGF).
10. Definire e derivare distribuzioni campionarie per funzioni di sequenze i.i.d.

🔹 Lezione 1: Fondamenti dei modelli probabilistici

Panoramica: Questa lezione stabilisce il quadro matematico rigoroso della probabilità, passando dall’intuizione di "misura dell’incertezza" a modelli assiomatici formali. Copre le proprietà essenziali delle misure di probabilità, tecniche combinatorie di conteggio per spazi finiti e i meccanismi fondamentali della probabilità condizionata, compreso il Teorema di Bayes e la continuità delle misure di probabilità.

Risultati dell’apprendimento:

• Definire un modello probabilistico formale utilizzando spazi campionari, eventi e misure di probabilità.
• Applicare principi combinatori (permutazioni, sottoinsiemi, coefficienti binomiali) per risolvere problemi di probabilità uniforme.
• Utilizzare la Legge della Probabilità Totale e il Teorema di Bayes per analizzare sistemi a più stadi e aggiornare le convinzioni sulla base di nuove informazioni.

🔹 Lezione 2: Variabili casuali e distribuzioni di probabilità

Panoramica: Questa lezione esplora il quadro matematico per quantificare l’incertezza tramite variabili casuali (VC). Gli studenti passeranno dalla definizione di VC e delle loro distribuzioni (discrete e continue) all’analisi delle distribuzioni congiunte, delle trasformazioni e dei metodi usati per simulare numericamente queste variabili. Il contenuto collega la probabilità teorica basata sul calcolo con applicazioni pratiche nel modellamento e nella simulazione statistica.

Risultati dell’apprendimento:

• Definire e distinguere tra variabili casuali discrete e assolutamente continue e le loro funzioni di probabilità/densità rispettive.
• Identificare e applicare distribuzioni di probabilità chiave (Bernoulli, Binomiale, Poisson, Normale, ecc.) per modellare fenomeni del mondo reale.
• Calcolare densità marginali, distribuzioni condizionate e valutare l’indipendenza per distribuzioni multivariate.

🔹 Lezione 3: Valore atteso e momenti

Panoramica: Questa lezione esplora il concetto fondamentale del valore atteso matematico come "media a lungo termine" di una variabile casuale, estendendolo dai casi semplici discreti e continui a variabili arbitrarie generali. Analizzeremo la variabilità dei dati attraverso varianza e covarianza, utilizzeremo funzioni generatrici (PGF, MGF e funzioni caratteristiche) per semplificare il calcolo dei momenti e applicheremo potenti disuguaglianze probabilistiche per limitare distribuzioni sconosciute. Infine, il corso affronta i valori attesi condizionati e la Legge della Probabilità Totale, essenziali per analizzare processi casuali complessi a più stadi.

Risultati dell’apprendimento:

• Calcolare valore atteso, varianza e covarianza per variabili casuali discrete, continue e miste.
• Applicare la Legge dell’Statistico Inconsapevole (LOTUS) e le proprietà di linearità per calcolare i valori attesi di variabili trasformate.
• Derivare momenti utilizzando funzioni generatrici di probabilità (PGF) e funzioni generatrici dei momenti (MGF).

🔹 Lezione 4: Distribuzioni campionarie e teoremi limite

Panoramica: Questa lezione esplora il comportamento delle variabili casuali quando sono funzioni di un campione (distribuzioni campionarie) e come queste distribuzioni si comportano all’aumentare della dimensione del campione (teoremi limite). Gli studenti padroneggeranno la transizione dalle distribuzioni campionarie finite alle approssimazioni asintotiche come il Teorema del Limite Centrale e investigheranno metodi computazionali come le approssimazioni Monte Carlo e il Campionamento Importante.

Risultati dell’apprendimento:

• Definire e derivare distribuzioni campionarie per funzioni di sequenze i.i.d.
• Distinguere e applicare Convergenza in probabilità e Convergenza in distribuzione.
• Utilizzare il Teorema del Limite Centrale e l’approssimazione normale alla Binomiale per stimare probabilità.

🔹 Lezione 5: Fondamenti dell’inferenza statistica

Panoramica: Questa lezione esplora il passaggio dalla probabilità pura all’inferenza statistica, affrontando come utilizziamo dati osservati per fare affermazioni riguardo alle misure di probabilità sottostanti reali di un sistema. Gli studenti impareranno a costruire modelli statistici formali (Bernoulli e Normale), comprendere metodi rigorosi di raccolta dati come il campionamento casuale semplice e stratificato da popolazioni finite, e sintetizzare i risultati attraverso statistiche descrittive, istogrammi e funzioni empiriche di distribuzione.

Risultati dell’apprendimento:

• Definire il ruolo dell’inferenza statistica nel trattare l’incertezza causata da variazioni e dati limitati.
• Costruire e interpretare modelli statistici, identificando parametri e spazi dei parametri.
• Differenziare tra caratteristiche della popolazione e stime campionarie utilizzando tecniche di campionamento casuale semplice e stratificato.

🔹 Lezione 6: Inferenza basata sulla verosimiglianza

Panoramica: Questa lezione esplora le basi teoriche e le applicazioni pratiche dell’inferenza statistica basata sulla verosimiglianza. Passa da concetti fondamentali come il Principio della Verosimiglianza e la Sufficienza alla stima dei parametri tramite Massima Verosimiglianza (MLE) e alla valutazione di questi estimatori tramite bias, consistenza e errori standard. Inoltre, la lezione copre approcci parametrici (intervalli z, intervalli t, test d’ipotesi) e metodi non parametrici (Metodo dei Momenti, Bootstrapping, Statistiche dei Segni), culminando nello studio avanzato dell’Asintotica Normale e dell’Informazione di Fisher.

Risultati dell’apprendimento:

• Definire e applicare la Funzione di Verosimiglianza e il Teorema della Fattorizzazione per identificare statistiche sufficienti e minimali sufficienti.
• Calcolare gli stimatori di massima verosimiglianza (MLE) e valutarne la qualità mediante Errore Quadratico Medio (MSE), Bias e Consistenza.
• Costruire e interpretare intervalli di confidenza e p-value per diversi modelli statistici usando tecniche parametriche e non parametriche.

🔹 Lezione 7: Inferenza statistica bayesiana

Panoramica: Questa lezione esplora il quadro bayesiano dell’inferenza statistica, dove i parametri sono trattati come variabili casuali con distribuzioni di probabilità. Gli studenti impareranno a combinare credenze precedenti (Distribuzioni A Priori) con dati osservati (Verosimiglianza) per produrre credenze aggiornate (Distribuzioni A Posteriori). Il programma copre fondamenti teorici, tecniche pratiche di stima (Fattori di Bayes, Predizione), metodi computazionali (Campionamento di Gibbs, Asintotica Normale) e la scelta strategica delle priori.

Risultati dell’apprendimento:

• Calcolare distribuzioni posteriori utilizzando il Teorema di Bayes per vari modelli, inclusi famiglie coniugate.
• Eseguire stime bayesiane (media, moda) e test d’ipotesi utilizzando Fattori di Bayes.
• Costruire distribuzioni predittive posteriori per osservazioni future.

🔹 Lezione 8: Inferenze ottimali e teoria delle decisioni

Panoramica: Questa lezione esplora i fondamenti matematici per trovare procedure statistiche "migliori". Si passa dalla stima elementare all’ottimizzazione senza bias (UMVU), si sviluppa la teoria dei test Uniformemente Più Potenti (UMP) tramite il Teorema di Neyman-Pearson, e si integra la prospettiva bayesiana e la Teoria delle Decisioni per valutare stimatori e test attraverso funzioni di perdita e rischio.

Risultati dell’apprendimento:

• Applicare il Teorema di Rao-Blackwell e il Teorema di Lehmann-Scheffé per derivare stimatori UMVU (Uniformemente Minimo Varianza Senza Bias).
• Utilizzare la Disuguaglianza dell’Informazione di Cramer-Rao per determinare il limite inferiore fondamentale sulla varianza degli stimatori senza bias.
• Costruire test UMP usando il Lemma di Neyman-Pearson e valutarli tramite funzioni di potenza e tipi di errore.

🔹 Lezione 9: Controllo dei modelli e diagnosi

Panoramica: Questa lezione esplora il processo critico di validazione delle assunzioni fatte durante la modellazione statistica. Gli studenti impareranno a utilizzare statistiche di discrepanza e ancillari per controllare modelli campionari, a utilizzare strumenti visivi come grafici dei residui e diagrammi di probabilità, e a eseguire test formali come il Test del Chi-quadro e il Test Esatto di Fisher. Inoltre, la lezione copre il controllo bayesiano dei modelli tramite analisi di conflitto tra priori e dati e avverte contro i pitagorici statistici del fare controlli multipli simultanei.

Risultati dell’apprendimento:

• Definire e identificare statistiche ancillari e statistiche di discrepanza usate per misurare deviazioni dal modello.
• Costruire e interpretare residui standardizzati e diagrammi di probabilità normale per valutare normalità e adattamento del modello.
• Applicare il Test del Chi-quadro per la bontà di adattamento e il Test Esatto di Fisher a dati categorici e raggruppati.

🔹 Lezione 10: Relazioni tra variabili e regressione

Panoramica: Questa lezione esplora come i modelli statistici descrivono le dipendenze tra diverse variabili. Procede dalla definizione fondamentale di relazione — basata su cambiamenti nelle distribuzioni condizionate — a tecniche di modellazione sofisticate, incluse Regressione Lineare Semplice e Multipla, Analisi della Varianza (ANOVA) per predittori categorici e Regressione Logistica per risposte binarie. Gli studenti impareranno a stimare parametri con il Metodo dei Minimi Quadrati, a valutare l’adattamento del modello tramite R-quadrato e decomposizione ANOVA, e a validare assunzioni tramite Analisi dei Residui.

Risultati dell’apprendimento:

• Definire e identificare relazioni tra variabili basate sulle distribuzioni condizionate.
• Applicare il Metodo dei Minimi Quadrati per stimare parametri nei modelli di regressione lineare semplice e multipla.
• Utilizzare la decomposizione ANOVA e statistiche F per testare la significatività dei predittori e individuare interazioni.

🔹 Lezione 11: Introduzione ai processi stocastici

Panoramica: Questa lezione fornisce una solida base sui processi stocastici—sistemi che evolvono in modo casuale nel tempo. Gli studenti passeranno da modelli in tempo discreto, come Cammini Casuali Semplici e Catene di Markov, a tecniche computazionali avanzate come il Campionamento di Monte Carlo per Catene di Markov (MCMC), e infine a processi in tempo continuo, includendo Martingale, Moto Browniano e Processi di Poisson.

Risultati dell’apprendimento:

• Calcolare probabilità per cammini casuali e determinare la probabilità di "rovina" nei modelli di gioco d’azzardo.
• Analizzare catene di Markov per irreducibilità, periodicità e distribuzioni stazionarie.
• Progettare ed esplicare algoritmi di campionamento Metropolis-Hastings e Gibbs per distribuzioni complesse.