Tesi di LAUREA Titolo Tecniche MCMC avanzate applicate alla regressione logistica Data 2010-02-22 Autore/i Zambelli, F. Relatore Nobile, F. Relatore Paganoni, A. Full text non disponibile Abstract La ricerca di una soluzione di problemi di tipo deterministico o aleatorio, in una o più dimensioni, si scontra quasi sempre con l’impossibilità di trovare una soluzione analitica esatta. Fortunatamente, con l’aumentare della potenza di calcolo, è aumentata anche l’efficienza degli algoritmi che trovano queste soluzioni mediante metodi numerici. Queste tecniche possono essere a loro volta di tipo deterministico o stocastico. In questo elaborato ci concentreremo sull’algoritmo Hasting-Metropolis, uno dei più famosi algoritmi basato su simulazioni stocastiche. Il suo principale utilizzo è nel campo della statistica, in particolare nelle applicazioni Bayesiane, grazie a delle particolari caratteristiche che vedremo in seguito. Inoltre la sua popolarità è dovuta anche alla semplicità d’implementazione. Con l’aumentare delle dimensioni del problema però, anche l’algoritmo H-M può perdere di efficienza se non tarato nella maniera corretta. Per risolvere questo problema sono state studiate le pubblicazioni inerenti a due nuove tecniche da affiancare al normale algoritmo H-M. La prima è l’Adaptive Metropolis, i cui contributi maggiori sono stati dati da Haario [4], mentre la seconda è il Delayed Rejection, di cui la maggior parte delle pubblicazioni è dovuta a Mira [16]. L’unione di queste tecniche porterà ad avere il DRAM. Nell’elaborato verrà testata l’efficienza di ciascuna tecnica (M-H, AM, DR e DRAM), attraverso algoritmi implementati in Matlab, allo scopo di determinare di quale di queste tecniche è opportuno avvalersi perottenere i risultati migliori. La funzionalità dell’algoritmo è stata testata sul set di dati sul quale si è basato Dalal [11] per calcolare la probabilità dell’incidente del Challenger. Egli fece la sua analisi utilizzando lo strumento della regressione logistica, e altrettanto faremo noi, ma mentre egli usò la tecnica dell’MLE, noi faremo un’analisi di tipo Bayesiano grazie ai risultati che ci verranno forniti dall’algoritmo H-M. Le conclusioni a cui giungeremo saranno le stesse, ma ci arriveremo attraverso strade diverse. La tesi dunque è divisa in quattro capitoli. Nel primo verrà introdotto il concetto di regressione lineare e di regressione logistica. In particolare vedremo quali sono i metodi classici per trovare una soluzione e nel caso della regressione logistica vedremo cosa comporterà adottare un approccio Bayesiano. Nel secondo capitolo vedremo alcune delle definizioni e dei teoremi più importanti delle Catene di Markov, assolutamente necessari per introdurre le tecniche Markov Chain Monte Carlo, di cui l’algoritmo H-M fa parte. Il terzo capitolo sarà dedicato all’algoritmo H-M e alle tecniche dell’Adaptive Metropolis e Delayed Rejection. Dopo averle introdotte verrà fatta un’analisi di efficienza nella quale cercheremo di capire l’utilità di queste tecniche e il modo migliore d’implementarle. Infine nel quarto capitolo effettueremo l’analisi dei dati del Challenger, mediante le tecniche introdotte precedentemente. Verrà calcolata la probabilità di rottura di un O-ring (un componente dello Space Shuttle) mediante regressione logistica, in seguito vedremo se nel set di dati esistono dati perturbanti, e infine cercheremo di ottenere una stima della probabilità di catastrofe.