Master in Ingegneria Computazionale
"Applicazioni delle Reti Neurali all'Ingegneria Elettrica"
Anno accademico 2001/2002
________ Programma del Corso ________
Introduzione al corso: Le reti neurali biologiche: introduzione e concetti di base; i modelli generali. Le reti neurali artificiali, cenni storici, il perceptron, la critica di Minsky-Papert, il multi-layer perceptron e la backpropagation.
Elementi di calcolo delle probabilità: Eventi, spazio eventi, eventi composti; esempio del dado; esempio della moneta. Probabilità singole, congiunte, condizionate. Partizione dello spazio degli eventi e teorema di Bayes. Esempi di applicazione: 1) processo di produzione; 2) cenno al test non distruttivo dei materiali per classificazione dei difetti. Variabili random: l'evento fondamentale {x<X}, funzione cumulativa di probabilità e funzione densità di probabilità. Densità congiunte, marginali, condizionate e teorema di Bayes per le variabili random. Variabili aleatorie statisticamente indipendenti e principio di completa fattorizzazione. Esempi di distribuzioni canoniche (uniforme, Gaussiana, Laplaciana). Valore medio, varianza, momenti. Applicazione del teorema di Bayes per la modellizzazione diretta/inversa di sistemi non-lineari biiettivi (esempio: calcolo densità di probabilità della somma di due v.a.).
La stima delle pdf con dati incompleti: Generalità. Metodi di stima: 1) cenni ai metodi parametrici e loro scarsa flessibilità; 2) metodi non parametrici (istogrammi e finestre di Parzen) e complessità crescente con il numero di dati; 3) cenno ai metodi semi-parametrici (reti neurali) e ai loro vantaggi.
Elementi di teoria dell'informazione: Entropia differenziale di Shannon. Divergenza informazionale di Kullback-Leibler e informazione mutua. Caso notevole delle variabili statisticamente indipendenti e proprietà di estensionalità dell'entropia. trasformazione di pdf attraverso un sistema non-lineare conservativo.
La teoria della separazione blind di segnali: Introduzione (problema del " cocktail party"), cenni storici, esempi di utilizzi di interesse ingegneristico e generalità. La "independent component analysis" (ICA). Impostazione formale del problema di separazione: principio di completa fattorizzazione e funzione di costo basata su divergenza di KL. Riscrittura della funzione di costo: i tre termini fondamentali e il loro calcolo diretto; problemi pratici connessi all'uso delle equazioni in forma esatta. Calcolo dei termini di adattamento con gradiente ordinario: algoritmo di Bell-Sejnowski. Sostituzione delle aspettazioni con stime istantanee; algoritmo di Bell-Sejnowski con modifica di Amari (gradiente naturale).
Applicazioni all'Ingegneria Elettrica: Electromagnetic source localization and assessment, Analysis of SAR images, Analysis of FLUXET measures for non-destructive evaluation, Latent variables extraction: Evaluation of underwater pumps, Unlabeled classification of pollutant for environmental protection, Binary decision for sonar data analysis.
________ Materiale per il Corso ________
Il materiale per il corso, comprendente i lucidi di lezione e materiale integrativo, è
disponibile su CD presso l'ufficio del docente.
________ Proposte di Tesi Finali ________
Le seguenti proposte di Tesi finali, relative al corso di reti neurali, vertono sulle applicazioni dell'Analisi delle Componenti Indipendenti all'Ingegneria Elettrica:
Tematica: Analisi di dati ambientali
Tematica: Diagnostica elettrica industriale
Tematica: Miglioramento della qualità delle immagini
29 Gennaio 2002
Il docente del corso: S. Fiori