B010476: Apprendimento Automatico (2009/2010)

B010476: Machine Learning (2009/2010)

 

Laurea Magistrale in Ingegneria Informatica, Università degli Studi di Firenze

M.Sc. Computer Engineering, University of Florence

---

Docente

Lecturer

• Paolo Frasconi
• Dipartimento di Sistemi e Informatica
• Email:
• Ricevimento: Mercoledi 15:00-17:00Office hours: Wednesday 3:00pm-5:00pm

Orario delle lezioni

Class schedule

Mercoledi	17:00-19:00	Aula 207 (S. Marta)
Giovedi	16:00-18:00	Aula 207 (S. Marta)
Venerdi	14:00-17:00	Aula 204 (S. Marta)

Wednesday	5:00pm-7:00pm	Room 207 (S. Marta)
Thursday	4:00pm-6:00pm	Room 207 (S. Marta)
Friday	2:00pm-5:00pm	Room 204 (S. Marta)

Obiettivi

Goals

• Al termine del corso conoscerete numerosi algoritmi fondamentali ed alcuni algoritmi avanzati per l'apprendimento statistico, avrete basi di teoria computazionale dell'apprendimento e sarete in grado di progettare soluzioni allo stato dell'arte per risolvere problemi applicativi.

• You will learn about several fundamental and some advanced algorithms for statistical learning, you will know the basics of computational learning theory, and will be able to design state-of-the-art solutions to application problems.

Crediti

Credits

• L'insegnamento vale 9 crediti formativi, formalmente corrispondenti a circa 72 ore di didattica assistita (lezioni ed esercitazioni in classe), e 153 ore di studio individuale ed attività sperimentale.
• Per altri corsi di laurea (p.es. Ingegneria dell'automazione e Informatica per la facoltà di Scienze) il corso vale i crediti formativi stabiliti dal vostro ordinamento (tipicamente 5). In questi casi potete abbandonare le lezioni una volta conclusa la parte sui modelli grafici probabilistici.

• The course is worth 9 credits (about 72 hours in class, and 153 hours of individual study and experimental work).
• For other degree programs (e.g. M.Sc. in Automation, or M.Sc. in Computer Science) the course is worth the credits that have been assigned to it in your curriculum (usually 5). In these cases, you may drop classes after we complete the part on probabilistic graphical models.

Prerequisiti

Prerequisites

• I prerequisiti necessari includono una buona conoscenza di un linguaggio di programmazione e solide basi di matematica (analisi, algebra lineare, teoria della probabilità). Conoscenze preliminari di tecniche di ottimizzazione e di statistica sono utili ma non strettamente necessarie.

• A good knowledge of a programming language, and a solid background in mathematics (calculus, linear algebra, and probability theory) are necessary prerequisites to this course. Previous knowledge of optimization techniques and statistics would be useful but not strictly necessary.

Esame

Exams

• L'esame consiste di un'unica prova orale. L'argomento è a vostra scelta ma vi consiglio di concordarlo con me prima di iniziare la preparazione.
• Di solito viene assegnata la lettura di alcuni articoli scientifici e potrebbe essere richiesto riprodurre alcuni risultati sperimentali.
• Dovrete esporre brevemente (30 minuti) il vostro argomento. Assicuratevi che la presentazione includa un'introduzione al problema studiato, una breve rassegna della letteratura rilevante, descrizione tecnica del metodo e, se appropriato, una descrizione dettagliata del lavoro sperimentale. Potete usare strumenti multimediali oer la vostra presentazione. Siete responsabili della comprensione dei concetti rilevanti e della teoria.
• Potete formare gruppi di due studenti (tre in casi eccezionali e motivati) per lavori di tipo sperimentale. In questi casi assicuratevi che il contributo apportato da ciascuno di voi sia chiaramente riconoscibile.
• Non ci sono date predefinite per l'esame. Vi prego di concordare con me la data in cui volete sostenerlo.

• There is a single oral final exam. You can choose the exam topic but you are strongly advised to discuss with me before you begin working on it.
• Typically, you will be assigned a set of papers to read and you may be asked to reproduce some experimental results.
• You will be required to give a short (30 min) presentation during the exam. Please ensure that your presentation includes an introduction to the problem being addressed, a brief review of relevant literature, technical derivation of methods, and, if appropriate, a detailed description of experimental work. You are allowed to use multimedia tools to prepare your presentation. You are responsible for understanding all the relevant concepts and the underlying theory.
• You can work in groups of two to carry out experimental works (three is an exceptional number that you must motivate clearly). If you do so, please ensure that personal contributions to the overall work are clearly identifiable.
• There are no scheduled dates for the exam. Please contact me to arrange your exam date.

Libri suggeriti

Suggested books

• [HTF09] T. Hastie, R. Tibshirani, and J. Friedman (2009) The Elements of Statistical Learning Springer.
• [KF09] D. Koller and N. Friedman (2009) Probabilistic Graphical Models: Principles and Techniques MIT Press
• [D08] L. De Raedt (2008) Logical and Relational Learning. Springer.
• + Altri libri potenzialmente utili:
• + Additional books that may be useful:
• BakIr, G. et al. (2007). Predicting structured data. Cambridge, Mass.: MIT Press.
• Bishop, C. M. (2006). Pattern recognition and machine learning. New York: Springer.
• Chapelle, O., Schoelkopf, B., and Zien, A. (2006). Semi-supervised learning. Cambridge, Mass.: MIT Press.
• Charniak, E. (1993). Statistical language learning. Cambridge, Mass.: MIT Press.
• Cristianini, N. and Shawe-Taylor, J. (2000). An introduction to support vector machines: and other kernel-based learning methods. Cambridge: Cambridge University Press.
• Darwiche, A. (2009). Modeling and reasoning with Bayesian networks. Cambridge: Cambridge University Press.
• Duda, R. O., Hart, P. E., and Stork, D. G. (2001). Pattern classification. New York: Wiley.
• Getoor, L. and Taskar, B. (2007). Introduction to statistical relational learning. Cambridge, Mass.: MIT Press.
• Jensen, F. V. and Nielsen, T. D. (2007). Bayesian networks and decision graphs. New York: Springer.
• MacKay, D. J. C. (2003). Information theory, inference, and learning algorithms. Cambridge, UK: Cambridge University Press.
• Manning, C. D., Raghavan, P., and Schuetze, H. (2008). Introduction to information retrieval. New York: Cambridge University Press.
• Mitchell, T. M. (1997). Machine Learning. New York: McGraw-Hill.
• Neapolitan, R. E. (2004). Learning Bayesian networks. Upper Saddle River, NJ: Pearson Prentice Hall.
• Rasmussen, C. E. and Williams, C. K. I. (2006). Gaussian processes for machine learning. Cambridge, Mass.: MIT Press.
• Schoelkopf, B. and Smola, A. J. (2002). Learning with kernels: support vector machines, regularization, optimization, and beyond. Cambridge, Mass.: MIT Press.
• Shawe-Taylor, J. and Cristianini, N. (2004). Kernel methods for pattern analysis. Cambridge, UK: Cambridge University Press.
• Vapnik, V. N. (2000). The nature of statistical learning theory. New York: Springer.
• Wasserman, L. (2006). All of nonparametric statistics. New York: Springer.
• Wasserman, L. (2004). All of statistics: a concise course in statistical inference. New York: Springer.
• Witten, I. H. and Frank, E. (2005). Data mining: practical machine learning tools and techniques. Amsterdam: Morgan Kaufman.
• Zhu, X. and Goldberg, A. B. (2009). Introduction to Semi-Supervised Learning. Morgan and Claypool Publishers.

Programma sintetico

Topics

• Apprendimento con supervisione. Regressione. Classificazione. Teoria computazionale dell'apprendimento. Modelli lineari generalizzati. Apprendimento non supervisionato. Macchine a vettori di supporto. Nuclei. Boosting e bagging. Modelli grafici probabilistici (semantica, inferenza, apprendimento di parametri e struttura). Apprendimento con uscite strutturate. Programmazione logica induttiva e apprendimento statistico-relazionale. Applicazioni.

• Supervisised learning. Regression. Classification. Computational learning theory. Generalized linear models. Unsupervised learning. Support vector machines. Kernels. Boosting and bagging. Probabilistici graphical models (semantics, inference, parameters and structure learning). Structured-output learning. Inductive logic programming and statistical relational learning. Applications.

Calendario e materiale didattico

Calendar and handouts