Machine Learning II (251-0526-00L) - SS 04

Diese Vorlesung beschäftigt sich mit dem Thema, wie Computer aus Daten lernen können. Sie wird von Prof. Buhmann gelesen. Der Schwerpunkt liegt auf statistischen Verfahren des maschinellen Lernens.

Wann und Wo

Übung: Donnerstags, 9h00-10h00, IFW A32.1 (ab der 2. Vorlesungswoche)
Vorlesung: Donnerstags, 10h00-12h00, IFW A32.1

Inhalt und Vorraussetzungen

Die Vorlesung ist komplementär zur Vorlesung Maschinen Lernen I im Wintersemester 03/04. Maschinen Lernen II befasst sich mit fortgeschrittenen Konzepten des Maschinenlernens. Sie kann allerdings auch ohne vorherigen Besuch von Maschinen Lernen I besucht werden.

Die Vorlesung beschäftigt sich insbesondere mit aktuellen und weitverbreiteten Themen und Methoden des Maschinen Lernen wie z.B. robuste Verfahren, statistical learning theory, und boosting. Eine Übersicht der geplanten Themen kann der folgenden Tabelle entnommen werden.

(Vorläufiger) Vorlesungs- und Übungsplan

pectrum

Datum	Vorlesung	Übung	Einige Lit.-Hinweise (unvollständing)
1. April 2004	Einführung, verschiedene Datentypen ( 4-Seiten/Blatt Version)	keine Übung, 0. Übungsblatt	Duda, Hart, Stork, Kap. 1
8. April 2004	Bayes'sche Entscheidungstheorie (Grundbegriffe) ( 4-Seiten/Blatt Version)	1. Übungsblatt , MATLAB-Funktion GSAMPLE, Folien zur Übung 0	Duda, Hart, Stork, Kap. 2; Ripley, Kap. 2
15. April 2004	Bayes'sche Entscheidungstheorie, ML Schätzung ( 4-Seiten/Blatt Version)	2. Übungsblatt,, MATLAB-Skript zu Blatt 1, Folien zur Übung 1	Duda, Hart, Stork, Kap. 3
22. April 2004	Resampling Methoden, Bootstrap ( 4-Seiten/Blatt Version)	3. Übungsblatt, MATLAB-Skript zu Blatt 2, Folien zur Übung 2	Duda, Hart, Stork, Kap. 9; Ripley; Hastie, Tibshirani, Friedman, Kap. 7
29. April 2004	Grundlagen der Schätztheorie, Rao Cramer Ungleichung, Entropie, Fisher Information(4-Seiten/Blatt Version)	4. Übungsblatt, Folien zur Übung 3	einiges in Cover, Thomas: Elements of Information Theory
6. Mai 2004	Diskriminanzanalyse, Perzeptron 4-Seiten/Blatt Version)	5. Übungsblatt, Folien zur Übung 4 (draft version)	Duda, Hart, Stork, Kap. 5
13. Mai 2004	Diskriminanzanalyse, Ensemble-Methoden, 4 Seiten/Blatt Version	6. Übungsblatt, Folien zur Übung 5; Matlab-Files PERCEPTCLASS.m,fissp.m, LINSEPSAMPLES.m	Duda, Hart, Stork, Kap. 5 u. 9;Hastie, Tibshirani, Friedman, Kap. 7 u. 8
20. Mai 2004	fällt aus (Auffahrt)	fällt aus (Auffahrt)
27. Mai 2004	Ensemble Methoden, Computational Learning Theory, 4 Seiten/Blatt Version	7. Übungsblatt	Artikel von Meir, Rätsch (s.u.);Duda, Hart, Stork, Kap. 9;Hastie, Tibshirani, Friedman, Kap. 7 u. 8
3. Juni 2004	Statistische Lerntheorie (Grundkonzepte)	8. Übungsblatt	Ripley, Kap. 3; L. Devroye, L. Gyorfi, and G. Lugosi
10. Juni 2004	Statistische Lerntheorie - VC Theorie	9. Übungsblatt, Daten, SVM Code, Folien zu Übung 8	L. Devroye, L. Gyorfi, and G. Lugosi
17. Juni 2004	Statistische Lerntheorie - VC Theorie	kein Übungsblatt	L. Devroye, L. Gyorfi, and G. Lugosi
24. Juni 2004	Max. Ent. Inferenz	kein Übungsblatt	einiges in Cover, Thomas
1. Juli 2004	Maximum Entropie Inferenz und Clustering (erweiterter Foliensatz)	Folien zur letzten Übung	z.B. Artikel von Rose (s.u.)

Folien werden auf dem Web zum Download zur Verfügung gestellt.
Am Ende der Vorlesung wird hier außerdem ein separates PDF-File mit allen Folien zum Download bereit stehen: und hier ist es... (4 Seiten/Blatt Version)

Literatur

Zur Vertiefung des Stoffes seien die folgenden Bücher empfohlen:

Hastie, Tibshirani, Friedman: The Elements of Statistical Learning, Springer, 2001.
Duda, Hart, Stork: Pattern Classification, Wiley Interscience, 2000.
David J. MacKay: Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2003.
Ripley: Pattern Recognition and Neural Networks, Cambridge University Press, 1996.
L. Devroye, L. Gyorfi, and G. Lugosi: A probabilistic theory of pattern recognition. Springer, New York, 1996
Eine Überblick über Boosting-Methoden finden Sie in
R. Meir and G. Rätsch. An introduction to boosting and leveraging.
In S. Mendelson and A. Smola, editors, Advanced Lectures on Machine Learning, LNCS, pages 119-184. Springer, 2003.
K. Rose, Deterministic Annealing for Clustering, Compression, Classification, Regression, and Related Optimization Problems, Proceedings of the IEEE, vol. 80, pp. 2210-2239, November 1998

Ergänzendes Material finden Sie unter dieser Adresse (NETHZ Benutzername und Passwort erforderlich!)

Übungen

Die Übungen werden von Tilman Lange und Björn Ommer organisiert und durchgeführt. Das erste Übungsblatt wird in der ersten Vorlesung ausgegeben.

Die Übungen bestehen sowohl aus Papier- und Bleistift als auch aus Programmieraufgaben. Im Rahmen der Übungen wird Matlab eingesetzt.

Testatbedingungen (für diejenigen, die ein Testat benötigen)

Die Testatbedingungen sind erfüllt, wenn ein Kandidat

regelmäßig an den Übungen teilgenommen hat und

mindestens 50% der Punkte in den Übungen erreicht hat.

Die Übungsaufgaben sind einzeln zu bearbeiten und abzugeben.

Kontakt

Für alle Fragen und Kommentare bezüglich der Vorlesung steht der Dozent und die Assistierenden gerne zur Verfügung.

Dozent

Prof. J. Buhmann
HRS F31
Tel: +41 1 632 31 24
E-Mail: firstname dot lastname at inf dot ethz dot ch

Assistenten

Tilman Lange
HRS F 28
Tel.: +41-1-63 26539
E-Mail: firstname dot lastname at inf dot ethz dot ch

Björn Ommer
HRS F 28
Tel: +41 1 632 64 42
E-Mail: firstname dot lastname at inf dot ethz dot ch

Last changed by Tilman Lange. 25.06.2004