Neuroinformatics, 2009-08-06

Module: 
Neuroinformatics
Examiner: 
Stephan Timmer
Date: 
Thu, 2009-08-06

FORMALIA

Modulprüfung: NeuroInfo / Reinforcement Learning Fachsemester: 5
Prüfer/2.Prüfer: Stephan Timmer

VORBEREITUNG

Was hast du zur Prüfungsvorbereitung benutzt?

Ganz viel und immer wieder alles mit anderen Studenten durchgesprochen.
Immer andere Fragen lassen und versucht das gleiche Problem auf die
verschiedensten Arten zu erklären.

PRÜFUNG

Wiederholungsprüfung? nein
Note: 1.0
Bereiche nach Zeit: bisschen mehr als 20 min NI, dann bis die halbe Stunde voll war RL

Fragensammlung: wie lauteten die Fragen im einzelnen?

Lineare Modelle, Regression, was kann man damit noch machen.
Fehlerterm aufschreiben und sagen was der eigentlich minimiert.
Wie kann es gelöst werden: Analytisch
Was bedeutet analytisch: mathematisch geschlossen lösbar, da Fehlerfunktion quadratisch
Funktioniert das immer? X' * X kann nicht immer invertiert werden (bei linearen abhängigkeiten der Pattern)
dann muss das lineare Gleichungssystem gelöst werden. Lösung bildet also Unterraum.
Sind dort alle Lösungen gleich gut? nein, sollte kleine gewichte bevorzugen, im Mittel eine bessere Schätzung
(keine Aussage machen, wenn man was nicht weiss)
fehlerterm für ridge regression.

übergang zur SVM, was wird minimiert? margin, weil dann bessere generalisierung
was bedeuten die nebenbedingungen? ohne die würde einfach margin unendlich genommen,
sie schränken die lösung ein, stellen sicher, dass richtig klassifiziert wird.

primal aufschreiben.

was ist der kernel trick und welche vorteile:
effiziente transformation in feature space
ist möglich, da im dual die pattern nur im skalarprodukt vorkommen.
ermöglicht skalarprodukt in bis zu unendlichen räumen (gauss kern) was sonst gar nicht möglich wäre
man muss das feature mapping nicht kennen

RL:

wie werden RL Probleme formalisiert: MDP
Was ist die Markov eigenschaft?
endlicher/unendlicher Horziont. Wenn unendlich was muss man machen?
Sicherstellen, dass kosten endlich bleiben (Diskontieren/SKP)
RL Algos aufzählen, wollte dann mehr zu VI wissen.
Hab die Formel aufgeschrieben, gesagt was sie bedeutet und das Bellmansche Optimalitätsprinzip darstellt.
Wollte wissen warum das überhaupt funktioniert? Weil wir nur MDPs mit Markov Eigenschaft nehmen.

Wie extrahiert man die policy.
Welchen Einfluss hat der Horizont auf die policy? nicht stationär macht nur sinn für endlichen horziont (fussball beispiel),
bei unendlichem horizont ist die optimale policy immer stationär.

er will oft wissen, was denn ein term in einer funktion (z.b nebenbedingungen in svm oder ein teil eines fehlerterms)
denn jetzt eigentlich bedeutet

legt wert auf die englische bezeichnung der fachbegriffe:
nicht Stützvektor -> Support Vektor
Zustandsraum -> Feature Space..

Was mußte schriftlich gelöst werden?

er zeichnete ein paar pattern, ich sollte die optimale trennung einzeichnen

Persönlicher Kommmentar, Was war toll? Was war doof? Was war auffällig?

Sehr entspannt mit Stephan, keine fiesen Fragen, will aber vieles sehr exakt wissen.
Legt wert auf Zusammenhänge und was einzelne Formelteile wirklich bedeuten.
Stellt die Fragen schrittweise, lässt einen mit etwas anfangen und baut dann auf

Wie waren Einstieg, Ablauf, Ende, Bewertung und Begründung?

durfte mich entscheiden mit was ich anfangen will, hab mich für NI entschieden.

Lässt sich der Prüfer von den Antworten leiten?

Nicht sehr, weiss was er hören will

Zum Verhalten des Prüfers

Nett und gibt sich Mühe, dass man seine Fragen gut verstehen kann.