Neuroinformatics, 2006-05-01

Module: 
Neuroinformatics
Examiner: 
Martin Riedmiller
Assessor: 
Sascha Lange
Date: 
Mon, 2006-05-01

Formalia

Modulprüfung:
Fachsemester: <5>
Wiederholungsprüfung?
Note: <1.0>
Bereiche nach Zeit: <30/70>

Fragensammlung: wie lauteten die Fragen im einzelnen?

- q-learning generell
- q-learning in anwendung auf inverses pendel
welche zst. gibt es
warum MDP?
SKP
Pfadkosten, Start, Endzustände, verbotene Zustände?
Wie modelliert man dass das Pendel am Besten in der Mitte zum stillstand kommt und das Pendel balanciert?
wie alles modellieren/darstellen?
Braucht man eine zustandsabhängige aktionsmenge? (ich dachte ja, kann aber über q-learning integriert werden)
wie stellt man die q-funktion dar?
Probleme der Tabelle in q-learning und inversem Pendel
Ist es ein modellfreier Fall?
Was wäre wenn man ein Modell hätte (Value Iteration, Policy Iteration, etc)
- wie stellt man eine q-funktion dar? MLP
- Wie ist ein MLP aufgebaut? Schichten, keine Zyklen etc. etc.
- Backprop erklären
- Probleme von backprop: Lokale Minima, flat spots, steep error function, herd effect, alle gewichte gleich initialisiert = gleiche änderung,... etc etc
- Kann man das ganze auch als RBF-Netzwerk darstellen?
- Was ist ein RBF-netzwerk? Aufbau, Topologie, Aktivierung, etc.
- Aktivierungsfunktion der RBF
- Generelle Eigenschaften von RBF-Netzwerken
- Lernen in RBF-Netzwerken
- K-means Clustering und One-Shot erklären
- Vorteile/Nachteile einer darstellung der q-funktion als RBF (wusste ich nicht sofort, kam dann aber darauf (mit kleiner Hilfe) dass RBFs ja lokal approximieren und deshalb eher einer Tabelle gleichkommen. Also sind anderungen ebenfalls lokal und man muss nicht das komplette system verbessern wie beim MLP (problem des Herd-effect,...)
- Ausserdem kurz angesprochen: Trajektorienbasiertes lernen und Zusammenhang zu q-learning, exploration vs exploitation

Was mußte schriftlich gelöst werden?

- teilweise Formeln zum untermauern des Gesagten
- Darstellung von RBF-Neuronen und Feature Space

Welche Beispiele wurden wofür abgefragt?

s.o.

Persönlicher Kommmentar, Was war toll? Was war doof? Was war auffällig?

- alles super, Martin Riedmiller versucht zu helfen wenn man die Frage nicht versteht oder in eine andere Richtung geht als er will... Ab den ersten paar Minuten wurde eher weiterreichendes gefragt und weniger pures Wissen. Z.B. die Vorteile von RBF-Netzen im q-learning Fall,... hier hiess es weiter denken und spontan zusammenhänge erkennen. Generell war alles an dem Anwendungsbeispiel der Letzten Vorlesung angeknöpft und alle anderen Themen wurden geschickt eingebunden!

Wie waren Einstieg, Ablauf, Ende, Bewertung und Begründung?

Einstieg:
- zack zack (Schneechaos in Osnabrück, deshalb später und schnell angefangen). Kurz begrüsst und direkt die Frage nach inversem Pendel.

Ablauf:
s.o.

Ende:
- ich kurz raus, dann notenverkündung ;)

Bewertung und Begründung:

Lässt sich der Prüfer von den Antworten leiten?

- teilweise

Zum Verhalten des Prüfers

- sehr nett, hilfreich, freundschaftlich