Neuroinformatics,

Module: 
Neuroinformatics
Examiner: 
Volker Sperschneider
Assessor: 
Anja Siemer

Modulprüfung: Neuroinformatik Fachsemester: 6

Prüfer: Volker Sperschneider

Wiederholungsprüfung?

Beisitzer: Anja Siemer

Note: A

Bereiche nach Zeit: 15min Theoritical Neuroscience Vortrag
15min Neuronale Netze

Fragensammlung: wie lauteten die Fragen im einzelnen?

F: Thema Hebb'sches lernen, in welchem Zusammenhang haben wir in NN Hebb'sches Lernen kennengelernt?
A: Rekurrent Nets.
F: Erläutern sie mal.
A: Er wollte ein paar Details zu Hopfield netzen wissen.

F: Wo kam den noch eine Hebb-ähnlich Formel vor?
Ich stutze. hmmm. Letztlich dann: vielleicht SOM - richtig. Dann hat er mich sehr detailiert über Kohonen Nets befragt.
F: Was macht den so eine SOM noch?
als "Erläuterung" malte er einen 3D-Raum auf und zeichnete ein paar Punkte ein. Er wollte hören, das sich das erste Neuron auf die erste Hauptrichtungs-Komponente einschießt. Ich kam nur durch Glück dahinter, da ich mit Eigenwerten einer denkbaren Matrix ankam.
F: Wie kann man verhindern, dass die Vektoren bei einem SO-Net unendlich lang werden?
A: Normierung.
F: Was muss man also machen.
A: Ich schrieb auf w/||w||.
F: Ja und muss ich jetzt als Designer einfach alle 10 Lernschritte normalisieren?
Hier wurde es echt knifflig - hätte ich nur mal ein Buch über SOMs gelesen. Im Endeffekt wird wohl tatsächlich alle paar Schritte normalisier, was zur Forge hat das nur die ermittelte "Hauptrichtung" immer genauer wird. ingesammt war dieser Teil wirklich seltsam.
F: In wie fern ist eine SOM biologisch plausibel?

Schwenk zu Feed-forward-Netzen.
F: MAchen wir mal ein Beispiel: Ich möchte meine tausend Urlaubsfotos klassifizieren in zwei Kategorien. Jedes Bild hat 6 Mega-Pixel. Wie würden Sie das FFN designen?
A: Input und Output Neuronen. Ein oder zwei Output- Neuronen...
F: ...und wieviel Input-Neuronen?
A: Naja. Man könnte natürlich für jedes Pixel ein Neuron spendieren.
F: In Ordnung. Wieviele versteckte Schichten?
A: hmmm... naja...
F: Sagen Sie halt eine Zahl
A: 3
F: Das ist ja schon deluxe! Aber ok. Wieviele Neuronen braucht jede Schicht.
- das ging jetzt eine Weile so, er wollte mich offensichtlich durcheinander bringen. Und es reichte nicht aus zu behaupten, dass es schwierig sei eine geeignete Archtiektur zu finden. Er wollte konkrete Zahlen. Auch ein verweis auf Netz-architektur-optimierungsverfahren half nicht. Letztlich hatte ich ca 15 Input-Neuronen, die eine Vor-extraktion vorgenommen haben, 3 hidden layers und zwei Ausgabeneuronen. Er malte ein Netz auf.

F: Jetzt wollen wir noch das Backpropagation Verfahren anwenden.
A: Ich schrieb die BackProp-Formel auf und erleuterte wie sie funktioniert.
F: Was muß man jetzt für die forderen Schichten erwarten
A: Lernunwilligkeit
F: warum?
A: wegen der Ableitung...
F: Und wie kann man den BackProp verbessern?
A: da hab ich noch schnell alles von flat-spot-elem, momentum-term, und die ganzen Alorithmen erzählt.

Was mußte schriftlich gelöst werden?

Normierung der Hauptkomponentenvektoren für SOM

BackProp-Regel (nur der delta-teil)

Persönlicher Kommmentar, Was war toll? Was war doof? Was war auffällig?

is schon ok. Benotung gut und Volker ist wirklich fair.

Lässt sich der Prüfer von den Antworten leiten?

total!!!

Zum Verhalten des Prüfers:

sehr nett.