Neuroinformatics, 2005-05-06

Module: 
Neuroinformatics
Examiner: 
Sperschneider
Assessor: 
Siemer
Date: 
Fri, 2005-05-06

Modulpruefung: Neuroinformatik Fachsemester: 7

Pruefer: V. Sperschneider

Pruefungsdatum: 06.05.2005

Wiederholungspruefung? nein

Beisitzer: A. Siemer

Note: 1,7

Bereiche nach Zeit: ca. 5 Min. TheoNeuSci + 25 Min NN

Fragensammlung: wie lauteten die Fragen im einzelnen?

In meinem Vortrag zum Thema Associations/Hebbian Learning wurde ich nach ca. 3 Min unterbrochen, als Sperschneider wohl klar wurde, wie langweilig das fuer ihn werden wuerde. Beim Stichwort "Assoziationsspeicher" hat er gefragt, ob wir vielleicht gleich auf die NN-Themen kommen wollen, womit ich einverstanden war (der Vortrag waere wirklich nicht spannend gewesen ;).

OK, was koennte man denn noch als Assoziationsspeicher verwenden? -- Hopfield-Netze

Wie sind die aufgebaut? -- Symmetrische Verbindungen, bipolare Neuronen, lokales Feld, Schaltdynamiken.

Was ist der Unterschied zwischen synchron/asynchroner Schaltweise? - asynchron erreicht stabilen Zustand, synchron oszilliert u.U. zwischen zwei Zustaenden.

Immer zwischen zwei Zustaenden oder kann es auch einen Loop von drei oder vier geben? -- kurz ueberlegt, fuer Nein entschieden, was richtig ist.

Warum erreicht das Netz bei asynchroner Schaltung einen stabilen Zustand? -- Weil die Energie nach jedem Schaltschritt abnimmt.

Ja, aber warum kann es nicht immer weiter nach unten gehen? -- Weil die Energiefunktion ein Minimum hat.

Ja, aber z.B. f(x)=1/x hat auch ein Minimum, was aber nie erreicht wird. -- Hm...

Wieviele Zustaende kann denn das Netz annehmen bei n Neuronen? -- n^2... nein, 2^n (richtig). (Also: Weil die Zahl der moeglichen Zustaende endlich ist, muss das Minimum also irgendwann erreicht werden.)

OK, wie verwendet man das Netz als Speicher? -- Stabile Zustaende = Muster, Training mit Korrelationsregel, ...

Wie sieht die Korrelationregel aus? -- w_i * w_j

Wenn man da jetzt z.B. 20 Bilder speichert, welchen Wert nimmt ein Gewicht dann an? -- (Ich hab erst die Frage nicht verstanden. Er hat dann angefangen, das zu illustrieren, und mir draufgeholfen. Er wollte auf "die Summe der einzelnen Aenderungen" hinaus.)

(Vielleicht noch mehr Einzelheiten zu Hopfield, weiss nicht mehr genau. Dann Themenwechsel.)

Wenn man z.B. Musikstuecke klassifizieren will als Bach oder Mozart, was koennte man da nehmen? -- Z.B. eine SOM.

(Er wollte aber ueberleiten zu Feed-Forward-Netzen, mit denen man das offenbar auch machen kann.)

Ist es eine gute Idee, fuer jeden Pixel ein Inputneuron zu nehmen? -- Nein.

Warum? -- Weil das Netz dann zu spezifisch auf diese Aufgabe lernt (over-fitting, schlechte Generalisierung auf ungelernte Daten).

Malen Sie mal einen Graphen der Funktion des Lernfehlers, wie sieht sowas denn aus? -- (Malt erst stark, dann immer flacher fallende Kurve, Pruefer ist zufrieden).

Und der Generalisierungsfehler, wie verlaeuft der so? -- (Malt aehnlich fallende Kurve, die am Ende aber wieder steigt. Der Pruefer ist wiederum zufrieden).

Was kann man denn machen, um den steigenden Generalisierungsfehler zu umgehen? -- Das Training abbrechen, wenn der Fehler wieder steigt.

Gut, und was kann man sonst gegen schlechte Generalisierung in einem Netz machen? -- Es gibt Verfahren, um mehr oder weniger gezielt die Architektur des Netzes zu veraendern, z.B. Optimal Brain Damage (Verbindungen kappen), Skelettierung (Neuronen entfernen).

(Nahtloser Uebergang zu SVPs).

Warum kann man es sich denn bei einer SVP erlauben, viele Inputneuronen zu nehmen, ohne dass die Generalisierung leidet? -- (Ueberlegt).

Oder zunaechst, was ist denn eine SVP und was macht sie? -- Sie findet eine trennende Hyperebene im Eingaberaum, die die Punktmenge trennt, z.B. in positive und negative Instanzen.

Aber doch nicht irgendeine Hyperebene? -- Nein, die optimale, mit der groessten Trennbreite zwischen den Mengen.

Aha, und auf was kommt es dann fuer die Generalisierung an? -- Achso, auf die Trennbreite (je groesser, desto besser die Generalisierungfaehigkeit).

Und auf was kommt es dann nicht an? -- Auf die Dimension des Eingaberaumes.

Genau. -- Aha.

(Eventuell kamen hier noch ein oder zwei andere Fragen).

Jetzt hab' ich sie vorhin so in ihrem Vortrag unterbrochen, wollen sie noch was sagen? -- Ja, ich hatte da noch so ein Beispiel fuer Hebbian Learning in biologischen Systemen.

OK, erzaehlen sie mal. -- (Das Hamburger-Beispiel aus Trappenberg: Foundations of Computational Neuroscience, S. 150).

Schoen, wissen sie denn auch, wie sowas in der Biologie implementiert sein koennte? -- Z.B. durch "dendritic backfiring" (postsynaptisches Neuron schickt ueber Dendriten Infos an die Synapse), oder das Calcium-Level hinter einem NMDA-Rezeptor (s. auch Trappenberg, S. 153).

Ja, da muss man schon viel forschen, bis man sowas rausfindet. -- (...)

Was musste schriftlich geloest werden?

Zeichnen des Graphen der Lernfehler- und Generalisierungfehlerfunktionen, Eintragen des Gewichts in eine Tabelle mit Zustaenden in einem Hopfield-Netz (mit Korrelationsregel).

Welche Beispiele wurden wofuer abgefragt?

Implementationen von Hebbian Learning in Biologie und kuenstlichen Netzen, Optimierungsverfahren fuer Feed-Forward-Netze.

Persoenlicher Kommmentar, Was war toll? Was war doof? Was war auffaellig?

Toll ist, dass Sperschneider einem draufhilft, wenn man nicht sofort auf die richtige Antwort kommt.
Auffaellig, dass Anja Siemer nichts sagt, und dass Sperschneider ueber den TheoNeuSci-Stoff viel besser bescheid weiss, als er vorgibt. :)

Wie waren Einstieg, Ablauf, Ende, Bewertung und Begruendung?

Einstieg:

Vorbereiteter Vortrag zu selbstgewaehltem Thema (Kap. 7 aus Trappenberg, bzw. den Anfang davon).

Ablauf:

Ziemlich sanfte Uebergaenge, gut die Zusammenhaenge genutzt und herausgebracht, einige Standardfragen mit denen man rechnen konnte, aber auch ueberraschende.

Ende:

Er hat mich quasi noch mal meinen Vortrag aufgreifen lassen, was natuerlich drei geschenkte Minuten fuer mich waren. Er haette auch einfach weiter Fragen koennen.

Bewertung und Begruendung:

Sehr fair.

Laesst sich der Pruefer von den Antworten leiten?

Ja, wenn man sich in einem Thema gut auskennt sollte man versuchen, das irgendwie anzusprechen und einzuarbeiten.

Zum Verhalten des Pruefers:

Sehr nett und freundlich.