Neuroinformatics, 2016-08-02

Module: 
Neuroinformatics
Examiner: 
Prof. Dr. Gordon Pipa
Assessor: 
Kristoffer Appel
Date: 
Tue, 2016-08-02

VORBEREITUNG

Was hast du zur Prüfungsvorbereitung benutzt?
Was wir hilfreich, was war weniger hilfreich?

- Neuroinfo Skript
- Bishop-Buch
- Machine Learning Slides
- Protokoll Fragen

PRÜFUNG

NEUROINFO

- Erzählen Sie erstmal was zu Bayes. Wie leitet man Bayes her? Was bedeuten die einzelnen Terme? Was genau ist p(D)? (da wollte er hören, dass p(D) nur die Daten sind die wird erhoben haben, und nicht genau die underlying function). Was kann man dann mit Bayes machen?

- Wie geht man schematisch bei ML vor? Kann man die Likelihood immer einfach in ein Produkt der individuellen Datenpunkte umwandeln?(Nein, nur wenn sie independent sind). Wenn man ein Experiment durchführt, ist es denn dann immer so, dass alle Variablen unabhängig voneinander sind? (Nein. Dabei muss man aufpassen, wenn man ein Experiment durchführt).

- Was ist die zweite Ableitung der ML?

- Wie kann man Models vergleichen? Wie geht man bei Cross-Validation vor? Macht Cross-Validation immer Sinn?(Nein, kann computationally zu aufwendig sein). Welche anderen Wege gibt es dann um overfitting zu vermeiden? (kurz Regularization erklärt)

- Was für Basis Funktionen gibt es und welche Vor bzw Nachteile haben sie?

- Wenn wir nur einen Datenpunkt haben, wie ist dann die Wahrscheinlichkeitsverteilung? Da war ich erst ziemlich verwirrt, weil man eine Normal Distribution ja nicht zu nur einem Datenpunkt fitten kann (kein sigma, also keine Streuung...) Dann hat er die Frage nochmal anders formuliert: Können wir das Model w1*x + w0 zu nur einem Datenpunkt fitten? (Ja, es gibt unendlich viele Möglichkeiten, ein lineares Model durch nur einen Punkt laufen zu lassen). Wenn wir jetzt noch einen Punkt hinzufügen, was passiert dann? (Da w1*x + w0 nur linear ist, also nur eine gerade Linie, gibt es nun nur noch eine Möglichkeit für ein Model.

- Wenn wir uns nochmal Bayes anschauen: Angenommen wir haben eine Likelihood die so verläuft:

(die Punkte ... sind nur zum "skizzieren")

|\\\
|.\\\
|..\\\
|...\\\
|....\\\
|.....\\\
|......\\*
|.......\\\
__________________

und einen Prior, der so verläuft:

|.......///
|......///
|.....///
|....///
|...///
|..///
|./// *
|///
______________

Wie sieht dann unsere Posterior Probability aus? Das war mir zunächst nicht klar. Dann hat er mir noch den Tipp gegeben, dass ich mir in jedem Koordinaten System den eingezeichneten Punkt anschauen soll. Was passiert, wenn man das multipliziert? -> alle Punkte die sich nicht überschneiden werden Null. Also bleibt nur in der Mitte ein Peak.. (Nicht sicher, ob das 100%ig richtig so ist..)

MACHINE LEARNING:

- Erzählen sie mal etwas zu Clustering.
- Wie viele Clusters sollte man suchen?
- Woher weiß man, ob eine Clustering gut ist? Da hab ich erst gesagt, das man ein Information Criterion wie AIC verwenden könnte. Was könnte man sonst noch nehmen, was einfacher ist? Als ich dann Cross-Validation gesagt habe war er zufrieden.

Was mußte schriftlich gelöst werden?

- Ich hab Bayes aufgeschrieben um das zu verdeutlichen. Und die Aufgabe, die ich oben "skizziert" habe, hat er zur Veranschaulichung aufgemalt.

Persönlicher Kommmentar, Was war toll? Was war doof? Was war auffällig?

Die Atmosphäre war super entspannt. Anfangs war ich etwas aufgeregt, aber das hat sich sofort gelegt.
Manchmal habe ich seine Fragen nicht genau verstanden, dann einfach nochmal nachgefragt und dann war meistens klar worauf er hinaus wollte. Also immer einfach nachfragen. Pipa kann ich auf jeden Fall als Prof für die Modulprüfung empfehlen.

Note: 1.0