[CompPhys]
CP-Home Vorherige Ü 11. Übung Nächste Ü
  1. Genetische Lernalgorithmen

    • Für kompliziertere Netzstrukturen, beispielsweise Feed-Forward-Netze mit vielen Schichten, konvergiert die in der 9.Übung besprochene Error-Back-Propagation recht langsam. Oft sind in solchen Situationen genetische Algorithmen vorzuziehen. Man betrachtet dabei eine sich reproduzierende Population von Netzwerken, die verschiedenen genetischen Operationen unterworfen wird - asexuelle Reproduktion, Cross-over und Mutation. Dabei werden jeweils die erfolgreichsten Individuen (Netze, mit der besten Vorhersageleistung) bevorzugt. Als Genom eines Individuums fungieren hier die Kopplungsstärken der Synapsen.

    • Im vorliegenden Programm soll ein mehrschichtiges Feed-Forward-Netz eine Zeitreihe vorhersagen (vergl. Perzeptron, 9.Übung), zum Beispiel die durch die logistische Abbildung
      displaymath8
      gegebene Folge.

      ffngene.c

  2. Selbstorganisierte Karten

    • Im Gehirn sind häufig Bereiche, die benachbarte Regionen des Körpers kontrollieren, auch durch benachbarte Neuronen repräsentiert. Es stellt sich also die Frage, wie derartige, die Topologie erhaltende Abbildungen durch Selbstorganisation entstehen können. Ein entsprechendes Modell wurde erstmals von Kohonen vorgeschlagen.

    • Angenommen, ein neuronales Netz erhält als Eingabe irgendwelche zufälligen d-dimensionalen Vektoren tex2html_wrap_inline22, die einer gegebenen Verteilung entsprechen. In einem Satz Neuronen, tex2html_wrap_inline24, wird jeweils das Neuron aktiv, dessen d-dimensionaler Vektor synaptischer Gewichte tex2html_wrap_inline26 der Eingabe tex2html_wrap_inline22 am nächsten kommt. Ziel der Lernprozedur ist eine optimale Verteilung der Zuständigkeiten der Neuronen auf mögliche Eingabesignale, d.h. Eingaben tex2html_wrap_inline22, die mit großer Wahrscheinlichkeit auftreten, sollten durch viele Neuronen verarbeitet werden.

    • Ein entsprechender Lernalgorithmus funktioniert wie folgt: (i) Zu jeder Eingabe tex2html_wrap_inline22 wird das Neuron tex2html_wrap_inline34 bestimmt, dessen synaptischer Vektor tex2html_wrap_inline36 der Eingabe am nächsten kommt. (ii) Die Kopplungen aller Neuronen aus der Nachbarschaft von tex2html_wrap_inline34 werden gemäß
      displaymath15
      verändert. Dabei ist g(j,t) eine Abschneide-Funktion (z.B. Gauss-Verteilung), die mit zunehmendem Betrag von j schnell abfällt. Im Laufe der Iteration werden tex2html_wrap_inline44 und der aktive Bereich der Funktion g verkleinert, so daß am Ende nur noch Neuronen in unmittelbarer Nähe von tex2html_wrap_inline34 modifiziert werden.

    • Ist beispielsweise die Eingabe zweidimensional, die Topologie der Neuronen dagegen eindimensional, so wird das System versuchen, seine Kette von Synapsen möglichst ebenenfüllend zu verteilen.

      kohomap.c

Zuletzt verändert: Alex Weiße