Nichtlinearität macht photonische neuronale Netze intelligenter
Forscher am Institut für Quantenelektronik haben den Kernprozessor eines photonischen neuronalen Netzes hergestellt, bei dem die optische Nichtlinearität eine Schlüsselrolle spielt, um das Netz leistungsfähiger zu machen.
Künstliche Intelligenz (KI), die auf neuronalen Netzen basiert, zielt darauf ab, komplexe Probleme zu lösen, indem sie das menschliche Gehirn nachahmt – und ähnlich wie das Gehirn selbst, steckt sie voller Überraschungen. So hat es sich zum Beispiel herausgestellt, dass eine sehr elegante Methode zur Erstellung eines neuronalen Netzes die Verwendung von Zufallsmatrizen ist. Mit anderen Worten: Den Verbindungen zwischen dem Eingang und dem Ausgang des Netzes werden feste und völlig zufällige Gewichte zugewiesen. Am Ausgang können dann lineare Regressionsmethoden zum Trainieren des Netzes verwendet werden.
Während dies auf dem Papier eine leistungsfähige Methode ist, kann die Umsetzung auf einem Computer wegen des Speicherbedarfs für grosse Zufallsmatrizen schwierig sein. Auch der Stromverbrauch und die Rechenzeit werden bei digitalen Computern wahrscheinlich zu einem Problem, wenn die neuronalen Netze grösser und komplexer werden. In den letzten Jahren haben Forscher versucht, diese Probleme zu überwinden, indem sie das natürliche physikalische Äquivalent einer Zufallsmatrix verwendeten – ein ungeordnetes optisches Material – und die notwendige Matrixmultiplikation durch Lichtstreuung realisierten.
Solche photonischen neuromorphen Computer versprechen, die oben erwähnten Schwächen digitaler Computer zu überwinden. Aber sie haben auch einen großen Nachteil: Die Photonenstreuung ist ein linearer Prozess. Das bedeutet, dass die Aktivierungsfunktionen der Netzknoten, die bestimmen, wie die Eingaben an einem Knoten zu einer Ausgabe führen, ebenfalls linear sind. Dies wiederum bedeutet, dass die resultierenden neuronalen Netze im Wesentlichen einschichtige Netze sind und daher im KI-Jargon nicht besonders ‹ausdrucksstark›.
Ein Forscherteam unter der Leitung von Rachel Grange vom Institut für Quantenelektronik in Zürich und Sylvain Gigan vom Laboratoire Kastler Brossel (LKB) in Paris hat nun gemeinsam mit Kollegen aus Italien und China gezeigt, dass photonische neuronale Netze intelligenter gemacht werden können, indem ein ungeordnetes Material aus vielen winzigen Kristallen verwendet wird, dass die Frequenz des einfallenden Lichts in einem nichtlinearen Prozess verdoppeln kann. In ihrer kürzlich in Nature Computational Science veröffentlichten Arbeit zeigen sie, dass ihr Ansatz zu einer beträchtlichen Leistungssteigerung gegenüber einer einfachen linearen Streuung führt.
Kernprozessor aus ungeordneten Nanopartikeln
Die Aufgabe der ETH-Forscher war es, die Kernprozesse des photonischen neuronalen Netzwerks herzustellen und zu charakterisieren, die dann in einen experimentellen Aufbau am LKB integriert wurde. «Unsere Gruppe stellte die Proben und unser Fachwissen über optische Nichtlinearität zur Verfügung,» sagt Alfonso Nardi, ein Forscher, der mit Rachel Grange zusammenarbeitet. Er und seine Kollegen verwendeten winzige Kristalle aus Lithiumniobat (LiNbO3), die chemisch so synthetisiert worden waren, dass die Kristalle eine Grösse zwischen 100 und 400 Nanometern hatten. Die Suspension mit den Kristallen wurde auf ein Substrat aufgebracht. Nachdem das Lösungsmittel verdunstet war, entstand eine feste Platte von 5 Mikrometern Dicke, die zufällig ausgerichtete Nanokristalle enthielt.
Grange und ihre Mitarbeiter wählten das Material und die Partikelgrösse so, dass die Lichtstreuung maximiert wurde, so dass die mittlere freie Weglänge der Photonen in der Platte unter einer optischen Wellenlänge lag. Gleichzeitig können die Lithium-Niobat-Kristalle – die ein nicht-zentrosymmetrisches Kristallgitter und daher eine nicht-verschwindende Chi-2-Nichtlinearität aufweisen – die Frequenz des einfallenden Lichts durch einen nichtlinearen Prozess der Erzeugung der zweiten Harmonischen verdoppeln. Da sie zufällig ausgerichtet sind, kommt es unabhängig von den Bedingungen der Phasenanpassung immer zu einer globalen Emission der zweiten Harmonischen.
Zur Einspeisung der Daten in das photonische Netzwerk verwendeten die Forscher des LKB einen räumlichen Lichtmodulator, der Bilder oder Zahlenwerte in optische Phasen umwandelt. Ein gepulster Laser bei 800 nm schickt Photonen durch diesen Modulator, die dann im Inneren der Lithiumniobatplatte mehrfach gestreut werden. Durch die Erzeugung der zweiten Harmonischen werden Photonen bei 400 nm erzeugt und ebenfalls gestreut. Bei beiden Wellenlängen führen die mehrfachen und phasenkohärenten Streuungen zu charakteristischen Fleckenmustern, die durch einen dichroitischen Spiegel getrennt und dann mit CCD-Kameras aufgezeichnet werden.
Überragende Leistung dank Nichtlinearität
Anhand der Speckle-Muster wurde das Netz nun mit Regressionsmethoden trainiert. Um die Stärke ihres Systems zu zeigen, das effektiv mehr als 27.000 Eingangs- und 3.500 Ausgangsknoten realisiert, wandten die Forscher es auf eine Reihe von Aufgaben des maschinellen Lernens an, von der Bilderkennung bis zur Klassifizierung von Graphen. Bei einer dieser Aufgaben wurde das photonische neuronale Netz darauf trainiert, Ziffern in der Gebärdensprache zu erkennen, bei der die Zahlen von 0 bis 9 durch verschiedene Kombinationen von geöffneten Fingern dargestellt werden. Nach dem Training ermittelten die Forscher, wie oft das Netz die richtige Antwort fand, entweder mit den linear gestreuten Photonen oder mit denen, die aus der nichtlinearen Erzeugung der zweiten Harmonischen resultierten. Das Ergebnis war eindeutig: Während das lineare neuronale Netz die Ziffern im Durchschnitt in etwa 74% der Fälle richtig erkannte, erreichte das nichtlineare Netz eine Trefferquote von fast 86%.
«Dies ist ein erster wichtiger Schritt auf dem Weg zur Etablierung der optischen Nichtlinearität als Schlüsselfaktor für die Zukunft der photonischen Datenverarbeitung», sagt Forscher Andrea Morandi. Um die Energieeffizienz des photonischen Netzwerks weiter zu verbessern, planen die Forscher die Verwendung eines Dauerstrichlasers anstelle eines gepulsten Lasers. Dies könnte beispielsweise durch die Verwendung eines optischen Hohlraums oder durch die Entwicklung neuer nichtlinearer Materialien mit einer höheren Ausbeute an zweiter Harmonischer erreicht werden.
Aus dem Englischen übersetzt von Kilian Kessler
Literaturhinweis
Wang, H., Hu, J., Morandi, A. et al. Large-scale photonic computing with nonlinear disordered media. Nat. Comput. Sci. 4, 429-439 (2024). externe Seite DOI:10.1038/s43588-024-00644-1