Doch ganz anders


Wenn KI und digitale Evolution verblüffen

Von Tobias Bonnke, Senior System Architect

Digitale Verblüffung


Gelegentlich greifen künstliche Intelligenzen zu überraschenden Mitteln, um Zielvorgaben bestmöglich zu erreichen, und stellen dabei ihre Schöpfer vor verblüffende Lösungsstrategien.

Knapp über fünfzig Spezialisten aus vierunddreißig Institutionen trugen jüngst ihre Erfahrungen zusammen, welche die organisierenden Autoren Joel Lehman, Jeff Clune und Dusan Misevic in ein sehr aufschlussreiches Papier1 überführten.

Das Ergebnis hat durchaus Unterhaltungswert und wirft zu Recht die Frage auf, was man eigentlich als künstliche Intelligenz bezeichnen kann?

Bedauerlicherweise verfügen wir schon über keine allgemeingültige Definition des Begriffs „Intelligenz“ – auch ohne den Aspekt des Künstlichen zu berücksichtigen.

Jedoch stimmen wir üblicherweise darin überein, dass Intelligenz mehr sein muss, als das stupide befolgen irgendwelcher Anweisungen gemäß präziser Schemata.

Was ist künstliche Intelligenz?


Von einer „künstlichen Intelligenz“ wird gern gesprochen, wenn ein Programm in der Lage ist, überdurchschnittlich gut mit unscharfen Rahmenbedingungen umzugehen.

Ein Programm beispielsweise, welches ein Fahrzeug auf einer speziellen Strecke dank expliziter „wann wie schnell fahren und wohin lenken“ schadensfrei und mit guter Rundenzeit absolviert, gilt daher kaum als künstliche Intelligenz.

Ein Programm jedoch, welches dies für viele beliebige Strecken zu leisten vermag, hingegen schon. Die Lösungsstrategien jener Programme setzen in der Regel auf einer Mustererkennung auf, beispielsweise dahingehend, in welchen Kurvenradien ein Fahrzeug mit welcher angemessenen Geschwindigkeit gesteuert werden soll.

Zur Findung der erforderlichen Lösungsstrategien wird gern auf verschiedene Vorgehensweisen und auch auf biologische Vorbilder zurückgegriffen. Die Lösungsstrategien werden dann in einen biologisch anmutenden Wettbewerb gebracht.

Ziel ist eine Selektion oder zufällige Anpassung der Lösungsstrategien. Dazu ahmen sie Fortpflanzung und Mutation nach. Diese Vorgehensweisen werden in Anlehnung an das biologische Vorbild als „evolutionäre Algorithmen“ tituliert und kommen bei der Suche nach verschiedenen Lösungsstrategien sehr oft zum Tragen.

Dabei liefern jene evolutionären Algorithmen nur selten die Ideallösung – aber fast immer „hinreichend gute“ Lösungen, um in einer Realisation zum Tragen zu kommen. Mit wirklich kreativen Lösungswegen können dabei nicht nur die biologischen, sondern auch unsere digitalen Entwicklungsergebnisse aufwarten.


Anwendungsgebiete für künstliche Intelligenz gibt es viele. Für deren Herstellung braucht es jedoch wenig.

Wie entsteht künstliche Intelligenz?


In der Regel greift man zur Herstellung einer KI auf dreierlei zurück:

1. Eine Umgebung, in welcher man künstliche Intelligenzen den Zeitzustand ihrer erlernten Lösungsstrategie anwenden lässt – in der Regel eine Simulation, in welcher das zu lösende Problem auf die relevanten Problemteile reduziert wurde. Dabei ermöglicht erst die Simulation, alle Strategien unter den exakt selben Bedingungen, reproduzierbar gegeneinander antreten zu lassen.

2. Eine Fitness- oder Zielfunktion, welche die verschiedenen Varianten der Lösungsstrategien vergleichbar macht. Am Ende eines Simulationsdurchgangs werden die Strategien bewertet, beispielsweise, um die vielversprechendsten Kandidaten für eine weitere Veränderung oder gar als hinreichend gute Lösung zu identifizieren.

3. Einen Mechanismus, der die Vorgehensweise der bereits vorhandenen Lösungsstrategien modifiziert, sowie vollkommen neue produzieren kann. Hierfür wird gern nach dem Vorbild einer biologischen Fortpflanzung ein „Genpool für Lösungsstrategien“ eingesetzt, der durch Kombination und Mutation neue Kandidaten erschafft, die sich im simulierten Wettbewerb zu behaupten haben.


Sie „sehen“ Geschnetzeltes Züricher Art – weil keine der Pfannen eine Zutat enthält, die „nicht“ in Geschnetzeltes Züricher Art gehört.

„Nichts falsch“ = „alles richtig“!?


GenProg ist ein evolutionärer Algorithmus zur Reparatur defekter Computerprogramme – es repariert ein defektes Programm auf Basis seiner Lösungsstrategie, welches daraufhin auf seine korrekte Funktionsweise hin überprüft wird.

Wie Westley Weimer2, von der Universität Michigan berichtete, nutzen Angehörige der MIT Lincoln Labs GenProg testweise, um eine defekte Sortierfunktion zu reparieren. Über die gefundene Lösungsstrategie zur Reparatur der Sortierfunktion dürfte dabei zumindest geschmunzelt worden sein.

Zwar meldete die Testfunktion, dass die schließlich reparierte Sortierfunktion keine Liste mit Elementen in falscher Reihenfolge ausspuckte, aber einsatzfähig war die reparierte Sortierfunktion dennoch nicht: um die Sortierfunktion zu reparieren, war sie dergestalt abgewandelt worden, dass sie stets eine leere Liste als Ergebnis zurücklieferte.

Der eingesetzte Test zur Einschätzung der Funktionsfähigkeit hatte darin bestanden, die Elemente der zurückgelieferten Liste auf Fehler in der Reihenfolge der Elemente hin zu untersuchen - da in einer leeren Liste überhaupt keine Elemente mehr zu finden sind, kann auch deren Reihenfolge nicht falsch sein.

Learning: Fitnessfunktionen sollten alle relevanten Anforderungen umfassen – im obigen Fall fehlte die Anforderung „die sortierte Ergebnisliste hat den selben Umfang wie die Ausgangsliste“. „Nicht falsch“ ist nicht identisch zu „richtig“.


Wenn „in kurzer Zeit weit bewegen“ das Ziel ist, so ist „weit fallen“ viel effizienter als „Laufen lernen“ (Bildmaterial aus Video von Evolving AI Lab³)

„Kompliziert umfallen“ ist besser als „Laufen“


Karl Sims, von der Thinking Machines Corporation aus Cambridge/Massachusetts (USA), verwendete 1994 einen evolutionären Ansatz, um Körperformen und Bewegungsabläufe entwickeln zu lassen3. Zur Erfolgsmessung stellte er die digitale Schöpfung in die simulierte Umgebung und maß deren binnen zehn Sekunden zurückgelegte Strecke.

Dabei entwickelten sich recht schnell Schöpfungen, die nennenswerte Strecken zurücklegen konnten. Jedoch stellte sich schnell heraus, dass die Schöpfungen gar keine Bewegungsabläufe beherrschten. Am stärksten „belohnte“ das Vorgehen und die Fitnessfunktion all jene Schöpfungen, die dank einer hochgewachsenen, unregelmäßigen Gestalt „am weitesten umfielen“, Überschlag inklusive.

Das Problem war, dass die aufrechten, hochgewachsenen Formen in der simulierten Umgebung ihre körpereigene Lageenergie „hineinschummelten“ und sich damit einen von Anfang an gegebenen Vorteil „mitnahmen“:

Karl Sims modifizierte das Simulationsverhalten daraufhin. In einer der eigentlichen Simulation vorgelagerten Phase ließ er die Körper zunächst so lange fallen und kollabieren, bis die Lageenergie der Körperteile aufgebraucht war und sie eine stabile Ruheposition einnahmen. Erst wenn das geschehen war, begann die eigentliche Simulationsphase, im Rahmen derer die Schöpfungen ihre evolutionär entwickelten Körperformen durch Bewegungsmuster fortbewegen sollten, und die zurückgelegte Distanz gemessen wurde.

Learning: Simulationen müssen vor dem Start vom Individuum mitgebrachte, unerwünschte Einfussgrößen auf die Fitnessfunktion bereinigen. „Fällt ohne stabile Anfangsposition tief/weit“ ist eben nicht gleich „besitzt die Fähigkeit sich schnell zu bewegen“.


Die Abstoßungskraft einer von der Physiksimulation¹ zu spät erkannten Bodendurchdringung wurde als zusätzliche Energiequelle für vibrierende Bewegungsabläufe genutzt.

Zusatzenergie durch im Boden versinken


Nick Cheney und seine Kollegen, welche auf den Arbeiten von Karl Sims aufbauten, erlebten eine andere Überraschung. Die eingesetzte Physiksimulation basierte auf der Annahme, dass sie umso fragiler wäre, je mehr Bestandteile eines Körpers in der Simulation berücksichtigt werden müssten. Daher verkürzte die Physiksimulation das Zeitintervall zwischen zwei Simulationsschritten mit zunehmender Komplexität der in der Simulation beteiligten Bestandteile.

Im Umkehrschluss hieß das aber, dass, je weniger Bestandteile der Körper umfasste, umso größer wählte die Physiksimulation Zeitintervalle zwischen zwei Simulationsschritten.

Eine Folge davon war, dass die Körper besonders einfacher Schöpfungen in den Boden dringen konnten, denn die Simulation verpasste den Moment, in dem ein eigentlich undurchdringbarer Körper durchdrungen wurde.

Zwar erkannte die Physiksimulation im nächsten Schritt die Kollision und brachte den Körper durch eine abstoßende Kraft wieder über die Bodenfläche, aber die abstoßende Kraft stellte letztlich zusätzliche Energie für eine Fortbewegung dar, und genau die erntete die digitale Evolution in jenem Moment, und münzte sie in Bewegung um.

Learning: die Funktionsweise der Simulation ist das Transportmittel des evolutionären Fortschritts und jeder ihrer Aspekte kann sich als ausschlaggebendes Element in der digitalen Evolution herausstellen – auch Absicherungs- oder Optimierungsgedanken.


Butterweiche Landung, auch unter mörderischen Umständen? Das klang zu gut um wahr zu sein!

Perfekte Landung durch zu große Zahlen


Robert Feldt bemühte sich um eine evolutionäre Lösung zur Landung beliebiger Fluggeräte auf einem Flugzeugträger. Hierfür klinkten sich im Rahmen der Simulation verschiedenste Fluggeräte das Bremskabel eines Flugzeugträgers ein. Das Bremskabel wiederum würde durch Druck in Druckbehältern in seiner Bremskraft reguliert.

Die digitale Evolution sollte nun Lösungsstrategien entwickeln, mit welcher Druckregulation die verschiedenen Fluggeräte schnell und sicher abgebremst werden könnten.

Feldt nahm an, der evolutionäre Prozess würde einen großen Zeitraum in Anspruch nehmen, um akzeptable Ergebnisse zu liefern, jedoch fanden sich fast unmittelbar perfekte Strategien – selbst zur schnellen und sicheren Landung schwerster Bomber.

Die von den Lösungsstrategien ausgespuckten Werte erschienen verdächtig perfekt – sowohl in Sachen Sicherheit als auch Schnelligkeit der Bremsmanöver.

Schließlich stellte sich heraus, dass den betreffenden Lösungen ein Problem mit dem Zahlenverhalten der Simulation zugrunde lag: traten in Berechnungen stellenweise zu große Zahlen auf, so konnte sich dies im Ergebnis als Nullwert niederschlagen. Betrafen diese Nullwerte die Ergebnisse der auf Flugzeug, Kabel und Pilot berechneten, ausgeübten Kräfte, so konnte eine Landung unter mörderischsten Bedingungen trotzdem als butterweich gelten.

Learning: die Simulation muss robuste Zahlenformate und Berechnungsweisen verwenden und sich ein Scheitern beim Einsetzen derselben negativ in der Fitnessfunktion niederschlagen. Die Interpretationsweise von Randbedingungen und entarteten Fällen ist wichtig.


Essbar oder ungenießbar? Das neurale Netz hatte überraschend schnell eine Lösung gefunden.

Wieso kompliziert…?


2015 untersuchte Kai Olav Ellefsen und Kollegen4 ein Problem namens catastrophic forgetting, in dessen Zusammenspiel bereits trainierte neurale Netze ihre zuvor erlernten Fertigkeiten wieder zu vergessen, konfrontiert man sie mit einem weiteren Lernvorgang.

In der simulierten Umgebung sollte das neurale Netz Objekte als essbar oder ungenießbar klassifizieren, verbunden mit einer Belohnung oder Strafe für das Konsumieren der angebotenen Objekte.

Ellefsen und seine Kollegen waren überrascht, dass sich im Rahmen des Lernprozesses hoch effiziente neurale Netze entwickelten, die, wie sie bei näherer Untersuchung derselben feststellten, hier nahezu keine Angaben über die Objekte in die Entscheidung einfließen ließen. Die neuronalen Netze waren also in der Lage, die Essbarkeit der Objekte einzuschätzen, ohne überhaupt deren Eigenschaften zu kennen, denn entsprechende Informationskanäle gab es kaum.

Wie sich herausstellte, hatte die Evolution das Muster in der Art und Weise entdeckt, wie sich das Angebot an genießbaren und ungenießbaren Objekten entwickelte: stets abwechselnd ein genießbares, danach ein ungenießbares. Die betreffenden neuronalen Netze hatten gelernt, dass egal war, welche Information über die Objekte selbst angeboten wurde – es reichte stets, mit der Entscheidung „Objekt ist genießbar“ zu beginnen, und danach die vorangehende Entscheidung umzukehren.

Learning: Zufall und Unvorhersehbarkeit, im Zusammenspiel mit Auswahlmengen in Lernprozessen, unterbinden, dass die Lösungsstrategie auf Mustern des Lernprozesses basiert.

Fazit


Die digitale Evolution künstlicher Intelligenz erfordert einige Achtsamkeit – die sich entwickelnden Lösungsstrategien greifen alles auf, was simulierte Umgebung sowie deren Eigenschaften und Funktionsweisen anbieten. Dies betrifft die Robustheit der Simulation selbst, in Randbedingungen, beispielsweise viel zu großen oder kleinen Zahlen in Simulationsprozessen, ebenso, wie die im Rahmen von Lernprozessen auftretende Muster, beispielsweise in Form von Auswahlreihenfolgen oder –häufigkeiten.

Erst im Zusammenspiel mit einer vollständigen Abbildung der Anforderungen in Fitness- oder Zielfunktionen, bzw. Funktionstests, lässt sich erwarten, von der eigenen digitalen Schöpfung nicht wie im zugrunde liegenden Papier1 beschrieben, in vielfältiger Form überrascht zu werden.

Quellen

1 „The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities“, Joel Lehman, Jeff Clune, Dusan Misevic et al, https://arxiv.org/pdf/1803.03453.pdf

2 Forrest S, Nguyen T, Weimer W, Le Goues C. A genetic programming approach to automated software repair. In: Proceedings of the Genetic and Evolutionary Computation Conference; 2009. p. 947–954.

3 „Evolving 3D Morphology and Behavior by Competition“, Karl Sims, http://www.karlsims.com/papers/alife94.pdf, exemplarisch dargestellt in https://www.youtube.com/watch?v=TaXUZfwACVE

4 Ellefsen KO, Mouret JB, Clune J. Neural modularity helps organisms evolve to learn new skills without forgetting old skills. PLoS Computational Biology. 2015;11(4):e1004128