Evolutionary Strategy

Evolutionary Strategies (Evolutionsstrategien) sind Optimierungsalgorithmen, die von der biologischen Evolution inspiriert sind: Populationen von Lösungskandidaten werden durch Mutation, Rekombination und Selektion schrittweise verbessert. Im Gegensatz zu Gradient Descent benötigen Evolutionsstrategien keine Ableitungen — sie optimieren „ableitungsfrei" (derivative-free). Das macht sie anwendbar auf Probleme, bei denen Gradienten nicht verfügbar, zu teuer oder uninformativ sind. OpenAI zeigte 2017, dass Evolutionsstrategien für Reinforcement-Learning-Aufgaben mit Gradient-basierten Methoden konkurrieren können — bei besserer Parallelisierbarkeit. Der Ansatz: Tausende leicht verschiedene Versionen einer Policy (erzeugt durch Gaussche Perturbation der Parameter) werden parallel evaluiert, und die Parameter werden in Richtung der erfolgreichsten Varianten angepasst. Neuroevolution geht weiter: Nicht nur die Gewichte, sondern auch die Architektur des neuronalen Netzes wird evolutionär optimiert. NEAT (NeuroEvolution of Augmenting Topologies, Stanley & Miikkulainen, 2002) evolviert sowohl die Struktur als auch die Gewichte. Googles AutoML nutze evolutionäre Ansätze für die Architektursuche. Genetische Algorithmen — eine verwandte Familie — nutzen Crossover (Rekombination zweier „Eltern"-Lösungen) und Mutation zur Exploration. Sie sind populär für kombinatorische Optimierungsprobleme, Scheduling und Hardware-Design. Die Schwäche: Evolutionsstrategien sind typischerweise weniger sample-effizient als Gradient Descent — sie brauchen viel mehr Evaluierungen, um eine gute Lösung zu finden. Dafür sind sie robust, einfach zu parallelisieren und ableitungsfrei.