Action Space

Der Action Space (Aktionsraum) ist ein zentraler Begriff im Reinforcement Learning (Bestärkendes Lernen), einem der drei Hauptparadigmen der KI. Er definiert die Menge aller validen Handlungen oder Entscheidungen, die ein Agent in einem bestimmten Zustand (State) seiner Umgebung ausführen kann. Die Definition und Struktur des Action Space ist einer der ersten und wichtigsten Schritte beim Design eines RL-Systems, da sie maßgeblich bestimmt, welche Algorithmen verwendet werden können und wie komplex das Lernproblem ist.

Man unterscheidet grundsätzlich zwischen diskreten und kontinuierlichen Aktionsräumen. Ein diskreter Action Space besteht aus einer endlichen Anzahl klar abgrenzbarer Entscheidungen (z.B. bei Super Mario: 'Laufen', 'Springen', 'Ducken', 'Feuerball'). Ein kontinuierlicher Action Space hingegen erlaubt fließende Werte innerhalb eines Spektrums (z.B. bei einem Roboterarm: 'Drehe Gelenk A um 34,5 Grad' oder bei einem autonomen Fahrzeug: 'Beschleunige mit 1,2 m/s²').

Die Größe des Action Space beeinflusst die sogenannte 'Exploration-Exploitation'-Herausforderung: Je mehr Möglichkeiten es gibt, desto schwieriger ist es für den Agenten, alle auszuprobieren (Exploration), um die beste Strategie zu finden. In hochdimensionalen kontinuierlichen Räumen (wie in der Robotik) kommen daher spezielle Algorithmen wie 'Proximal Policy Optimization' (PPO) oder 'Soft Actor-Critic' (SAC) zum Einsatz, die auch ohne das Abklappern aller Optionen effizient lernen können.