Chain of Thought (CoT)

Chain of Thought (CoT) Prompting ist eine Technik, die Sprachmodelle dazu bringt, Schritt für Schritt zu denken, statt direkt die Antwort auszugeben — und damit ihre Leistung bei komplexen Aufgaben dramatisch verbessert.

Entdeckt von Jason Wei et al. (Google Brain, 2022), zeigte das Paper, dass ein simples „Let's think step by step" die Genauigkeit von GPT-3 bei Matheaufgaben von 18% auf 79% steigern konnte. Ohne CoT springt das Modell direkt zur Antwort und macht häufig Fehler. Mit CoT durchläuft es Zwischenschritte, die als „Scratch Pad" dienen und fehlerhaftes Reasoning frühzeitig korrigieren.

Varianten haben sich schnell entwickelt. Zero-Shot CoT fügt einfach „Denke Schritt für Schritt" zum Prompt hinzu — keine Beispiele nötig. Few-Shot CoT gibt dem Modell Beispiele, wie die Schritte aussehen sollen. Self-Consistency (Wang et al., 2022) generiert mehrere Reasoning-Pfade und wählt die am häufigsten erreichte Antwort (Majority Voting). Tree of Thought (Yao et al., 2023) erlaubt Verzweigungen und Backtracking im Denkprozess. OpenAIs o1-Modell (2024) wurde speziell für längeres Reasoning trainiert.

Die Implikationen sind tiefgreifend: CoT zeigt, dass die gleiche Wissensbasis — dasselbe Modell mit denselben Gewichten — bei unterschiedlicher Nutzung radikal andere Leistung erbringen kann. Die Formulierung des Prompts ist nicht bloß Kosmetik, sondern bestimmt, welche Berechnungspfade das Modell tatsächlich durchläuft.