Autonome Software-Agenten scheiterten in der Praxis bisher selten am fehlenden Wissen, sondern an zwei handfesten Hürden: explodierenden Token-Rechnungen und endlosen Denkpausen, bei denen die Modelle dutzende Dateien durchforsteten, bevor eine einzige Zeile Code verändert wurde. Cognition, das Unternehmen hinter dem KI-Entwickler Devin, will diesen Knoten nun durchschlagen haben. Mit SWE-2 stellt das Team im aktuellen Forschungsbericht ein neues Spezialmodell für Software-Engineering vor, das laut Anbieter bis auf einen Prozentpunkt an die Leistung der teuersten Spitzenmodelle heranreicht - die Inferenzkosten jedoch um rund zwei Drittel senkt.
Das Fundament von SWE-2 ist kein von Grund auf neu trainiertes proprietäres System, sondern das offene Basismodell Kimi K3 von Moonshot AI mit 2,8 Billionen Parametern. Cognition setzte auf dieses Schwergewicht eine eigens entwickelte Reinforcement-Learning-Pipeline auf, die erstmals Modelle dieser Größenordnung über mehrere Denkaufwände hinweg gleichzeitig optimiert. Das Ergebnis steht ab sofort in der Devin Desktop-App und im Befehlszeilen-Tool (CLI) bereit; die Web- und Fusion-Oberflächen sollen in Kürze folgen.
Kompakter statt ausschweifend: Erster Code-Edit nach 18 Schritten
Die spürbarste Neuerung im Arbeitsalltag betrifft das Explorationsverhalten des Agenten. Beim Vorgänger SWE-1.7 hatten Nutzer häufig bemängelt, dass das Modell einfache Aufgaben überanalysierte, riesige Verzeichnisbäume scannte und sich in Detailprüfungen verlor. Nach Angaben von Cognition wurden diese Umwege bei SWE-2 drastisch reduziert: Eine gestärkte Ingenieurslogik ermögliche es dem Modell, irrelevante Code-Bereiche frühzeitig auszublenden.
Auf dem herstellereigenen Prüfstand FrontierCode 1.1 Main, der reale Pull-Requests und deren Akzeptanz durch menschliche Maintainer bewertet, benötigt die mittlere Stufe von SWE-2 im Schnitt 58 Prozent weniger Arbeitsschritte als SWE-1.7. Während der Vorgänger im Median 48 Schritte brauchte, um die erste Datei tatsächlich anzupassen, setzt SWE-2 die erste Codeänderung bereits nach 18 Schritten um. Die durchschnittlichen Kosten pro Durchlauf sanken dabei laut Cognition um 81 Prozent.
Zusätzlich habe der Agent bei der Absicherung zugelegt. Statt nur isolierte Korrekturen vorzunehmen, erstelle SWE-2 eigenständig End-to-End-Tests, um Seiteneffekte und Regressionen im Projekt abzufangen. Bei Blockaden zeige das Modell eine höhere Eigeninitiative: Konnte eine benötigte Schnittstelle nicht geladen werden, rekonstruierte der Agent in internen Tests die nötigen Kontextdaten kurzerhand aus der angebundenen Slack-Kommunikation.
Benchmarkergebnisse im Überblick
In den standardisierten Messungen positioniert Cognition sein neues Modell in direkter Schlagdistanz zu den aktuellen Marktführern, namentlich Anthropics Claude Fable 5.1 und OpenAIs Flaggschiff GPT-6 Astra, während es das kürzlich vorgestellte Grok 4.6 hinter sich lässt.
| Benchmark | SWE-2 | Kimi K3 (Basis) | Claude Fable 5.1 | GPT-6 Astra | Grok 4.6 | SWE-1.7 |
|---|---|---|---|---|---|---|
| FrontierCode 1.1 Main | 50,0 % | 44,2 % | 50,9 % | 53,3 % | 48,0 % | 42,0 % |
| DeepSWE 1.1 | 73,0 % | 68,5 % | 67,4 % | 74,1 % | 67,5 % | 37,7 % |
| Terminal-Bench 2.1 | 92,8 % | 88,3 % | 91,4 % | 89,9 % | 88,4 % | 81,5 % |
| Terminal-Bench 4 | 27,3 % | 21,5 % | 55,8 % | 57,9 % | 20,3 % | 7,6 % |
Die Zahlen zeigen zwei klare Trends: Auf spezialisierten Programmier-Benchmarks wie FrontierCode und DeepSWE schließt SWE-2 mit 50,0 Prozent beziehungsweise 73,0 Prozent nahezu zur Weltspitze auf. Im Vergleich zu Fable 5.1 (50,9 Prozent) operiere SWE-2 laut Cognition um 64 Prozent kostengünstiger, während GPT-6 Astra (53,3 Prozent) etwa das Vierfache pro Aufgabe koste.
Pareto-RL: Ein einzelner Trainingslauf für alle Denkaufwände
Die methodische Kernleistung hinter dem Effizienzsprung liegt im Trainingsverfahren. Bisherige Post-Training-Ansätze trainierten häufig separate Modelle für verschiedene Problemklassen oder Denkbudgets und fusionierten diese nachträglich. Cognition formulierte stattdessen eine Belohnungsfunktion, die den Inferenzpreis direkt als linearen Kostenabzug abbildet.
Die Trainings-Architektur von SWE-2
Linearer Kostenabzug im RL: Das Belohnungssignal berechnet sich aus dem Erfolg abzüglich einer skalierten Kostenstrafe für Rechenzeit und Dollar-Inferenz. Die Steigung ist exakt auf die Tangenten der Pareto-Kurve des Basismodells abgestimmt, wodurch alle Denk-Stufen (Medium, High, Max) in einem einzigen Trainingslauf optimiert werden.
Längengewichtete Belohnungs-Baseline: Um die Varianz der Gradienten ohne teure zusätzliche Rückwärtsdurchläufe zu stabilisieren, nutzt Cognition eine über die Tokenlänge gewichtete Baseline. Dies hält die Abweichung zwischen Inferenz- und Trainingspolitik gering.
DSpark-Spekulation mit Online-Lernen: Zur Beschleunigung der Ausrollung kommt spekulatives Decodieren zum Einsatz. Ein leichtgewichtiges Entwurfsmodell schlägt Tokenfolgen vor, die das Hauptmodell parallel verifiziert. Da sich die Hauptpolitik während des Trainings wandelt, wird das Entwurfsmodell online mittrainiert, was die Akzeptanzrate um 15 Prozent steigert.
Auf Hardware-Ebene vereinfachte das Team die numerische Darstellung. Ähnlich wie das neu veröffentlichte DeepSeek-V4.1-Flash setzt Cognition auf FP8-Kernel für die Multi-Head-Latent-Attention (MLA) bei Keys, Queries und Values, kombiniert mit NVFP4-Routinen. Dadurch konnte das 2,8-Billionen-Modell trotz fast dreifacher Parameterzahl gegenüber SWE-1.7 mit vergleichbarem Speicherdurchsatz betrieben werden.
Die Achillesferse: Schwächen bei komplexen Betriebssystem-Aufgaben
Trotz der eindrucksvollen Zahlen in reinen Software-Engineering-Disziplinen offenbart der Bericht eine markante Schwachstelle. Beim anspruchsvollen Terminal-Bench 4, der tiefe Eingriffe in Betriebssystem-Konfigurationen, Multi-Container-Orchestrierungen und verzwickte Netzwerkumgebungen abprüft, erreicht SWE-2 lediglich 27,3 Prozent.
Damit übertrifft das Modell zwar sein Basismodell Kimi K3 (21,5 Prozent) und Grok 4.6 (20,3 Prozent), liegt aber weit hinter den US-Schwergewichten Claude Fable 5.1 (55,8 Prozent) und GPT-6 Astra (57,9 Prozent). Wer einen autonomen Agenten für komplexe DevOps-Infrastrukturen oder undurchsichtige Systemadministration sucht, findet in SWE-2 somit noch keinen vollwertigen Ersatz für die großen Generalisten.
Aufgearbeitet hat Cognition zudem die Frage politischer Beeinflussung durch das chinesische Basismodell. In einem standardisierten Test mit 145 sensiblen Fragestellungen zu China, bewertet durch ein neutrales Schiedsrichter-Modell, beantwortete SWE-2 rund 98,0 Prozent aller Anfragen (im Englischen 99,8 Prozent), ohne offizielle PR-Narrative zu reproduzieren.
🎯 Was das für die Praxis bedeutet
1. Entwicklungsbudgets drastisch entlasten: Für Standardaufgaben im Programmieralltag - wie Bugfixing, Refactoring und Feature-Erweiterungen - liefert SWE-2 das Niveau führender Spitzenmodelle zu einem Drittel der bisherigen Inferenzkosten.
2. Weniger Wartezeit bei Agenten-Sitzungen: Da das Modell nach durchschnittlich 18 statt 48 Schritten zu schreiben beginnt, entfallen zeitraubende Leerläufe. Entwickler erhalten deutlich schneller funktionale Pull-Requests zur Durchsicht.
3. Keine Generalabsolution für DevOps: Bei vielschichtigen Infrastruktur-, Shell- und Systemadministrations-Aufgaben bleibt der Abstand zu Fable 5.1 und GPT-6 Astra eklatant. Hier sollten Teams weiterhin auf etablierte Frontier-Modelle setzen.
4. Anbieter-Lock-in bei Devin beachten: SWE-2 wird als exklusiver Modellkern innerhalb des Devin-Ökosystems bereitgestellt. Unternehmen können das System nicht als neutrale API in eigene Entwicklungsumgebungen einbinden, sondern sind an Devins Plattform gebunden.
