Unsere Einordnung

Codex kann jetzt deinen Mac bedienen

OpenAI hat Codex um eine Fähigkeit erweitert, die das Arbeiten mit KI grundlegend verändert: Computer Use. Statt nur Code zu generieren oder Texte zu schreiben, interagiert Codex jetzt direkt mit lokalen Anwendungen auf dem Mac — es klickt Buttons, tippt in Textfelder und navigiert durch Menüs. Ari Weinstein, der das Feature bei OpenAI verantwortet, führt in diesem Video durch die wichtigsten Funktionen.

Wie funktioniert Computer Use?

Codex nutzt zwei Informationsquellen, um mit Apps zu arbeiten: Screenshots und Accessibility-Daten. Über Screenshots sieht der Agent, was auf dem Bildschirm passiert. Die Accessibility-Daten — eigentlich für Screenreader gedacht — liefern strukturierte Informationen über Buttons, Menüs und Eingabefelder. Zusammen ergibt das ein erstaunlich präzises Bild der Benutzeroberfläche.

Das Besondere: Die Arbeit läuft im Hintergrund. Codex operiert in einer separaten Sitzung, ohne den eigenen Mac zu blockieren. Man kann weiterarbeiten, während der Agent parallel Aufgaben erledigt.

Mehrere Apps, ein Workflow

In der Demo zeigt Weinstein, wie Codex app-übergreifend arbeitet: Daten aus einer Tabellenkalkulation in Numbers auslesen, in Xcode ein Projekt analysieren, eine Design-Datei in Figma bearbeiten — alles in einem Durchlauf. Bisher war das nur über APIs und spezialisierte Integrationen möglich. Computer Use macht jede App zugänglich, die auf dem Mac läuft.

Berechtigungen und Kontrolle

OpenAI hat ein App-spezifisches Berechtigungssystem eingebaut. Nutzer entscheiden für jede Anwendung einzeln, ob Codex darauf zugreifen darf. Das ist kein unwichtiges Detail: Wenn ein KI-Agent beliebig Fenster öffnen und Eingaben machen kann, braucht es klare Grenzen. In der aktuellen Version muss der Nutzer den Zugriff für jede App explizit freigeben.

Warum das wichtig ist

Computer Use schließt eine Lücke, die KI-Assistenten bisher hatten: den Zugang zur grafischen Benutzeroberfläche. Viele Alltagsaufgaben — ein Spreadsheet aktualisieren, eine Präsentation formatieren, ein Design anpassen — laufen über GUI-Interaktionen, für die es keine API gibt. Codex kann diese Aufgaben jetzt übernehmen, ohne dass der Nutzer Workflows programmieren muss.

Aktuell ist Computer Use auf den Mac beschränkt. Eine Windows-Version soll laut OpenAI zeitnah folgen.