RatgeberAutomatisierung

KI steuert den PC: Was „Computer Use“ heute schon kann – und wo es noch hakt

KI-Agenten können inzwischen Maus und Tastatur selbst bedienen: Formulare ausfüllen, Daten aus alten Programmen holen, im Browser recherchieren. Kurze, klar beschriebene Aufgaben erledigen die besten Systeme im Test inzwischen häufiger als Menschen. Bei langen Arbeitsabläufen gelingt aber nur rund jeder zweite Durchlauf vollständig. Dieser Beitrag zeigt den Stand im Herbst 2026, die Anbieter, die Grenzen und worauf Sie beim Einsatz achten müssen.

Sandro Griesing · Gründer GrisaKI · veröffentlicht · aktualisiert · 13 Min. Lesezeit

Das Wichtigste in 30 Sekunden

  • Was es ist: Die KI sieht Bildschirmfotos, entscheidet über den nächsten Klick oder Tastendruck und führt ihn aus – Schritt für Schritt, wie ein Mensch am Rechner.
  • Marktreif: Anthropic (August 2026), Microsoft Copilot Studio (Mai 2026) und Google Gemini (Oktober 2026) bieten die Bildschirmsteuerung inzwischen allgemein verfügbar an.
  • Gut: Formulare, Dateneingabe, Daten aus Programmen ohne Schnittstelle holen, Recherche im Browser. Schwach: lange Abläufe, unerwartete Fenster, Tempo.
  • Größtes Risiko: versteckte Anweisungen auf Webseiten oder in Dokumenten („Prompt Injection“). Deshalb eigene Umgebung, wenig Rechte und Freigabe vor wichtigen Schritten.

Wie eine KI den PC bedient

Klassische Automatisierung braucht eine Schnittstelle (API): Zwei Programme tauschen Daten direkt aus, ohne dass jemand klickt. Viele Programme im Mittelstand haben aber keine solche Schnittstelle – etwa ältere Warenwirtschaften, Branchensoftware oder Webportale von Lieferanten und Behörden.

Hier setzt Computer Use an. Der Ablauf ist immer gleich:

  1. Die KI bekommt ein Ziel, zum Beispiel „Trage die drei Rechnungen aus diesem Ordner ins Lieferantenportal ein“.
  2. Sie erhält ein Bildschirmfoto, erkennt Fenster, Felder und Knöpfe.
  3. Sie entscheidet über den nächsten Schritt: klicken, tippen, scrollen.
  4. Nach jedem Schritt kommt ein neues Bildschirmfoto. Die KI prüft, ob es geklappt hat, und macht weiter, bis das Ziel erreicht ist oder sie nicht weiterkommt.

Der Unterschied zur bekannten Robotic Process Automation (RPA): Ein RPA-Roboter folgt einem fest programmierten Klickpfad und bricht ab, sobald ein Knopf an anderer Stelle sitzt. Ein KI-Agent erkennt die Oberfläche jedes Mal neu und kann mit kleinen Änderungen umgehen. Dafür ist er langsamer und nicht immer gleich zuverlässig. Was ein KI-Agent allgemein ist, erklärt der Ratgeber KI-Agent erstellen.

WegWie er arbeitetStärkeSchwäche
Schnittstelle (API)Programme tauschen Daten direkt ausschnell, genau, günstignur wenn das Programm eine anbietet
Klassische RPAfest programmierter Klickpfadschnell, gleichbleibendbricht bei jeder Änderung der Oberfläche
KI mit Computer UseKI sieht den Bildschirm und entscheidet selbstflexibel, auch ohne Schnittstellelangsamer, Fehler möglich, Sicherheitsfragen
Eigene Einordnung, Stand 07.11.2026.

Schnittstelle schlägt Bildschirm. Selbst Anthropic lässt seine KI in der Desktop-App zuerst angebundene Dienste nutzen, dann den Browser und erst ganz zuletzt die direkte Bildschirmsteuerung – laut Anthropic „langsamer und fehleranfälliger“. Computer Use ist die Lösung für Programme ohne Schnittstelle, nicht für alles.

Die Angebote im Herbst 2026

Alle großen KI-Anbieter haben inzwischen eine Bildschirmsteuerung. Die Angaben in der Tabelle stammen von den Herstellern selbst.

AnbieterAngebotStandKosten
Anthropic (Claude)Computer-Use-Werkzeug für Entwickler; „Claude in Chrome“ für den Browser; Bildschirmsteuerung in der Desktop-AppWerkzeug allgemein verfügbar seit August 2026; Chrome-Erweiterung seit 26.08.2026 für alle bezahlten Tarife; Desktop-Steuerung noch Beta, nicht für Team/Enterprisenormaler Tokenpreis; jedes Bildschirmfoto rund 1.000–1.800 Eingabe-Tokens
MicrosoftComputer Use in Copilot Studio: Agent bedient Websites und Windows-Programmelaut Microsoft-Blog allgemein verfügbar seit Mai 20265 Copilot Credits je Schritt (15 mit Premium-Modell), grob 5 US-Cent
GoogleComputer Use in der Gemini API für Browser, Android und Desktopallgemein verfügbar seit 30.10.2026; Project Mariner im Mai 2026 eingestelltnormaler Tokenpreis des Modells
OpenAI„ChatGPT agent“ mit eigenem virtuellem Rechner; Computer-Werkzeug in der APIOperator im August 2025 in ChatGPT agent aufgegangen; Verfügbarkeit in Deutschland nicht offiziell bestätigtje nach ChatGPT-Tarif bzw. Tokenpreis
Open Sourcez. B. UI-TARS (ByteDance), Agent S3, Browser Usefrei verfügbar, teils auf eigener Grafikkarte lauffähigLizenz frei, eigene Hardware und Einrichtung
Quellen: Anthropic, Microsoft Learn, Google AI Studio, OpenAI-Entwicklerdoku, Hugging Face; abgerufen am 07.11.2026. Herstellerangaben, nicht unabhängig geprüft.

Daneben bauen die großen RPA-Anbieter KI-Agenten in ihre Plattformen ein. UiPath meldete im März 2026, sein „Screen Agent“ habe zeitweise Platz 1 im wichtigsten Test für Bildschirm-Agenten erreicht (Herstellerangabe).

Was heute gut gelingt

Der wichtigste Test heißt OSWorld: Hunderte echte Aufgaben unter Windows, Linux und im Browser. Menschen lösen davon 72,36 Prozent. Ende 2024 schafften die besten KI-Agenten noch rund 15 bis 22 Prozent. Im Herbst 2026 liegen die Spitzenwerte in der bereinigten Fassung laut Ranglisten-Auswertungen bei über 80 Prozent – also über dem Menschen.

Diese Aufgaben sind allerdings kurz: eine Tabelle formatieren, eine Einstellung ändern, eine Datei umbenennen. Praktisch heißt das: Gut klappen heute

  • Formulare und Dateneingabe: Rechnungsdaten aus einem PDF in ein Webportal übertragen, Zeiterfassung ausfüllen, Stammdaten pflegen. Genau diese Beispiele nennt Microsoft.
  • Programme ohne Schnittstelle: Daten aus einer alten Branchensoftware auslesen oder dort eintragen.
  • Recherche im Browser: Preise, Öffnungszeiten, Ausschreibungen oder Firmendaten von mehreren Seiten zusammentragen.
  • Softwaretests: eine Anwendung durchklicken und prüfen, ob alles funktioniert. Anthropic nennt das ausdrücklich als passendes Einsatzfeld.

Ein Beispiel aus der Praxis

Der US-Umzugsdienstleister Graebel nutzt laut Microsoft einen Agenten in Copilot Studio, der Auftrags-E-Mails liest, Regeln prüft und die Aufträge per Bildschirmsteuerung direkt in die hauseigene Plattform einträgt – ein System ohne Schnittstelle. Unsichere Fälle gehen an Mitarbeitende. Einsparzahlen hat das Unternehmen nicht veröffentlicht.

Wo es noch hakt

Seit Juni 2026 gibt es OSWorld 2.0 mit 108 langen, realistischen Arbeitsabläufen. Ein Mensch braucht dafür im Mittel rund 1,6 Stunden je Aufgabe. Das Ergebnis ist ernüchternd:

Bester Agent im Juni 202620,6 %der langen Abläufe komplett gelöst

Bester Agent im Herbst 2026rund 44–49 %komplett gelöst (teils Herstellerangabe)

Schritte je Aufgabe~318Werkzeugaufrufe im Schnitt, statt rund 30 bei kurzen Aufgaben

Achten Sie bei Werbeaussagen darauf: Hersteller nennen gern die höhere Zahl für teilweise gelöste Aufgaben. Für Ihren Betrieb zählt, ob der Ablauf am Ende vollständig und richtig erledigt ist.

  • Tempo: In einer Studie (OSWorld-Human, 2025) brauchte ein Agent für das Ändern des Zeilenabstands zweier Absätze zwölf Minuten – ein Mensch unter 30 Sekunden. Die Modelle sind seither schneller geworden, langsamer als ein geübter Mensch sind sie meist trotzdem. Computer Use passt deshalb zu Aufgaben, die nebenbei laufen dürfen.
  • Unerwartetes: Laut Microsoft stolpern Agenten über plötzliche Dialogfenster, geänderte Layouts, Ladezeiten, Auswahllisten und Datumswähler. Manchmal drehen sie sich im Kreis.
  • Tabellen und Scrollen: Anthropic nennt komplexe Tabellenkalkulation, unzuverlässiges Scrollen und falsch getroffene Klickpositionen als bekannte Schwächen.
  • Kosten: Jedes Bildschirmfoto kostet Rechenleistung. Ein langer Ablauf mit Hunderten Schritten wird schnell teurer als gedacht.
  • Citrix, Fernzugriff, Spezialprogramme: Über virtualisierte Umgebungen sinkt die Erkennung; Passwortfelder in Citrix, Java- und manche Electron-Programme unterstützt Copilot Studio laut Microsoft teils nicht.

Auch die Messung ist nicht perfekt: Eine Studie vom Juli 2026 prüfte 150 als „gescheitert“ bewertete Agenten-Läufe aus fünf Tests. Rund 15 Prozent dieser Urteile waren falsch – die Agenten hatten einen anderen, ebenfalls richtigen Weg gefunden. Die häufigste echte Fehlerursache war fehlende Planung und Selbstkontrolle, nicht das Klicken.

„Lokal“ – was heißt das eigentlich?

„Die KI arbeitet auf Ihrem Rechner“ klingt nach „die Daten bleiben im Haus“. Das stimmt meist nicht. Es gibt drei Varianten:

VarianteWo geklickt wirdWohin die Bildschirmfotos gehenLeistung
Cloud-KI steuert Ihren PCauf Ihrem Rechnerzum KI-Anbieter, oft in die USAsehr hoch
Virtueller Rechner beim Anbieterin einer Umgebung beim Anbieterbleiben beim Anbieter, dort liegen auch Ihre Loginssehr hoch
Offenes Modell auf eigener Grafikkarteauf Ihrem Rechnernirgendwohindeutlich schwächer, z. B. UI-TARS-1.5-7B: 27,5 % in OSWorld
Quellen: Anthropic Help Center, OpenAI-Entwicklerdoku, Hugging Face (UI-TARS); abgerufen am 07.11.2026.

Anthropic schreibt selbst: Die KI kann alles sehen, was auf dem Bildschirm oder in den freigegebenen Programmen sichtbar ist – auch Daten Dritter. Wer einen Cloud-Agenten auf Bildschirme mit Kunden- oder Personaldaten lässt, überträgt personenbezogene Daten an einen Auftragsverarbeiter. Das braucht einen Auftragsverarbeitungsvertrag und eine Prüfung der Übermittlung in Drittländer. Was Sie dazu wissen müssen, steht im Ratgeber AVV für KI-Tools.

Sicherheit und Recht

Das Kernproblem: versteckte Anweisungen

Ein Agent liest alles, was er sieht – auch Text, den ein Angreifer auf einer Webseite, in einer E-Mail oder in einem PDF versteckt hat. Diese Technik heißt Prompt Injection. Ein bekanntes Beispiel: Der Browser-Hersteller Brave zeigte im August 2025, wie ein versteckter Kommentar auf Reddit den KI-Browser Comet dazu brachte, beim „Zusammenfassen“ die E-Mail-Adresse des Nutzers und einen Einmal-Code aus dessen Postfach auszulesen und weiterzugeben.

OpenAI hat im Dezember 2025 eingeräumt, dass sich Prompt Injection – ähnlich wie Betrug im Netz – wohl nie vollständig lösen lässt. Anthropic meldet für seine neuesten Modelle mit zusätzlichen Schutzfiltern sehr niedrige Erfolgsquoten von Angriffen im Test, betont aber, dass das Risiko nicht null ist (Herstellerangabe).

Was die Hersteller übereinstimmend empfehlen

  • Den Agenten in einer eigenen virtuellen Maschine oder auf einem eigenen Rechner mit wenig Rechten arbeiten lassen.
  • Keine Passwörter und sensiblen Daten offen zeigen; Bank-, Gesundheits- und Behördenprogramme nicht freigeben.
  • Eine Liste erlaubter Websites und Programme festlegen.
  • Vor folgenreichen Schritten eine Freigabe durch einen Menschen: Zahlungen, Bestellungen, AGB, Versand von Daten, Löschen.
  • Schritt-, Zeit- und Kostenlimits setzen und das Ergebnis prüfen, statt der Erfolgsmeldung des Agenten zu glauben.

Rechtlicher Rahmen

Die Verantwortung für das, was der Agent tut, bleibt bei Ihnen – das steht so auch in den Nutzungsbedingungen der Anbieter. Microsoft rät ausdrücklich davon ab, Computer Use für Finanztransaktionen oder sensible Bewertungen etwa von Personal einzusetzen. Ein Agent, der nur intern Daten überträgt, ist nach der EU-KI-Verordnung in der Regel kein Hochrisiko-System. Das hängt aber vom Zweck ab: Wählt er Bewerber aus, gelten nach dem Aufschub durch den „AI Omnibus“ ab dem 02.12.2027 die besonderen Pflichten. Spricht ein Agent nach außen mit Menschen, gelten seit dem 02.08.2026 die Transparenzpflichten aus Art. 50 – mehr dazu im Ratgeber zur KI-Kennzeichnungspflicht.

So starten Sie sinnvoll

  • Erst nach einer Schnittstelle suchen. Gibt es eine, ist sie fast immer die bessere Wahl.
  • Einen kurzen, häufigen Ablauf wählen, der heute stumpfe Handarbeit kostet – zum Beispiel „Rechnung aus dem Lieferantenportal holen und ablegen“.
  • Den Ablauf einmal sauber beschreiben oder vormachen: Was ist das Ziel, was darf der Agent nie, wann gibt er ab?
  • In einer abgeschotteten Umgebung testen, mit Testdaten statt echter Kundendaten.
  • Freigabe einbauen, bevor etwas gesendet, gebucht oder gelöscht wird.
  • Zeit und Kosten je Durchlauf messen. Erst ausweiten, wenn der Ablauf zuverlässig läuft.

Unser Pilot: GrisaKI Auto Flow

Wir arbeiten selbst an einem solchen Agenten und testen ihn derzeit im Pilotbetrieb. Die Idee hinter GrisaKI Auto Flow: Sie machen einen Ablauf am Rechner einmal vor, der Agent schaut zu, fragt nach, wo etwas unklar ist, merkt sich den Weg und wiederholt ihn später – im Browser und in Windows-Programmen.

  • Freigabe vor dem Ausführen: Der Agent zeigt, was er vorhat, und legt erst nach Ihrer Freigabe los. Ein Not-Aus stoppt ihn jederzeit.
  • Nichts einrichten: Ziel ist, dass Kunden keine Schlüssel, Server oder Einstellungen verwalten müssen.
  • Ehrlicher Stand: Auto Flow ist ein Pilot, kein fertiges Produkt. Wir sagen Ihnen gern, für welche Ihrer Abläufe sich das heute schon lohnen könnte – und für welche eine Schnittstelle oder ein fester Ablauf besser passt.

Häufige Fragen

Was ist Computer Use bei KI?

Computer Use bedeutet, dass eine KI einen Rechner wie ein Mensch bedient. Sie bekommt Bildschirmfotos, erkennt Fenster und Knöpfe und führt Klicks und Tastatureingaben aus, bis eine Aufgabe erledigt ist. So lassen sich auch Programme ohne Schnittstelle automatisieren.

Welche Anbieter gibt es für KI, die den PC steuert?

Anthropic bietet Computer Use für Claude, Microsoft in Copilot Studio, Google in der Gemini API und OpenAI mit ChatGPT agent. Dazu kommen offene Modelle wie UI-TARS oder Agent S3. Anthropic, Microsoft und Google haben die Funktion 2026 allgemein verfügbar gemacht.

Wie zuverlässig ist KI bei der Bedienung des Computers?

Kurze, klar beschriebene Aufgaben lösen die besten Systeme im Test inzwischen häufiger als Menschen. Bei langen Arbeitsabläufen von mehr als einer Stunde gelingt im Herbst 2026 aber nur knapp jeder zweite Durchlauf vollständig. Ein Mensch sollte das Ergebnis deshalb prüfen.

Ist Computer Use dasselbe wie RPA?

Nein. Ein RPA-Roboter folgt einem fest programmierten Klickpfad und bricht bei Änderungen der Oberfläche ab. Ein KI-Agent erkennt den Bildschirm jedes Mal neu und kann mit Abweichungen umgehen, ist dafür aber langsamer und nicht immer gleich zuverlässig.

Bleiben meine Daten lokal, wenn die KI meinen PC steuert?

Meist nicht. Bei den meisten Angeboten werden die Bildschirmfotos zum KI-Anbieter geschickt und dort ausgewertet. Wirklich lokal arbeiten nur offene Modelle auf eigener Hardware, die aber deutlich schwächer sind. Für personenbezogene Daten brauchen Sie einen Auftragsverarbeitungsvertrag.

Wie sicher ist es, einer KI den eigenen Rechner zu überlassen?

Das größte Risiko sind versteckte Anweisungen auf Webseiten oder in Dokumenten, die den Agenten umlenken. Die Hersteller empfehlen eine eigene virtuelle Maschine, wenige Rechte, eine Liste erlaubter Programme und eine Freigabe durch einen Menschen vor wichtigen Schritten.

Über den Autor

Sandro Griesing

Gründer von GrisaKI und Geschäftsführer der new face Media GmbH in Sangerhausen

Sandro Griesing hat über zehn Jahre Erfahrung in der Betreuung mittelständischer Unternehmen – in Softwareentwicklung, Unternehmensberatung und Unternehmensentwicklung. Mit GrisaKI hat er eine intuitive SaaS-Software entwickelt, mit der Unternehmen ihre Prozesse einfach und schnell automatisieren.

Mehr über GrisaKI

Quellen

  1. Anthropic: Computer use tool (Dokumentation), abgerufen am 07.11.2026
  2. Anthropic: Claude in Chrome is generally available, abgerufen am 07.11.2026
  3. Anthropic Help Center: Let Claude use your computer in Cowork, abgerufen am 07.11.2026
  4. Microsoft Learn: Computer use in Copilot Studio, abgerufen am 07.11.2026
  5. Microsoft Learn: FAQ for computer use, abgerufen am 07.11.2026
  6. Microsoft Tech Community: Computer-using agents in Copilot Studio are now generally available, abgerufen am 07.11.2026
  7. Microsoft: Agent Transformation Story Graebel, abgerufen am 07.11.2026
  8. Google AI Studio: Computer Use (Gemini API), abgerufen am 07.11.2026
  9. OpenAI: Computer use guide, abgerufen am 07.11.2026
  10. OSWorld: Projektseite und Vergleichswert Mensch, abgerufen am 07.11.2026
  11. arXiv: OSWorld 2.0, abgerufen am 07.11.2026
  12. arXiv: OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents, abgerufen am 07.11.2026
  13. arXiv: How Benchmarks Mis-Score Computer-Use Agents, abgerufen am 07.11.2026
  14. Hugging Face: UI-TARS-1.5-7B, abgerufen am 07.11.2026
  15. Brave: Agentic Browser Security: Indirect Prompt Injection in Perplexity Comet, abgerufen am 07.11.2026
  16. TechCrunch: OpenAI says AI browsers may always be vulnerable to prompt injection attacks, abgerufen am 07.11.2026
  17. UiPath: Ergebnisse Geschäftsjahr 2026, abgerufen am 07.11.2026

Stand der Angaben: 07.11.2026. Herstellerangaben sind als solche gekennzeichnet und nicht unabhängig geprüft. Benchmark-Werte stammen teils aus Ranglisten-Auswertungen. Keine Rechtsberatung.