Wie eine KI den PC bedient
Klassische Automatisierung braucht eine Schnittstelle (API): Zwei Programme tauschen Daten direkt aus, ohne dass jemand klickt. Viele Programme im Mittelstand haben aber keine solche Schnittstelle – etwa ältere Warenwirtschaften, Branchensoftware oder Webportale von Lieferanten und Behörden.
Hier setzt Computer Use an. Der Ablauf ist immer gleich:
- Die KI bekommt ein Ziel, zum Beispiel „Trage die drei Rechnungen aus diesem Ordner ins Lieferantenportal ein“.
- Sie erhält ein Bildschirmfoto, erkennt Fenster, Felder und Knöpfe.
- Sie entscheidet über den nächsten Schritt: klicken, tippen, scrollen.
- Nach jedem Schritt kommt ein neues Bildschirmfoto. Die KI prüft, ob es geklappt hat, und macht weiter, bis das Ziel erreicht ist oder sie nicht weiterkommt.
Der Unterschied zur bekannten Robotic Process Automation (RPA): Ein RPA-Roboter folgt einem fest programmierten Klickpfad und bricht ab, sobald ein Knopf an anderer Stelle sitzt. Ein KI-Agent erkennt die Oberfläche jedes Mal neu und kann mit kleinen Änderungen umgehen. Dafür ist er langsamer und nicht immer gleich zuverlässig. Was ein KI-Agent allgemein ist, erklärt der Ratgeber KI-Agent erstellen.
| Weg | Wie er arbeitet | Stärke | Schwäche |
|---|---|---|---|
| Schnittstelle (API) | Programme tauschen Daten direkt aus | schnell, genau, günstig | nur wenn das Programm eine anbietet |
| Klassische RPA | fest programmierter Klickpfad | schnell, gleichbleibend | bricht bei jeder Änderung der Oberfläche |
| KI mit Computer Use | KI sieht den Bildschirm und entscheidet selbst | flexibel, auch ohne Schnittstelle | langsamer, Fehler möglich, Sicherheitsfragen |
Schnittstelle schlägt Bildschirm. Selbst Anthropic lässt seine KI in der Desktop-App zuerst angebundene Dienste nutzen, dann den Browser und erst ganz zuletzt die direkte Bildschirmsteuerung – laut Anthropic „langsamer und fehleranfälliger“. Computer Use ist die Lösung für Programme ohne Schnittstelle, nicht für alles.
Die Angebote im Herbst 2026
Alle großen KI-Anbieter haben inzwischen eine Bildschirmsteuerung. Die Angaben in der Tabelle stammen von den Herstellern selbst.
| Anbieter | Angebot | Stand | Kosten |
|---|---|---|---|
| Anthropic (Claude) | Computer-Use-Werkzeug für Entwickler; „Claude in Chrome“ für den Browser; Bildschirmsteuerung in der Desktop-App | Werkzeug allgemein verfügbar seit August 2026; Chrome-Erweiterung seit 26.08.2026 für alle bezahlten Tarife; Desktop-Steuerung noch Beta, nicht für Team/Enterprise | normaler Tokenpreis; jedes Bildschirmfoto rund 1.000–1.800 Eingabe-Tokens |
| Microsoft | Computer Use in Copilot Studio: Agent bedient Websites und Windows-Programme | laut Microsoft-Blog allgemein verfügbar seit Mai 2026 | 5 Copilot Credits je Schritt (15 mit Premium-Modell), grob 5 US-Cent |
| Computer Use in der Gemini API für Browser, Android und Desktop | allgemein verfügbar seit 30.10.2026; Project Mariner im Mai 2026 eingestellt | normaler Tokenpreis des Modells | |
| OpenAI | „ChatGPT agent“ mit eigenem virtuellem Rechner; Computer-Werkzeug in der API | Operator im August 2025 in ChatGPT agent aufgegangen; Verfügbarkeit in Deutschland nicht offiziell bestätigt | je nach ChatGPT-Tarif bzw. Tokenpreis |
| Open Source | z. B. UI-TARS (ByteDance), Agent S3, Browser Use | frei verfügbar, teils auf eigener Grafikkarte lauffähig | Lizenz frei, eigene Hardware und Einrichtung |
Daneben bauen die großen RPA-Anbieter KI-Agenten in ihre Plattformen ein. UiPath meldete im März 2026, sein „Screen Agent“ habe zeitweise Platz 1 im wichtigsten Test für Bildschirm-Agenten erreicht (Herstellerangabe).
Was heute gut gelingt
Der wichtigste Test heißt OSWorld: Hunderte echte Aufgaben unter Windows, Linux und im Browser. Menschen lösen davon 72,36 Prozent. Ende 2024 schafften die besten KI-Agenten noch rund 15 bis 22 Prozent. Im Herbst 2026 liegen die Spitzenwerte in der bereinigten Fassung laut Ranglisten-Auswertungen bei über 80 Prozent – also über dem Menschen.
Diese Aufgaben sind allerdings kurz: eine Tabelle formatieren, eine Einstellung ändern, eine Datei umbenennen. Praktisch heißt das: Gut klappen heute
- Formulare und Dateneingabe: Rechnungsdaten aus einem PDF in ein Webportal übertragen, Zeiterfassung ausfüllen, Stammdaten pflegen. Genau diese Beispiele nennt Microsoft.
- Programme ohne Schnittstelle: Daten aus einer alten Branchensoftware auslesen oder dort eintragen.
- Recherche im Browser: Preise, Öffnungszeiten, Ausschreibungen oder Firmendaten von mehreren Seiten zusammentragen.
- Softwaretests: eine Anwendung durchklicken und prüfen, ob alles funktioniert. Anthropic nennt das ausdrücklich als passendes Einsatzfeld.
Ein Beispiel aus der Praxis
Der US-Umzugsdienstleister Graebel nutzt laut Microsoft einen Agenten in Copilot Studio, der Auftrags-E-Mails liest, Regeln prüft und die Aufträge per Bildschirmsteuerung direkt in die hauseigene Plattform einträgt – ein System ohne Schnittstelle. Unsichere Fälle gehen an Mitarbeitende. Einsparzahlen hat das Unternehmen nicht veröffentlicht.
Wo es noch hakt
Seit Juni 2026 gibt es OSWorld 2.0 mit 108 langen, realistischen Arbeitsabläufen. Ein Mensch braucht dafür im Mittel rund 1,6 Stunden je Aufgabe. Das Ergebnis ist ernüchternd:
Bester Agent im Juni 202620,6 %der langen Abläufe komplett gelöst
Bester Agent im Herbst 2026rund 44–49 %komplett gelöst (teils Herstellerangabe)
Schritte je Aufgabe~318Werkzeugaufrufe im Schnitt, statt rund 30 bei kurzen Aufgaben
Achten Sie bei Werbeaussagen darauf: Hersteller nennen gern die höhere Zahl für teilweise gelöste Aufgaben. Für Ihren Betrieb zählt, ob der Ablauf am Ende vollständig und richtig erledigt ist.
- Tempo: In einer Studie (OSWorld-Human, 2025) brauchte ein Agent für das Ändern des Zeilenabstands zweier Absätze zwölf Minuten – ein Mensch unter 30 Sekunden. Die Modelle sind seither schneller geworden, langsamer als ein geübter Mensch sind sie meist trotzdem. Computer Use passt deshalb zu Aufgaben, die nebenbei laufen dürfen.
- Unerwartetes: Laut Microsoft stolpern Agenten über plötzliche Dialogfenster, geänderte Layouts, Ladezeiten, Auswahllisten und Datumswähler. Manchmal drehen sie sich im Kreis.
- Tabellen und Scrollen: Anthropic nennt komplexe Tabellenkalkulation, unzuverlässiges Scrollen und falsch getroffene Klickpositionen als bekannte Schwächen.
- Kosten: Jedes Bildschirmfoto kostet Rechenleistung. Ein langer Ablauf mit Hunderten Schritten wird schnell teurer als gedacht.
- Citrix, Fernzugriff, Spezialprogramme: Über virtualisierte Umgebungen sinkt die Erkennung; Passwortfelder in Citrix, Java- und manche Electron-Programme unterstützt Copilot Studio laut Microsoft teils nicht.
Auch die Messung ist nicht perfekt: Eine Studie vom Juli 2026 prüfte 150 als „gescheitert“ bewertete Agenten-Läufe aus fünf Tests. Rund 15 Prozent dieser Urteile waren falsch – die Agenten hatten einen anderen, ebenfalls richtigen Weg gefunden. Die häufigste echte Fehlerursache war fehlende Planung und Selbstkontrolle, nicht das Klicken.
„Lokal“ – was heißt das eigentlich?
„Die KI arbeitet auf Ihrem Rechner“ klingt nach „die Daten bleiben im Haus“. Das stimmt meist nicht. Es gibt drei Varianten:
| Variante | Wo geklickt wird | Wohin die Bildschirmfotos gehen | Leistung |
|---|---|---|---|
| Cloud-KI steuert Ihren PC | auf Ihrem Rechner | zum KI-Anbieter, oft in die USA | sehr hoch |
| Virtueller Rechner beim Anbieter | in einer Umgebung beim Anbieter | bleiben beim Anbieter, dort liegen auch Ihre Logins | sehr hoch |
| Offenes Modell auf eigener Grafikkarte | auf Ihrem Rechner | nirgendwohin | deutlich schwächer, z. B. UI-TARS-1.5-7B: 27,5 % in OSWorld |
Anthropic schreibt selbst: Die KI kann alles sehen, was auf dem Bildschirm oder in den freigegebenen Programmen sichtbar ist – auch Daten Dritter. Wer einen Cloud-Agenten auf Bildschirme mit Kunden- oder Personaldaten lässt, überträgt personenbezogene Daten an einen Auftragsverarbeiter. Das braucht einen Auftragsverarbeitungsvertrag und eine Prüfung der Übermittlung in Drittländer. Was Sie dazu wissen müssen, steht im Ratgeber AVV für KI-Tools.
Sicherheit und Recht
Das Kernproblem: versteckte Anweisungen
Ein Agent liest alles, was er sieht – auch Text, den ein Angreifer auf einer Webseite, in einer E-Mail oder in einem PDF versteckt hat. Diese Technik heißt Prompt Injection. Ein bekanntes Beispiel: Der Browser-Hersteller Brave zeigte im August 2025, wie ein versteckter Kommentar auf Reddit den KI-Browser Comet dazu brachte, beim „Zusammenfassen“ die E-Mail-Adresse des Nutzers und einen Einmal-Code aus dessen Postfach auszulesen und weiterzugeben.
OpenAI hat im Dezember 2025 eingeräumt, dass sich Prompt Injection – ähnlich wie Betrug im Netz – wohl nie vollständig lösen lässt. Anthropic meldet für seine neuesten Modelle mit zusätzlichen Schutzfiltern sehr niedrige Erfolgsquoten von Angriffen im Test, betont aber, dass das Risiko nicht null ist (Herstellerangabe).
Was die Hersteller übereinstimmend empfehlen
- Den Agenten in einer eigenen virtuellen Maschine oder auf einem eigenen Rechner mit wenig Rechten arbeiten lassen.
- Keine Passwörter und sensiblen Daten offen zeigen; Bank-, Gesundheits- und Behördenprogramme nicht freigeben.
- Eine Liste erlaubter Websites und Programme festlegen.
- Vor folgenreichen Schritten eine Freigabe durch einen Menschen: Zahlungen, Bestellungen, AGB, Versand von Daten, Löschen.
- Schritt-, Zeit- und Kostenlimits setzen und das Ergebnis prüfen, statt der Erfolgsmeldung des Agenten zu glauben.
Rechtlicher Rahmen
Die Verantwortung für das, was der Agent tut, bleibt bei Ihnen – das steht so auch in den Nutzungsbedingungen der Anbieter. Microsoft rät ausdrücklich davon ab, Computer Use für Finanztransaktionen oder sensible Bewertungen etwa von Personal einzusetzen. Ein Agent, der nur intern Daten überträgt, ist nach der EU-KI-Verordnung in der Regel kein Hochrisiko-System. Das hängt aber vom Zweck ab: Wählt er Bewerber aus, gelten nach dem Aufschub durch den „AI Omnibus“ ab dem 02.12.2027 die besonderen Pflichten. Spricht ein Agent nach außen mit Menschen, gelten seit dem 02.08.2026 die Transparenzpflichten aus Art. 50 – mehr dazu im Ratgeber zur KI-Kennzeichnungspflicht.
So starten Sie sinnvoll
- Erst nach einer Schnittstelle suchen. Gibt es eine, ist sie fast immer die bessere Wahl.
- Einen kurzen, häufigen Ablauf wählen, der heute stumpfe Handarbeit kostet – zum Beispiel „Rechnung aus dem Lieferantenportal holen und ablegen“.
- Den Ablauf einmal sauber beschreiben oder vormachen: Was ist das Ziel, was darf der Agent nie, wann gibt er ab?
- In einer abgeschotteten Umgebung testen, mit Testdaten statt echter Kundendaten.
- Freigabe einbauen, bevor etwas gesendet, gebucht oder gelöscht wird.
- Zeit und Kosten je Durchlauf messen. Erst ausweiten, wenn der Ablauf zuverlässig läuft.
Unser Pilot: GrisaKI Auto Flow
Wir arbeiten selbst an einem solchen Agenten und testen ihn derzeit im Pilotbetrieb. Die Idee hinter GrisaKI Auto Flow: Sie machen einen Ablauf am Rechner einmal vor, der Agent schaut zu, fragt nach, wo etwas unklar ist, merkt sich den Weg und wiederholt ihn später – im Browser und in Windows-Programmen.
- Freigabe vor dem Ausführen: Der Agent zeigt, was er vorhat, und legt erst nach Ihrer Freigabe los. Ein Not-Aus stoppt ihn jederzeit.
- Nichts einrichten: Ziel ist, dass Kunden keine Schlüssel, Server oder Einstellungen verwalten müssen.
- Ehrlicher Stand: Auto Flow ist ein Pilot, kein fertiges Produkt. Wir sagen Ihnen gern, für welche Ihrer Abläufe sich das heute schon lohnen könnte – und für welche eine Schnittstelle oder ein fester Ablauf besser passt.
Häufige Fragen
Was ist Computer Use bei KI?
Computer Use bedeutet, dass eine KI einen Rechner wie ein Mensch bedient. Sie bekommt Bildschirmfotos, erkennt Fenster und Knöpfe und führt Klicks und Tastatureingaben aus, bis eine Aufgabe erledigt ist. So lassen sich auch Programme ohne Schnittstelle automatisieren.
Welche Anbieter gibt es für KI, die den PC steuert?
Anthropic bietet Computer Use für Claude, Microsoft in Copilot Studio, Google in der Gemini API und OpenAI mit ChatGPT agent. Dazu kommen offene Modelle wie UI-TARS oder Agent S3. Anthropic, Microsoft und Google haben die Funktion 2026 allgemein verfügbar gemacht.
Wie zuverlässig ist KI bei der Bedienung des Computers?
Kurze, klar beschriebene Aufgaben lösen die besten Systeme im Test inzwischen häufiger als Menschen. Bei langen Arbeitsabläufen von mehr als einer Stunde gelingt im Herbst 2026 aber nur knapp jeder zweite Durchlauf vollständig. Ein Mensch sollte das Ergebnis deshalb prüfen.
Ist Computer Use dasselbe wie RPA?
Nein. Ein RPA-Roboter folgt einem fest programmierten Klickpfad und bricht bei Änderungen der Oberfläche ab. Ein KI-Agent erkennt den Bildschirm jedes Mal neu und kann mit Abweichungen umgehen, ist dafür aber langsamer und nicht immer gleich zuverlässig.
Bleiben meine Daten lokal, wenn die KI meinen PC steuert?
Meist nicht. Bei den meisten Angeboten werden die Bildschirmfotos zum KI-Anbieter geschickt und dort ausgewertet. Wirklich lokal arbeiten nur offene Modelle auf eigener Hardware, die aber deutlich schwächer sind. Für personenbezogene Daten brauchen Sie einen Auftragsverarbeitungsvertrag.
Wie sicher ist es, einer KI den eigenen Rechner zu überlassen?
Das größte Risiko sind versteckte Anweisungen auf Webseiten oder in Dokumenten, die den Agenten umlenken. Die Hersteller empfehlen eine eigene virtuelle Maschine, wenige Rechte, eine Liste erlaubter Programme und eine Freigabe durch einen Menschen vor wichtigen Schritten.
Über den Autor
Sandro Griesing
Gründer von GrisaKI und Geschäftsführer der new face Media GmbH in Sangerhausen
Sandro Griesing hat über zehn Jahre Erfahrung in der Betreuung mittelständischer Unternehmen – in Softwareentwicklung, Unternehmensberatung und Unternehmensentwicklung. Mit GrisaKI hat er eine intuitive SaaS-Software entwickelt, mit der Unternehmen ihre Prozesse einfach und schnell automatisieren.
Mehr über GrisaKIQuellen
- Anthropic: Computer use tool (Dokumentation), abgerufen am 07.11.2026
- Anthropic: Claude in Chrome is generally available, abgerufen am 07.11.2026
- Anthropic Help Center: Let Claude use your computer in Cowork, abgerufen am 07.11.2026
- Microsoft Learn: Computer use in Copilot Studio, abgerufen am 07.11.2026
- Microsoft Learn: FAQ for computer use, abgerufen am 07.11.2026
- Microsoft Tech Community: Computer-using agents in Copilot Studio are now generally available, abgerufen am 07.11.2026
- Microsoft: Agent Transformation Story Graebel, abgerufen am 07.11.2026
- Google AI Studio: Computer Use (Gemini API), abgerufen am 07.11.2026
- OpenAI: Computer use guide, abgerufen am 07.11.2026
- OSWorld: Projektseite und Vergleichswert Mensch, abgerufen am 07.11.2026
- arXiv: OSWorld 2.0, abgerufen am 07.11.2026
- arXiv: OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents, abgerufen am 07.11.2026
- arXiv: How Benchmarks Mis-Score Computer-Use Agents, abgerufen am 07.11.2026
- Hugging Face: UI-TARS-1.5-7B, abgerufen am 07.11.2026
- Brave: Agentic Browser Security: Indirect Prompt Injection in Perplexity Comet, abgerufen am 07.11.2026
- TechCrunch: OpenAI says AI browsers may always be vulnerable to prompt injection attacks, abgerufen am 07.11.2026
- UiPath: Ergebnisse Geschäftsjahr 2026, abgerufen am 07.11.2026
Stand der Angaben: 07.11.2026. Herstellerangaben sind als solche gekennzeichnet und nicht unabhängig geprüft. Benchmark-Werte stammen teils aus Ranglisten-Auswertungen. Keine Rechtsberatung.