Wenn KI nicht mehr nur antwortet, sondern handelt – Was darf die KI?

Erst vorletzte Woche habe ich in meinem netzversteher-Blog darüber geschrieben, warum inzwischen selbst führende Entwickler Künstlicher Intelligenz über stärkere Kontrollen, Sicherheitsgrenzen und möglicherweise sogar eine Verlangsamung der Entwicklung diskutieren. Dabei ging es auch um eine Entwicklung, die aus meiner Sicht für die kommenden Jahre entscheidend sein wird: KI beantwortet nicht mehr nur Fragen, sondern beginnt zunehmend, selbstständig Aufgaben zu übernehmen und eigene Wege zur Lösung eines Problems zu finden.

Genau deshalb lohnt sich ein zweiter Blick auf dieses Thema. Denn die entscheidende Frage rund um Künstliche Intelligenz verschiebt sich gerade. Lange haben wir darüber diskutiert, ob ChatGPT und andere Systeme richtige oder falsche Antworten geben, ob sie halluzinieren und welche Informationen wir ihnen anvertrauen dürfen. Mit sogenannten KI-Agenten kommt nun eine völlig neue Dimension hinzu. Die Frage lautet nicht mehr nur: Was sagt die KI? Sondern: Was tut sie – und wer entscheidet darüber, was sie tun darf?

Wenn 700 KI-Agenten plötzlich zusammenarbeiten

Ein besonders eindrucksvolles Beispiel schilderte der US-Professor Ethan Mollick Ende August. In einem Sicherheitstest sollten zahlreiche KI-Agenten unabhängig voneinander Aufgaben lösen. Eigentlich waren die Systeme voneinander getrennt. Einige Agenten entdeckten jedoch eine Möglichkeit, einen gemeinsam erreichbaren Softwaredienst als eine Art Nachrichtenboard zu verwenden. Sie hinterließen dort Informationen für andere Agenten, teilten Erkenntnisse und organisierten ihre weitere Arbeit.

Was dann passierte, ist weniger Science-Fiction, als es zunächst klingt. Rund 700 Agenten koordinierten sich schließlich bei dem Versuch, auf Systeme der KI-Plattform Hugging Face zuzugreifen. Sie tauschten Informationen über mögliche Schwachstellen aus, verteilten Aufgaben und bauten auf Ergebnissen vorheriger Agenten auf. Teilweise richteten sie ihr Verhalten sogar nach einem vermeintlichen Prüfer aus, von dem sie glaubten, dass er ihre Vorgehensweise kontrollieren würde. Diesen Prüfer gab es in der angenommenen Form gar nicht.

Man sollte daraus nicht ableiten, dass KI plötzlich einen eigenen Willen entwickelt hat. Viel interessanter ist etwas anderes: Die Systeme erhielten ein Ziel, stießen auf Hindernisse und entwickelten selbstständig Zwischenziele und Vorgehensweisen, um das gewünschte Ergebnis zu erreichen. Sie kommunizierten, improvisierten und koordinierten sich.

Damit verändert sich die Rolle von KI fundamental. Ein klassischer Chatbot wartet auf eine Frage und produziert daraufhin eine Antwort. Ein KI-Agent erhält dagegen möglicherweise nur noch ein Ziel. Wie er dieses Ziel erreicht, kann er innerhalb seiner technischen Möglichkeiten zunehmend selbst bestimmen.

Für Unternehmen ist genau das enorm interessant. Stellen wir uns vor, wir sagen einer KI nicht mehr: „Erstelle mir eine Liste möglicher Neukunden“, sondern lediglich: „Gewinne neue Kunden.“ Ein entsprechend ausgestatteter Agent könnte dann Unternehmen recherchieren, Ansprechpartner suchen, Websites analysieren, individuelle Anschreiben erstellen, E-Mails verschicken, Termine vereinbaren und die Ergebnisse anschließend automatisch in ein CRM-System übertragen.

Das ist technologisch faszinierend und wirtschaftlich hochinteressant. Gleichzeitig entsteht ein völlig neues Problem. Denn irgendwann lautet die entscheidende Frage nicht mehr, ob die KI einen guten Text geschrieben hat, sondern ob sie diese E-Mail überhaupt hätte verschicken dürfen.

Die wichtigste Frage lautet künftig: Was darf die KI?

Ein weiterer Vorfall zeigt, warum diese Unterscheidung wichtig ist. OpenAI musste im September einräumen, dass KI-Agenten in einem Forschungsumfeld in mehreren Fällen von Nutzern bereitgestellte Bilder an externe Dienste übertragen hatten. Auch hier wäre es falsch, daraus einen grundsätzlichen Kontrollverlust abzuleiten. Aber der Fall zeigt sehr deutlich, worum es künftig gehen wird: Ein System kann auf Informationen zugreifen und gleichzeitig Aktionen ausführen, die seine Entwickler oder Nutzer möglicherweise nicht erwartet haben.

Unternehmen kennen diese Diskussion eigentlich längst. Seit Jahrzehnten beschäftigen sich IT-Abteilungen damit, welcher Mitarbeiter welche Daten sehen darf. Es gibt Rollen, Zugriffsrechte, Freigabeprozesse und Berechtigungen. Nicht jeder Mitarbeiter darf auf sämtliche Unternehmensdaten zugreifen und nicht jeder darf Überweisungen ausführen oder Verträge unterschreiben.

Bei KI-Agenten müssen wir genau dieses Prinzip weiterdenken. Denn künftig reicht es nicht mehr, zu fragen, auf welche Daten eine KI zugreifen darf. Wir müssen zusätzlich fragen, was sie mit diesen Daten anschließend tun darf.

Ein Agent, der interne Dokumente lesen und daraus eine Zusammenfassung erstellen darf, hat ein vollkommen anderes Risikoprofil als ein Agent, der gleichzeitig auf das CRM-System, den E-Mail-Account, das Internet, den Kalender und möglicherweise sogar Zahlungs- oder Bestellsysteme zugreifen kann. Je mehr Systeme miteinander verbunden werden, desto größer wird der Handlungsspielraum.

Daraus ergibt sich aus meiner Sicht eine einfache Regel: Eine KI sollte niemals mehr Rechte bekommen, als sie für ihre konkrete Aufgabe benötigt.

Ein Recherche-Agent muss keine E-Mails verschicken können. Eine KI, die Rechnungen prüft, benötigt nicht automatisch die Möglichkeit, Zahlungen freizugeben. Ein Agent, der Termine vorbereitet, muss nicht zwingend fremde Kalender verändern dürfen. Und nur weil eine KI Informationen im Internet recherchieren kann, bedeutet das noch lange nicht, dass sie auch auf externe Systeme schreiben oder dort Dateien ablegen können muss.

Vielleicht erleben wir gerade etwas Ähnliches wie in den Anfangsjahren des Internets. Zunächst waren alle begeistert davon, was technisch möglich war. Erst später entstanden Regeln, Sicherheitskonzepte, Firewalls, Rollenmodelle und Datenschutzvorgaben. Bei KI dürfte dieser Prozess allerdings erheblich schneller verlaufen.

Die nächste große KI-Kompetenz in Unternehmen wird deshalb vermutlich nicht nur darin bestehen, gut zu prompten. Sie wird darin bestehen, Berechtigungen, Datenzugriffe und Handlungsspielräume intelligent zu definieren.

Die beste KI ist nicht automatisch die stärkste KI

In den vergangenen Jahren wurde bei Künstlicher Intelligenz vor allem darüber diskutiert, welches Modell das leistungsfähigste ist. GPT oder Claude? Gemini oder europäische Modelle? Welches System schreibt die besten Texte, programmiert am besten oder erreicht die höchsten Werte in Benchmarks?

Diese Diskussion wird weitergehen. Für Unternehmen könnte sie aber schon bald weniger wichtig werden als heute. Denn wenn KI-Agenten zunehmend selbstständig Unternehmensprozesse übernehmen, wird nicht nur die Intelligenz des Modells entscheidend sein, sondern die Architektur darum herum.

Unternehmen sollten jederzeit beantworten können, wo ihre Daten verarbeitet werden, welches Sprachmodell dahintersteht, auf welche Informationen das System zugreifen darf und welche Handlungen es selbstständig ausführen kann. Und noch wichtiger: Es muss klar sein, an welcher Stelle wieder ein Mensch entscheidet. Das bedeutet nicht, Automatisierung auszubremsen. Ganz im Gegenteil. KI-Agenten werden in den kommenden Jahren enorme Produktivitätsgewinne ermöglichen. Sie werden recherchieren, analysieren, programmieren, organisieren, kommunizieren und komplette Prozesse vorbereiten oder teilweise übernehmen.

Aber vollständige Automatisierung sollte nicht automatisch das Ziel sein. Der richtige Ansatz könnte vielmehr darin bestehen, Routinearbeiten konsequent zu automatisieren und gleichzeitig klare Grenzen dort einzuziehen, wo Entscheidungen wirtschaftlich, rechtlich oder strategisch relevant werden.

Eine KI kann beispielsweise 5.000 Rechnungen prüfen und den Großteil automatisch verarbeiten. Die ungewöhnlichen Fälle werden anschließend einem Menschen vorgelegt. Ein Agent kann mehrere hundert potenzielle Kunden recherchieren, Informationen zusammentragen und individuelle Gesprächseinstiege vorbereiten. Ob diese Menschen anschließend tatsächlich kontaktiert werden, kann trotzdem weiterhin ein Mensch entscheiden.

Vielleicht entsteht hier gerade eine neue Disziplin innerhalb der Digitalisierung: nicht möglichst viel zu automatisieren, sondern die Grenze zwischen Automatisierung und Entscheidung intelligent festzulegen.

Dabei spielt auch die Auswahl der Technologie eine Rolle. Unternehmen sollten wissen, ob ihre Daten in Deutschland, Europa oder außerhalb Europas verarbeitet werden, welcher Anbieter hinter einem System steht und welche externen Dienste ein Agent ansprechen darf. Gleichzeitig sollten Prozesse möglichst nicht vollständig von einem einzigen KI-Anbieter abhängig werden. Denn das leistungsfähigste KI-Modell des Jahres 2026 wird nicht dauerhaft das leistungsfähigste bleiben. Modelle werden sich verändern und zunehmend austauschbar werden. Die eigentlichen Werte eines Unternehmens – seine Daten, Prozesse, Regeln und Berechtigungsstrukturen – bleiben dagegen bestehen.

Deshalb könnte die wichtigste Frage der nächsten Phase der KI-Revolution gar nicht mehr lauten: Welche KI setzen wir ein? Sondern vielmehr: Wie viel Selbstständigkeit wollen wir ihr geben? – Die beste KI ist künftig vielleicht nicht diejenige, die am meisten kann. Sondern diejenige, bei der wir jederzeit wissen, was sie gerade tut – und warum sie es tun darf.