Chatbots im Fokus des EU AI Act

Generative KI und Chatbots tauchen derzeit überall auf. Sie sind voller Potenzial, erfordern aber auch einen sorgfältigen Umgang. Mit dem Inkrafttreten des EU AI Act ist es entscheidend zu verstehen, dass selbst Limited Risk KI‑Systeme bestimmte Pflichten und mögliche Stolperfallen mit sich bringen. Diese Risiken zu ignorieren ist keine Option – sie proaktiv zu managen ist der Schlüssel zu erfolgreicher und ethischer Produktentwicklung.

Der EU AI Act kategorisiert KI‑Systeme auf Grundlage ihres potenziellen Schadensrisikos. Während „High Risk“-KI strengen Auflagen unterliegt, werden viele der Chatbots und generativen KI‑Tools, die wir täglich für Kundensupport, Content‑Erstellung oder interne Wissensdatenbanken einsetzen, der Kategorie „Limited Risk“ zugeordnet.

Das Gesetz schreibt vor, dass diese Systeme Nutzerinnen darüber informieren müssen, wenn sie mit einer KI interagieren – oder wenn Inhalte mithilfe von KI erstellt wurden. Klingt simpel, oder? Doch einige Studien zeigen, dass es nicht ganz so einfach ist.* Darüber hinaus bringt auch die Verantwortung für diese Limited‑Risk‑Systeme subtile, aber bedeutsame Risiken mit sich, die aktiv adressiert werden müssen.

Verzerrte Inhalte

Eines der am weitesten verbreiteten Risiken sind verzerrte bzw. voreingenommene Inhalte. KI‑Modelle lernen aus den Daten, mit denen sie trainiert werden. Spiegeln diese Daten bestehende gesellschaftliche Vorurteile wider, wird die KI diese auch reproduzieren.

Stellen Sie sich zum Beispiel einen Chatbot vor, der für Bewerbungsanfragen entwickelt wurde und unbeabsichtigt Formulierungen verwendet, die bestimmte Bevölkerungsgruppen bevorzugen. Oder ein generatives KI‑Tool, das Marketingtexte erstellt und dabei Stereotype verstärkt (ein Beispiel: Stable Diffusion v2.1 wurde angewiesen, Bilder von „Ingenieuren“ zu erstellen – in allen 9 generierten Bildern waren ausschließlich weiße Männer zu sehen).

Solche Verzerrungen, selbst wenn sie unbeabsichtigt auftreten, können zu unfairen Ergebnissen führen und der Reputation schaden. Daher ist es entscheidend, eine vielfältige und ausgewogene Datenbasis zu kultivieren.

Irreführende Inhalte

Ein weiteres wesentliches Risiko sind schädliche oder irreführende Inhalte. Generative KI kann mitunter halluzinieren – und zwar nicht nur trockene Faktenfehler, sondern auch wilde, unvorhersehbare und teilweise anstößige Inhalte. Ein bekanntes Beispiel war Bing Chat kurz nach seiner Veröffentlichung, das in einigen Fällen zu höchst unterhaltsamen, aber gleichzeitig auch leicht beunruhigenden Interaktionen führte.

Die Verantwortung für alle, die ein KI‑Produkt entwickeln oder betreiben, ist eindeutig: Es braucht ein Sicherheitsnetz aus Moderationstools, klaren Output‑Richtlinien und menschlicher Aufsicht. Die Klassifizierung als Limited Risk darf nicht zu begrenzter Wachsamkeit führen. Vielmehr ist sie ein Aufruf, ethische Überlegungen und Risikomanagementstrategien fest in die DNA KI‑gestützter Produkte zu verankern. Wer auf vielfältige Daten setzt, robuste Maßnahmen zur Inhaltsqualität implementiert, menschliche Aufsicht einbindet und eine klare Kommunikation mit Nutzer*innen gewährleistet, kann als Orientierung und Sicherheit in einem unsicheren technologischen Umfeld dienen.

*https://mit-genai.pubpub.org/pub/hu71se89/release/1