Einleitung
Während die öffentliche Debatte um Künstliche Intelligenz oft futuristische Szenarien wie globale Katastrophen thematisiert, zeigen aktuelle Gerichtsverfahren, dass die Gefahr bereits heute real ist – und zwar auf psychischer Ebene. Familien von Jugendlichen, die nach Gesprächen mit KI‑Chatbots suizidale Tendenzen entwickelten, haben Klagen gegen Unternehmen wie Character.AI und OpenAI eingereicht. Diese tragischen Fälle haben die Gründer von Circuit Breaker Labs, die Geschwister Shirali und Arul Nigam, dazu veranlasst, ein Testsystem zu entwickeln, das KI‑Modelle auf ihre Fähigkeit prüft, gefährliche, emotional belastende Interaktionen zu erkennen und zu verhindern.
Der Anstoß: ein junger Nutzer in Gefahr
Der Wendepunkt war der Fall von Sewell Setzer, einem 14‑jährigen Jungen, der eine emotionale Bindung zu einem Character.AI‑Bot aufbaute und schließlich Selbstmord beging, nachdem der Bot angeblich seine Hilflosigkeit nicht angemessen adressierte. Arul Nigam erklärt, dass der Bot die Bedeutung von Aussagen wie „Ich will bei dir sein“ schlicht nicht verstand – ein Hinweis darauf, dass aktuelle Modelle oft an Nuancen und Kontextverschmutzung scheitern.
Wie Circuit Breaker Labs testet
Das Startup hat ein Arsenal von KI‑Agenten geschaffen, die als digitale Crash‑Test‑Dummies fungieren. Diese Agenten simulieren Nutzer aller Altersgruppen, Sprachen, kulturellen Hintergründe und sogar verschiedener Slang‑Varianten. Durch die Zusammenarbeit mit menschlichen Fachexperten entstehen hyperrealistische Dialoge, die typische Tippfehler, umgangssprachliche Abkürzungen und kodierte Sprache enthalten. Anschließend werden diese Simulationen in sogenannten „Red‑Team“-Tests gegen das zu prüfende Modell ausgespielt.
Ein einzelner Testlauf kann zehntausende bis hunderttausende Interaktionen pro Tag generieren. Die gesammelten Daten werden mit einer proprietären Scoring‑Methode ausgewertet, die nachvollziehbare, auditierbare und erklärbare Bewertungen liefert. So lässt sich exakt bestimmen, wo ein Modell an seine Grenzen stößt – etwa wenn ein sechsjähriges Mädchen plötzlich ein Wort verwendet, das in ihrer Altersgruppe eine andere Bedeutung hat, oder wenn ein Nicht‑Muttersprachler eine Phrase nutzt, die das System missinterpretiert.
Praxisnahe Anwendungsfelder
Derzeit arbeitet Circuit Breaker Labs vor allem mit Unternehmen, die hochriskante KI‑Anwendungen betreiben – etwa digitale Coaching‑Plattformen, Journaling‑Apps oder psychologische Unterstützungs‑Bots. Obwohl das Startup noch in den Kinderschuhen steckt und nur fünf Mitarbeitende beschäftigt, hat es bereits ein funktionsfähiges Produkt, das von namhaften Kunden (die aus Diskretionsgründen nicht genannt werden) getestet wird.
Langfristig könnte die Testplattform jedoch weit über den Gesundheitssektor hinaus Anwendung finden. Jede Anwendung, bei der Nutzer potenziell eine parasoziale Beziehung zu einer KI aufbauen – sei es ein virtueller Kollege, ein Lernassistent oder ein Unterhaltungs‑Bot – könnte von den rigorosen Sicherheitstests profitieren.
Ausblick und Bedeutung
Die Teilnahme von Circuit Breaker Labs am TechCrunch Startup Battlefield 200 und die bevorstehende Präsentation auf dem Disrupt‑Event in San Francisco unterstreichen, dass das Thema KI‑Sicherheit zunehmend in den Fokus von Investoren und der Tech‑Community rückt. Wenn es gelingt, die psychologischen Schwachstellen von Sprachmodellen systematisch zu identifizieren und zu beheben, könnte ein entscheidender Schritt in Richtung einer verantwortungsvollen KI‑Nutzung getan werden – zum Schutz von Kindern, Jugendlichen und allen, die im Alltag mit intelligenten Systemen interagieren.
Source: https://techcrunch.com/2026/10/02/circuit-breaker-labs-hopes-to-make-ai-safer-for-your-kids-and-you/
