EP_068 Human-in-the-Loop & Freigabeprozesse KI-Agenten & Autonomie Verantwortung & Haftung 24 min

KI-Agent schreibt Kunden: So behältst du die Kontrolle!

Wir teilen unseren eigenen Fehler mit autonomen Systemen und zeigen dir, warum ein Human-in-the-Loop unverzichtbar bleibt.

Erschienen 19. August 2026 · mit Magdalena Beilmann

// Hören auf

YouTube ↗ Spotify ↗ Apple ↗

// TeilenLinkedIn X WhatsApp

// Lieber nur Audio? Bei Spotify hören

// KI-Zusammenfassung

Diese Episode beleuchtet die Risiken und Kontrollmechanismen beim Einsatz autonomer KI-Agenten in der Kundenkommunikation. Benjamin Wüstenhagen und Magdalena Beilmann teilen praktische Erfahrungen mit Fehlern aus der Praxis, erklären das Konzept des „Human-in-the-Loop“ über Slack-Freigaben und diskutieren, wie sich die Verantwortung im Team verschiebt, wenn KI-Systeme proaktiv handeln.

// Die eine Idee

“Autonomie braucht harte Leitplanken: Lass KI-Agenten niemals ohne 'Human-in-the-Loop' auf echte Kunden los, bevor sie sich in einer strengen Testphase bewiesen haben.

Diese Aussage teilen →

Kapitel

01
0:00
Unser größter Fail: Wenn der KI-Agent die Kontrolle übernimmt
02
4:06
Human-in-the-Loop: Warum wir klare Freigaben brauchen
03
7:57
Der Support-Agent: Automatisierung mit Sicherheitsnetz
04
10:08
Der KI-Wächter: Wie wir Support-Tickets priorisieren
05
13:20
Wer haftet eigentlich, wenn die KI Fehler macht?
06
15:34
Vom Hackathon zum System: KI im Unternehmen skalieren
07
19:59
Das Ping-Pong-Spiel: Warum QA ohne Menschen noch scheitert
08
21:56
Die Zukunft der Agenten: Brauchen wir noch menschliche Gates?

Shownotes

Wir haben einem KI-Agenten erlaubt, unseren Kunden zu schreiben. Das endete in einem peinlichen Fail, denn er schickte eine interne Nachricht an echte Kunden. Dieser Fehler war leider kein hypothetisches Beispiel, sondern eine schmerzhafte Lektion in Sachen Autonomie und Kontrolle.

– Autonomie braucht harte Leitplanken: Lass KI-Agenten niemals ohne „Human-in-the-Loop“ auf echte Kunden los, bevor sie sich in einer strengen Testphase bewiesen haben. – KI nimmt dir die Arbeit ab, aber nicht die Verantwortung. Wenn ein automatisiertes System Fehler macht oder falsche Alarme schlägt, haftet der Mensch, der die Regeln definiert hat. – Qualitätssicherung (QA) lässt sich aktuell noch schwer an KI auslagern. KI kann zwar Code und Prozesse bauen, aber für den finalen Realitätsabgleich braucht es oft noch menschliche Tester.

In dieser Folge diskutieren Benjamin und Maggie, wie du KI-Agenten sicher in dein Unternehmen integrierst und welche Rolle der Human-in-the-Loop dabei spielt. Erfahre, wie du die Verantwortung bei KI-Fehlern klar zuordnest und Autonomie von KI-Systemen schrittweise erhöhst, um peinliche KI-Fails zu vermeiden.

#KIManagement #AIAgenten #HumanInTheLoop #KIStrategie #UnternehmensKI #VerantwortungKI

Neu hier? Abonniere den Kanal für regelmäßige neue Folgen Co-Intelligence. Mehr von uns: - Website (alle Folgen, Shownotes, Glossar): https://coipod.de - Diese Folge mit Kapiteln & Transkript: https://coipod.de/folgen/68-ki-agent-schreibt-kunden-so-behaeltst-du-die-kontrolle - YouTube: https://www.youtube.com/@Co-IntelligencePod - Spotify: https://open.spotify.com/show/5ZPRrXTInXPiDnVqb1HziP - Apple Podcasts: https://podcasts.apple.com/us/podcast/co-intelligence-der-ki-lernpodcast/id1804213774 - Newsletter: https://coipod.de/newsletter - Instagram: https://www.instagram.com/cointelligencepod/ - TikTok: https://www.tiktok.com/@cointelligencepod - LinkedIn: https://www.linkedin.com/company/co-intelligence-pod/

🔗 Links & Erwähnungen: • Slack: https://slack.com • Microsoft Teams: https://www.microsoft.com/microsoft-teams • Intercom: https://www.intercom.com • thekey.academy: https://thekey.academy • snipKI: https://snipki.de • OpenClaw: https://openclaw.ai/

⏱ Kapitel

↗ Links

// Lerninhalte der Folge — was du mitnimmst

Erkenntnisse

3:37
Zu frühe Autonomie für KI-Agenten ohne ausreichende Tests kann zu fehlerhafter und peinlicher Kundenkommunikation führen.
5:09
Ein Human-in-the-Loop-Prozess über Slack-Kanäle verhindert unkontrollierte KI-Nachrichten an Kunden durch manuelle Freigaben.
14:08
Automatisierte Prüfungen durch KI nehmen dem Menschen nicht die endgültige Verantwortung für die Ergebnisse ab.
21:29
Die Qualitätskontrolle lässt sich derzeit in vielen Bereichen noch nicht vollständig von Menschen auf KI übertragen.

// Wortwörtliche Stellen aus dem Gespräch

Zitate

„Es werden einige Fehler passieren, trotzdem muss man irgendwo starten und Experimente machen, sich trauen."

Moritz Heininger · 17:39
„Was aber wichtiger wird, je stärker das in Organisationen in, ja, im eigenen Arbeitsablauf verankert wird, desto mehr muss man sich halt Gedanken machen, wie genau?"

Benjamin Wüstenhagen · 22:53

Fragen

Was passierte, als der erste KI-Agent des Teams zu früh Autonomie erhielt? ▾

Der erste KI-Agent mit direktem Kundenkontakt interpretierte interne Hinweise fälschlicherweise als Arbeitsanweisungen. Da das System zu früh und ohne ausreichende Tests mit dem Kommunikationssystem verbunden wurde, verschickte es kryptische, nicht für die Öffentlichkeit bestimmte Nachrichten an Kunden. Glücklicherweise wurden dabei keine personenbezogenen Daten weitergegeben.

Wie funktioniert der Freigabeprozess für KI-Agenten über Slack? ▾

Um unkontrollierte Nachrichten zu verhindern, wird ein Human-in-the-Loop-Prozess genutzt. Der Agent postet den geplanten Kundentext in einen speziellen Slack-Kanal. Ein Mensch prüft den Entwurf, kann Korrekturen vornehmen und gibt die Nachricht erst durch eine Reaktion mit einem Emoji für den tatsächlichen Versand an den Kunden frei.

Wer trägt die Verantwortung, wenn ein automatisierter KI-Wächter Fehler macht? ▾

Auch wenn KI-Systeme wie Support-Wächter die Aufmerksamkeit entlasten, bleibt die Verantwortung beim Menschen. Automatisierte Prüfungen verschieben die Zuständigkeit lediglich, löschen sie aber nicht. Jedes System benötigt einen klaren menschlichen Verantwortlichen, der die Regeln definiert, die Ergebnisse überwacht und das System bei Bedarf manuell nachkalibriert.

Kann die Qualitätsprüfung komplett an künstliche Intelligenz ausgelagert werden? ▾

Aktuell stößt die Qualitätsabnahme durch KI noch an deutliche Grenzen. Obwohl KI-Modelle beim Schreiben von Code helfen, ist für den finalen Realitätsabgleich und das Testen oft noch ein Mensch notwendig. Eine vollständige Ersetzung menschlicher Tester durch KI funktioniert in vielen sensiblen Bereichen derzeit noch nicht zuverlässig.

Weitere 5 Fragen aus dieser Folge ▾

Warum solltest du KI-Agenten nicht sofort autonom mit Kunden kommunizieren lassen? ▾

Ohne ausreichende Tests können Agenten interne Arbeitsanweisungen falsch interpretieren und kryptische Nachrichten an echte Kunden senden. Das schadet deiner Außenwirkung und führt zu peinlichen Fehlern, weshalb eine strenge Testphase Pflicht ist.

Wie baust du einen sicheren Freigabeprozess für KI-Nachrichten auf? ▾

Leite die KI-generierten Entwürfe in einen dedizierten Slack-Kanal. Dort prüft ein Mensch den Text und gibt ihn erst durch eine Emoji-Reaktion für den tatsächlichen Versand an den Kunden frei.

Wer haftet, wenn ein automatisiertes KI-System falsche Entscheidungen trifft? ▾

Die Verantwortung liegt immer bei der Person, die das System eingerichtet und die Regeln definiert hat. KI nimmt dir zwar die Arbeit ab, aber nicht die Haftung für das finale Ergebnis.

Lässt sich die Qualitätssicherung (QA) von Code komplett an KI auslagern? ▾

Nein, aktuell funktioniert die Qualitätsabnahme durch KI noch nicht gut genug, um menschliche Tester vollständig zu ersetzen. Für den finalen Realitätsabgleich brauchst du weiterhin Menschen, die die Ergebnisse manuell prüfen.

Wie kann KI den Kundensupport entlasten, ohne selbst Antworten zu schreiben? ▾

Du kannst einen KI-Wächter einsetzen, der dein Supportsystem überwacht und dringende Tickets herausfiltert. Dieser Agent alarmiert das Team intern, sodass wichtige Anfragen in der Masse nicht übersehen werden.

Zum Teilen

// 5 share-worthy

Die stärksten Aussagen dieser Folge — als Text, Link oder fertige Bild-Card zum Posten.

// Erkenntnis
“Autonomie braucht harte Leitplanken: Lass KI-Agenten niemals ohne 'Human-in-the-Loop' auf echte Kunden los, bevor sie sich in einer strengen Testphase bewiesen haben.
// Erkenntnis
“KI nimmt dir die Arbeit ab, aber nicht die Verantwortung. Wenn ein automatisiertes System Fehler macht oder falsche Alarme schlägt, haftet der Mensch, der die Regeln definiert hat.
// Erkenntnis
“Qualitätssicherung (QA) lässt sich aktuell noch schwer an KI auslagern. KI kann zwar Code und Prozesse bauen, aber für den finalen Realitätsabgleich braucht es oft noch menschliche Tester.
// Zitat
“Es werden einige Fehler passieren, trotzdem muss man irgendwo starten und Experimente machen, sich trauen.
// Zitat
“Was aber wichtiger wird, je stärker das in Organisationen in, ja, im eigenen Arbeitsablauf verankert wird, desto mehr muss man sich halt Gedanken machen, wie genau?