Für den Auxie Chatbot auf religionen-entdecken.de hat die Redaktion das folgende Qualitätssicherungskonzept erarbeitet.
Kontinuierliche Kontrolle
- Die Redaktion garantiert die kontinuierliche menschliche Kontrolle der Wissensdatenbank, auf welche die generative KI zugreift. Damit wird sichergestellt, dass alle Quellen (URLs, Sitemaps, Schnittstellen, Dokumente) altersgerecht sind und die Seitenstark-Standards für kindgerechte Medieninhalte einhalten.
- Da ein Live-Eingriff in Chatverläufe technisch nicht möglich ist, sorgt die Redaktion für eine kontinuierliche, mindestens tägliche menschliche Kontrolle der für 30 Tage gespeicherten Nachrichtenverläufe in der LoyJoy Cloud. Je nach Anzahl und Umfang der eingehenden Chatnachrichten wird die Kontrolle in täglichen Stichproben durchgeführt. Die Wochenenden und Ferienzeiten sind hiervon ausgenommen.
- Nachrichten aus Chatverläufen werden vorwiegend auf Inhalte geprüft, die ein potenzielles Risiko für Kinder im Alter von 8 bis 13 Jahren darstellen. Zur Überprüfung wird eine standardisierte Checkliste angewandt.
- Bei jeder Anpassung des Systems, der Prompts oder jedem Update der Plattform wird ein aktueller Fragenkatalog sowie Dialog-Test durch die Redaktion vor Veröffentlichung der Änderungen durchgeführt.
- In Ausnahmefällen wird ein plattforminternes, datenschutzkonformes und KI-gestütztes Reporting der Prozessoptimierung durchgeführt.
Risiko-Management
Im Falle eines aufgetretenen akuten Problems oder Risikos in den Chatverläufen wird der entsprechende Einzelfall durch Anpassung des Chatmoduls umgehend bearbeitet.
Risiko-Berichtswesen
Die Redaktion von religionen-entdecken.de erstellt Risikoberichte in Form einer fortlaufenden Dokumentation der Qualitätskontrollen, die problematische Dialogstrukturen in anonymisierter Form zusammenfassen. Einzelne Dialoge werden dabei nicht vollständig reproduziert und gespeichert, sondern lediglich auf die dahinter liegenden strukturellen Fehlverhalten der generativen KI bzw. der modularen Struktur des Chatbots kondensiert. Das Risiko-Berichtswesen geht einher mit der jährlichen Einbeziehung von Religiöns- und Medienpädagog:innen sowie der Zielgruppe.
Rückmeldung zum Auxie Chatbot, Kritik und Anmerkungen sowie die Meldung von Fehlern sind jederzeit möglich per Mail an die Redaktion von religionen-entdecken.de unter: auxie@religionen-entdecken.de