Kundenkommunikation mittels KI made in Germany: Höhere Trefferquote als Big Player

parlamind, Anbieter von Lösungen für die Kundenkommunikation mittels KI, ist stolz auf das Erreichte: Im Test schneidet die KI beim korrekten Erkennen von Kundenanliegen besser ab als diejenigen, die auf der Google Dialogflow ES, Rasa oder IBM Watson Assistant basieren. In Zahlen ausgedrückt bedeutet das: Bei einer Accuracy von 0,88 wie bei parlamind können nur zwölf Prozent der eingehenden Anfragen nicht beantwortet werden, bei IBM Watson sind es 16 Prozent, bei Rasa und Google Dialogflow 18 Prozent (Stand: Oktober 2020). 

Künstliche Intelligenz beschleunigt die Kundenkommunikation

Dr. Tina Klüwer, geschäftsführende CTO und Gründerin von parlamind, überträgt das Ergebnis in die Praxis: „Bei 100.000 Kundenanfragen, die ein Unternehmen via E-Mail oder Chat erreichen, kann unsere KI durchschnittlich rund 5.000 mehr korrekt bearbeiten als die nächstbesten, Google Dialogflow und Rasa. Diese Anzahl lässt sich auch in Zeit ausdrücken: Das ist wertvolle Arbeitszeit, die der Kundenservice spart und zu Gunsten von Anfragen nutzen kann, für die nach wie vor menschliches Verstehen und Einfühlungsvermögen nötig sind.

“Statistisch präziser sind die Test-Ergebnisse nach F1-Score: Der F1-Score von parlamind ist mit 0,92 der höchste, gefolgt von Google Dialogflow und Rasa mit 0,87 sowie IBM Watson mit 0,78 (Stand: Oktober 2020). parlamind ist also nur 0,08 Punkte vom vollständigen Erkennen aller vorliegenden Kontaktgründe entfernt, Google hingegen 0,13 (Der maximal zu erreichende F1-Score-Wert von 1,00 bedeutet hier, dass alle geprüften Kundenanliegen 100-prozentig richtig verstanden werden, ein F1-Score von 0,00 bedeutet alles wurde falsch erkannt). 

Testszenario: Wie gut versteht die Künstliche Intelligenz Kundenkommunikation?

Für den Vergleich wurden alle Systeme mit denselben Lernbeispielen und Testdaten trainiert. Ebenso wurden daraufhin dieselben Anfragen an die Systeme geschickt und die Ergebnisse verglichen. Über fünf Jahre Entwicklung und KI-Training zahlen sich schließlich aus: parlamind erreicht eine bessere Trefferquote als die drei weltweit agierenden  Unternehmen IBM Watson, Rasa und Google Dialogflow. Genauere Infos zur Vorgehensweise und den Ergebnissen finden sich in dem KI-Report „Intelligente Kontaktgrunderkennung – Qualitätsanalyse und Anbietervergleich 2021“.

„Im Test ging es darum, herauszufinden, wie gut alle Systeme im Test Anfragen von Kunden inhaltlich richtig verstehen und sie einem oder keinem von 10 definierten Kontaktgründen zuordnen“, erläutert Klüwer. Bei den von parlamind im Test verwendeten Kontaktgründen handelt es sich um jene Anfragen, die der Experte für automatisierte Kundenkommunikation auf Basis seiner jahrelangen Erfahrung als die Top 10 der Anliegen im Kundenservice eruiert hat. Zur Herstellung der Vergleichbarkeit enthielten die getesteten Anfragen dabei immer nur einen oder keinen der 10 Kontaktgründe. parlamind wendet diese Test-Methode seit Jahren zur Verbesserung der eigenen KI an. 

Getestete Kontaktgründe im Überblick

Die folgenden Kontaktgründe wurden getestet:

• Rücksendeschein zusenden
• Bestellung stornieren
• Wie lauten die Bankdaten?
• Bestätigungsmail fehlt
• Wann erfolgt meine Lieferung?
• Rechnung zuschicken
• Rücksendefrist verlängern
• Rechnung fehlt
• Paket nicht erhalten
• Newsletter abbestellen/Keine Kontaktaufnahme

Open-Source-Modell zur Evaluation entwickelt

Zur Durchführung seiner Testreihe hat parlamind ein eigenes Evaluationsmodell UnifyEval entwickelt, das den Vergleich verschiedener NLP-Pipelines für maschinelles Lernen mit verschiedenen Backends erleichtert. Das leistungsstarke Tool kommt vor allem überall dort zum Einsatz, wo die tatsächliche Leistung einer KI für die Bearbeitung einer bestimmten Aufgabe, sei es eine Textklassifizierung oder eine Sprachmodellierung, schnell und zuverlässig evaluiert werden muss. Auf diese Weise sind Entwickler und Anbieter von KI in der Lage, mit der hohen Dynamik im Bereich Forschung und Entwicklung des Maschinellen Lernens sicher Schritt zu halten.  

Die überzeugende Performance von parlamind gegenüber der Konkurrenz hat mehrere Gründe: Zum einen beherrscht die Lösung die Sprache Deutsch nachweislich besser als die Wettbewerber und kann dabei auch weniger relevante Informationen wie zum Beispiel Höflichkeitsfloskeln im Zuge der Analyse filtern. Ein weiterer Grund liegt in der natürlichen Beschaffenheit von parlamind als Spezialist im Kundenservice: So verfügt die KI-Lösung bereits über eine Vielzahl häufiger Kontaktgründe in ihrer Wissensdatenbank, die kundenübergreifend zutreffen.

Lesen Sie auch: Business Messaging: 6 Trends – von Kommunikationshub bis KI