© prettyboy80/Shutterstock.com
Testautomation für Chatbots

Raus aus den Kinderschuhen!


Chatbots haben sich enorm weiterentwickelt, seit sie vor fast einem Jahrzehnt das Licht der Welt erblickt haben. Die praktischen Helfer sind auf einer Vielzahl von Webseiten zu finden. Viele Chatbots haben aber noch nicht die Qualität, die die Anwender von Webseiten und mobilen Applikationen gewohnt sind. Schuld daran ist u. a. die Tatsache, dass das Testen von Chatbots noch in den Kinderschuhen steckt. Dieser Artikel gibt grundlegende Einblicke in das Testen von Chatbots und zeigt auf, wie durch die Automation dieser Tests Methoden wie Continuous Testing perfekt unterstützt werden.

Immer mehr Unternehmen haben die Vorteile von Chatbots erkannt, um ihre Produkte, ihre Marke und ihre Dienstleistungen an den Mann zu bringen. Statistiken von https://www.getresponse.com [1] sagen durch den Einsatz von Chatbots im Dienstleistungssektor Gehaltseinsparung in Milliardenhöhen voraus. Aus diesem Grund bringen immer mehr Unternehmen, von Banken und Versicherungen bis hin zu Einzelhändlern, Chatbots zum Einsatz. Laut Gartner werden bis zum Jahr 2020 85 Prozent aller Kundeninteraktionen über Chatbots abgewickelt.

Gehaltseinsparungen in Milliardenhöhe

Giganten wie Google, Microsoft und Apple erkennen das bahnbrechende Potenzial dieser Technologie und sagen bereits das Ende von Webseiten und mobilen Applikationen voraus. Sie betreiben großen Aufwand, um mittels künstlicher Intelligenz (KI), Big Data und maschinellem Lernen der menschlichen Intelligenz so nahe wie möglich zu kommen, denn die Konversationsschnittstelle der Zukunft sind Chatbots. Studien haben ergeben, dass Verbraucher sich immer für den einfachsten verfügbaren Kanal entscheiden, wenn es darum geht, mit einem Unternehmen, einem Produkt oder einer Marke in Kontakt zu treten. Und was ist einfacher, als einen Chatbot zu fragen, wieviel Geld sich auf dem Konto befindet oder wann die Haushaltsversicherung abläuft (Abb. 1)?

image

Abb. 1: Chatbot im Einsatz

Fast jedes Unternehmen erklärt, dass es sich inmitten einer digitalen Transformation befindet und durch Chatbots die Tür für die Einführung neuer Geschäftsmodelle öffnet oder alte Geschäftsmodelle wiederbelebt. 2019 [2] werden 65 Prozent der Weltbevölkerung Chatbots in Form von Messaging-Apps für die tägliche Arbeit verwenden. Doch noch stecken Chatbots vielfach in den Kinderschuhen. Insbesondere beim Testen von Chatbots wird oftmals mit unausgereiften Methoden gearbeitet. Doch es gibt vielfältige Lösungen.

Herausforderungen beim Test von Chatbots

Chatbots funktionieren anders als traditionelle Software. Das Hauptproblem für jeden Chatbot ist es, den Kontext der Benutzerkonversation zu verstehen. Drei wichtige Begriffe dürfen nicht fehlen, wenn von Chatbots geredet wird: Utterances, Intents und Entities. Äußerungen (Utterances) sind alles, was der Benutzer sagt oder schreibt. Ein Intent gibt die Absicht des Benutzers wieder. Die Eingabe von „Zeige mir die Filmliste!“ ist die Äußerung mit der Absicht (Intent), die Liste der Filme abzurufen. Eine Absicht wird durch eine Entität (Entity) geändert. Beim Intent „Zeige die Filmliste von George Clooney!“ ist „George Clooney“ die Entität, die die Absicht ändert.

Natural Language Understanding/Processing

Um den Benutzer verstehen zu können, verwendet ein Chatbot „Natural Language Processing“ (NLP). NLP ist das Herzstück des Chatbots. Ein Chatbot, der die Absicht des Benutzers nicht versteht, ist seinen Code nicht wert. Die meisten Chatbots basieren auf künstlicher Intelligenz, die durch Cloud-Dienste zur Verfügung gestellt wird und durch maschinelles Lernen ihr Verhalten ändern kann. IBM Watson, Wit.ai und LUIS gehören zu diesen NLU- (Natural-Language-Understanding-) und NLP-Diensten. Eine nicht deterministische Komponente im getesteten System macht einen Softwaretest unbrauchbar, sofern Sie den Grund für einen fehlgeschlagenen Testfall – einen Fehler in der Chatbot-Software oder eine Verbesserung des Cloud-Service – nicht erkennen können.

Der Umgang mit Nichtdeterminismus ist ein kritisches Thema beim Testen von Software. Aufgrund der Natur der menschlichen Sprache ist es unmöglich, dass Softwaretests alle möglichen Situationen abdecken. Das heißt, Sie müssen versuchen, einen risikobasierten Testansatz anzuwenden, der diesem Nichtdeterminismus gerecht wird.

Testdurchführung wirkt sich auf das Testergebnis aus

Bei der Testdurchführung ist zu bedenken, dass die Tests selbst Auswirkungen auf die Cloud-Dienste haben können. Wenn nämlich ein Cloud-Service immer wieder mit den gleichen Testfällen gefüttert wird, wird der Cloud-Service „maschinell“ dazulernen und die Antworten werden variieren. Das bedeutet, dass ein Test, der fünfmal fehlerfrei durchgeführt wird, beim sechsten Mal keinen Erfolg hat, weil der Chatbot eine nicht erwartete Antwort liefert. Bei einem Chatbot gibt es keine Interaktionsbarrieren für Benutzer. Websites und mobile Applikationen ermöglichen nur vordefinierte Interaktionsmöglichkeiten mit gängigen Komponenten der Benutzeroberfläche (anklickbare Hyperlinks, Schaltflächen, Texteingabefelder etc.). Chatbots müssen jedoch alle Arten von unerwarteten Benutzereingaben angemessen abdecken.

Was sollte getestet werden?

Abgesehen von Chatbots mit trivialen Konversationsflüssen müssen Sie sicherstellen, dass Ihr Chatbot sich nach der Änderung eines Anwendungsfalls (oder Konversationsschritts) in allen anderen Anwendungsfällen wie erwartet verhält. Hauptaugenmerk sollte dabei auf folgende Bereiche gelegt werden.

Verstehen: Was versteht der Chatbot? Das Testen des Verständnisses eines Chatbots befasst sich hauptsächlich mit den NLU-/NLP-Diensten. Findet er die richtigen Antworten? Das Verstehen kann in folgende Unterkategorien unterteilt werden: akzeptierte Eingaben, Smalltalk, Wörter mit Rechtschreibfehlern, Grammatik, ähnliche Worte.

NLU/NLP ist aber trotzdem nur ein statistisches Vorgehen und kann keine 100-prozentige Korrektheit liefern...

headline from sands settings