© kabzarchyk/Shutterstock.com
Eine empirische Analyse des Testverhaltens von 416 Entwicklern

Testen oder Nichttesten, das ist hier die Frage


Mit erstaunlicher Regelmäßigkeit schlagen Software-Engineering-Forscher und Anwender neue Testpraktiken und Tools zur Erstellung automatisierter Entwicklertests vor: Vom „Urgroßvater“ JUnit reicht allein für Java das Spektrum der Testing-Frameworks über A wie „Arquilian“ bis hin zu X wie „XMLUnit“. Auch Testpraktiken für Entwickler gibt es wie Sand am Meer, von kontinuierlichem Testen auf dem Build-Server über Regressionstesten bis zur testgetriebenen Entwicklung nach Kent Beck.

Die wahrgenommene Qualität unserer Software scheint sich durch die Vielzahl an Testmöglichkeiten nicht zu verbessern: die abgestürzte gratis Android-App? Geschenkt. Viel schlimmer sind da schon die insgesamt 59,5 Milliarden US-Dollar, die die US-Wirtschaft allein 2002 wegen Softwarefehlern verlor. Vielleicht ist es also an der Zeit, sich zu fragen: Wann und wie viel testen wir Entwickler eigentlich wirklich? Welche der Testkonzepte, die in der Forschung und auf Entwicklerkonferenzen diskutiert werden, setzen wir eigentlich wirklich ein?

Zur Erforschung dieser Fragestellungen haben wir an der Technischen Universität Delft in den Niederlanden im Rahmen des TestRoots-Projekts [1] das Eclipse-Plug-in „WatchDog“ entwickelt und in der Dezemberausgabe 2014 im Eclipse Magazin vorgestellt. Seitdem ist viel passiert: Wir haben nicht nur WatchDog weiterentwickelt und eine IntelliJ-Version veröffentlicht, sondern es haben sich auch über 2 200 WatchDog-Nutzer auf unserem Server registriert. Sie haben uns mit einer nie zuvor verfügbaren Zahl von realen, stark anonymisierten Daten zu ihrem Testverhalten in Eclipse versorgt. Im Folgenden berichten wir über das mit WatchDog aufgenommene Testverhalten von 416 Entwicklern im Zeitraum von November 2014 bis März 2015.

Wer nutzt WatchDog?

Während wir zum Schutz der Daten keine personenbezogenen Aussagen über einzelne Nutzer machen können, so geben Abbildung 1 und 2 doch eine gute Übersicht über unsere Nutzerbasis: Die meisten Entwickler stammen erwartungsgemäß aus den USA (25 Prozent der Nutzer). Danach haben wir eine relativ gleichmäßige Verteilung über Europa, Kanada, Südamerika, Asien und Ozeanien. Insgesamt setzen Entwickler aus 67 unterschiedlichen Ländern WatchDog ein.

beller_1.tif_fmt1.jpgAbb. 1: Weltweite Verteilung der WatchDog-Nutzer: Je dunkler die Schattierung des Landes, desto mehr registrierte WatchDog-Benutzer gibt es dort

Abbildung 2 zeigt die Programmiererfahrung dieser Entwickler. Während es einen großen Teil an Einsteigern gibt (60 Prozent der Nutzer haben weniger als drei Jahre Erfahrung), so finden wir doch auch eine Vielzahl an sehr erfahrenen Entwicklern: Mehr als 20 Prozent der registrierten Entwickler programmieren bereits seit mindestens sieben Jahren.

beller_2.tif_fmt1.jpgAbb. 2: Programmiererfahrung der WatchDog-Benutzer

Insgesamt haben die Nutzer 460 Projekte registriert. Diese Registrierungen enthalten sowohl private als auch industrielle, aber auch bekannte und weniger bekannte Open-Source-Projekte, etwa der Apache Foundation. Unsere Nutzer haben wir in diesen Projekten über 24 255 Entwicklerstunden in der IDE beobachtet. Auf dieser Datenbasis beantworten wir die folgenden Forschungsfragen.

Wie verbreitet ist Testen unter Entwicklern?

Zunächst fragen wir uns dazu: Wie viele der Projekte in unserem Datensatz arbeiten überhaupt aktiv mit kodierten Entwicklertests? Zu diesem Zweck klassifizieren wir den Inhalt aller über den Beobachtungszeitraum in der IDE geöffneten Dateien in entweder „Produktionscode“, „Testcode“ oder „unbekannt.“ Die Klassifikation erfolgt darüber, ob wir Spuren populärer Testframeworks im Inhalt der Datei finden, etwa Imports von JUnit 3, Annotationen von JUnit 4, Mockito oder PowerMock. Zudem überprüft WatchDog lokal auf dem Entwicklerrechner den nicht übertragenen Klartextnamen der geöffneten Dateien auf das Vorhandensein des Subtexts „Test“. Studien haben gezeigt, dass dies ein sehr einfaches, aber akkurates Kriterium ist, um festzustellen, ob es sich bei einer Datei um einen Test handelt. Für 200 der 460 Projekte (43 Prozent) konnten wir innerhalb der fünf Monate zumindest eine Testaktivität feststellen. Dies bedeutet im Umkehrschluss, dass in der Mehrzahl der Projekte in unserem Datensatz nicht aktiv mit kodifizierten Entwicklertests gearbeitet wurde. Während man die Frage nach dem Vorhandensein von Tests in der Forschung typischerweise statisch durch so genannte „Repository Mining“-Ansätze beantwortet, müssen wir die Antwort auf dieselbe Frage mit WatchDog anders interpretieren: Repository Mining würde beispielsweise zu dem Resultat gelangen, dass das SVN oder Git Repository eines Projekts Tests enthält, selbst wenn diese seit fünf Jahren niemand mehr ausgeführt hat. Unsere WatchDog-Daten dagegen geben eine Auskunft darüber, wie aktiv mit und an Tests in einem...

headline from sands settings