Das MusicStore-Team steht morgens beim Stand-up zusammen:
Lukas: „Heute Nacht gab es vermehrt Alerts im Produktivsystem.“
Julia: „Wann hat das angefangen?“
Lukas: „Gestern gegen 21:00 Uhr. Zumindest sieht es im Chatverlauf danach aus.“
Erik: „Was war da los?“
Lukas: „Es gab scheinbar Probleme mit den Kreditkartenzahlungen, die ...“
Manuela: „Das passt, ich habe hier drei Beschwerden. Die Kunden wollten ein Abo mit der Kreditkarte bezahlen, es hat aber nicht geklappt.“
Ruben: „Heute Nacht war Jens mit der Rufbereitschaft dran, oder?“
Lukas: „Ja.“
Christian: „Wo ist der schon wieder?“
Ruben: „Er hat doch gestern gesagt, dass er heute Morgen zum Zahnarzt muss.“
Christian: „Super Timing!“
Lukas: „Durch den Verlauf in unserem ChatOps-Tool können wir doch eigentlich ganz gut nachvollziehen, was da passiert ist. Gegen 21:30 Uhr wurde Jens informiert, und er hat direkt mit der Fehlersuche begonnen. Um 23:40 Uhr hat er festgestellt, dass das Problem offenbar mit seiner Änderung am Bezahlprozess zu tun hat.“
Christian: „Dafür hat der ernsthaft über zwei Stunden gebraucht?“
Lukas: „Die neue API-Version verhält sich offenbar anders als die bisherige. Als das klar war, hat er die Änderung zurückgerollt.“
Julia: „Es sieht hier aber danach aus, dass die Kartenzahlungen dann immer noch nicht funktionierten, oder?“
Lukas: „Korrekt. Durch das Zurückrollen der API-Version ist irgendwie der API Key der Testumgebung auch auf Production gelandet. Und aus gutem Grund lassen sich damit keine echten Zahlungen durchführen.“
Manuela: „Jetzt funktioniert‘s aber wieder, oder?“
Lukas: „Genau. Jens hat um 01:05 Uhr den richtigen API Key auf dem Produktivsystem gesetzt, und seitdem funktioniert es wieder.“
Manuela: „Alles klar, dann setzte ich jetzt gleich eine Info an unsere Kunden auf. Sie sollen es einfach nochmal versuchen. Aber jetzt ist maximale Transparenz wichtig.“
Christian: „Das ist doch peinlich. Die Kunden sind sauer, weil ihr Abo nicht funktioniert hat! Und du teilst ihnen jetzt mit, dass es daran lag, dass bei uns Dilettanten arbeiten, die Bugs in Produktion pushen, niemanden um Hilfe fragen und dann auch noch so dämlich sind, den falschen API Key zu verwenden? Jens bekommt das einfach nicht auf die Reihe ...“
Ruben: „Ich finde, Jens hat sehr professionell reagiert. Und du glaubst doch wohl nicht, dass er dich um Hilfe bittet, wenn du so über ihn redest!“
In komplexen Systemen passieren Fehler ...
Im MusicStore-Team ist ein Fehler passiert, der Endkunden verärgert und vermutlich auch zu Umsatzeinbußen...

