Informationen zum teilweisen Stromausfall am 5.11.2015 im EUserv Rechenzentrum Jena
Nach unserem aktuellen Kenntnisstand gab es in einem Stromkreis auf Grund des Ausfalls einer Platine in einer Kühlanlage eine Überspannung, welche mehrere Resetsysteme und einige wenige Servernetzteile, RAM-Riegel und Festplatten zerstörte.
Der Normalzustand des Rechenzentrums sieht schematisch dargestellt wie folgt aus:
Bild 1, Normalzustand im RZ
Auf Grund der Überspannung waren einige der PDU’s ausgefallen, welche angeschlossene Server stromlos schalteten. Der Zustand nach der Überspannung ist in der nachfolgenden Darstellung schematisch dargestellt:
Bild 2, Zustand nach Defekt
Hiermit führen wir Euch stichpunktartig den Ablauf des Tages für die bearbeitenden Techniker auf:
ca. 8.30 Uhr:
Das Monitoring meldet Ausfälle von Systemen in ungewohnter Anzahl. (Eine geringe Anzahl kommt immer vor, z.B. durch Reboots der Kunden oder einem Hardwaredefekt an einem einzelnen Server.)
ca. 9.00 Uhr:
Eine erste remote durchgeführte Diagnose stellt fest, dass es sich um einen teilweisen Ausfall in der Stromversorgung oder Netzwerkkomponenten handeln muss.
ca. 9.05 Uhr:
Der erste Techniker befindet sich bereits auf dem Weg zu den defekten Rackreihen.
ca. 9.10 Uhr:
Die Geschäftsführung, Support und Marketing werden über die Störung informiert. Informationen für anfragende Kunden werden für Telefon und Email zusammengestellt. Nutzer der Twitter-Kanäle @euservsupportde und @euservsupporten erhalten die ersten Informationen.
ca. 9.30 Uhr:
Die Diagnose an den Geräten bestätigt ein Stromproblem.
ca. 10.00 Uhr:
Die Bestandsaufnahme stellt einen Defekt an der Stromversorgung für ca. 200 Server fest. Der Techniker beginnt mit der Analyse des Defektes.
ca. 10.30 Uhr:
Es wird ein Defekt an einem Kühlsystem festgestellt, welches eventuell mehrere Sicherungen ausgelöst hat. Ein externer Dienstleister wird mit der Analyse beauftragt.
ca. 11.00 Uhr:
Weitere Techniker treffen zur Unterstützung ein. Es wird mit der Planung für eine temporäre Lösung zur Überbrückung der defekten PDU’s begonnen, da nicht genügend neue Geräte auf Lager sind.
ca. 11.30 Uhr:
Der externe Dienstleister stellt einen Defekt an der Kühlanlage fest. Diese wird vom Netz getrennt.
ca. 11.45 Uhr:
Die temporäre Lösung wird implementiert. Die Techniker arbeiten nach und nach die Server ab und fahren diese ohne PDU wieder hoch.
ca. 17.00 Uhr:
Weitgehend alle Server sind wieder online. Es werden abschliessende Arbeiten durchgeführt und durch den Stromausfall defekt gegangene Server für die Werkstatt vorbereitet.
ca. 19.00 Uhr:
Finale Checks bestätigen, dass 98% aller betroffenen Server wieder online sind.
ca. 19.45 Uhr:
Die Störung wird als beseitigt angesehen. Aufräumen.
ca. 20.00 Uhr:
Der Geschäftsführer Herr Seidel bedankt sich bei den Technikern und mahnt sie, endlich etwas zu essen und zu trinken.
Nachfolgend wurden mit Kunden defekter Server individuelle Vereinbarungen bis hin zum Servertausch vorgenommen.
Folgende Änderungen und nachträgliche Arbeiten werden wir auf Grund des Vorfalls prüfen und sofern möglich und sinnvoll implementieren:
- Prüfung und Austausch der defekten Kühlsysteme
- Technische Realisierbarkeit der Entkoppelung Kühlung / Technik und deren Durchführung (Anmerkung: Wir sind hier technisch auf Grund der Raumsituation eingeschränkt.)
- Ersatz der defekten PDU’s in Form einer geplanten Wartungsmaßnahme
- Lagerung von zusätzlichen PDU’s/Resetsystemen, sofern das kommerziell sinnvoll ist
- Erhöhung des Lagerbestandes an herkömmlichen PDU’s, sofern das kommerziell sinnvoll ist
- Schaffung einer offline verfügbaren Prioliste für das Reaktivieren von Servern
- Schaffung einer aktuellen Statusseite, die Kunden über den Stand der Arbeiten informiert
Allen betroffenen Kunden möchten wir an dieser Stelle für ihre Geduld danken und uns für eventuelle Unannehmlichkeiten nochmals entschuldigen!
Tags:
Welche Folgen hat „Server-Tasting“?
Beim sogenannten „Server-Tasting“ bestellt ein Kunde unter einem oder mehreren Kundenaccounts und unregelmäßigen Abständen einen oder mehrere (in der Regel neue) Server als Monatsvertrag, um sie sofort nach der Bereitstellung (meist innerhalb weniger als 2 Tagen!!) wieder zu kündigen.
Ein solches Verhalten wird bei EUserv als „Server-Tasting“ gewertet, also das kurze „Antesten“ eines Servers ohne einen wirklichen Nutzungszweck. („Tasting“ kann man wohl als sinnvollen Nutzungszweck für einen Server ausschliessen.)
Solches Verhalten ist grundsätzlich legal, denn wir bieten ja auch Monatsverträge an. Nichts desto trotz ist es schädlich für die Beziehung zwischen unseren Kunden und uns, denn es führt zwangsläufig zu Nachteilen auf beiden Seiten. Die Monatsverträge sind nicht für solche Zwecke gedacht, sondern als flexible Kündigungsmöglichkeit, sofern z.B. ein Server kurzfristig zu klein wird und ein größerer gemietet werden muss.
Um nur ein paar Beispiele für Nachteile zu nennen:
1.) Die Wartezeiten für Kunden mit einem wirklichen Nutzungswunsch erhöht sich auf Grund der Blockierung eines Servers durch einen „Taster“. Die Folge ist Unzufriedenheit bei dem Kunden, der warten muss.
2.) Der Freibestandes von Servern im Rechenzentrum und damit das Vorhaltevolumen freier Server erhöht sich. Die Folge sind höhere Lagerhaltungs- und Vorfinanzierungskosten der Hardware.
3.) Der Aufwand bei Produkt- und Angebotspflege erhöht sich. Das hat einen höheren Personalaufwand und damit höhere Kosten zur Folge.
Wir beobachten dieses Verhalten (gerade beim aktuellen „Summer Server Sale 2013“) mit etwas Sorge und möchten mit diesem Hinweis alle Kunden sensibilisieren.
Zusätzliche Kosten müssen schließlich auf alle umgelegt werden. Will das jemand?
Wir werden deshalb zukünftig Kunden mit „Server-Tasting“ Verhalten aufspüren und deren Bestellmöglichkeiten entweder komplett oder teilweise einschränken.
Tags: dedizierte Server, mißbrauch, server-tasting
Summer Server Sale 2013: Gestartet und (fast) sofort ausverkauft
Erstmal die offizielle Announce vom Donnerstag:
Wie schon im letzten Jahr gibt es auch dieses Jahr einige dedizierte Server zum Sonderpreis im „Summer Server Sale 2013“. Die Server sind auf einen Server je Kunde limitiert.
Server #1:
AMD Athlon64 3000+ oder besser
1,5 Ghz+ 64Bit, SingleCore
2 GB RAM
1x 250 GB SATA2 HDD
Anbindung über 100Mbit-Port mit 100Mbit/s Bandbreite
Traffic Flatrate ohne Zwangsdrosselung
1x IPv4 und 1x IPv6 Adressemonatlich EUR 13.09
—
Server #2:Intel Pentium Dual Core E5200
2x 2,5 Ghz – 64Bit
4 GB RAM
2x 500 GB SATA2 HDD SW-RAID0/1
Anbindung über 100Mbit-Port mit 100Mbit/s Bandbreite
Traffic Flatrate ohne Zwangsdrosselung
1x IPv4 und 1x IPv6 Adressemonatlich EUR 17.85
—
Server #3:Intel Core i5 2400
2x 3,1 Ghz – 64Bit, Intel VT
16 GB RAM
2x 1000 GB SATA3 HDD SW-RAID0/1
Anbindung über 100Mbit-Port mit 100Mbit/s Bandbreite
Traffic Flatrate ohne Zwangsdrosselung
1x IPv4 und 1x IPv6 Adressemonatlich EUR 28.56
—
Server #4:Intel Core i5 2400
2x 3,1 Ghz – 64Bit, Intel VT
16 GB RAM
2x 1000 GB SATA3 HDD SW-RAID0/1
Anbindung über 1Gbit-Port mit 200Mbit/s Bandbreite
Traffic Flatrate ohne Zwangsdrosselung
1x IPv4 und 1x IPv6 Adressemonatlich EUR 46.41
Alle Infos und Bestellung unter
http://www.euserv.de/produkte/specials/summer-server-sale-2013.php
Wir haben wie bei fast jedem Special in der Vergangenheit ca. 50 Server „on Stock“. Jetzt kommt auch schon das „leider“: Leider ist der Server #2 schon nach etwa 2h ausverkauft. Die Twitter– und Mailinglisten-Leser waren diesmal ganz klar im Vorteil und haben sofort zugeschlagen. Nun denn. Rock’n’Roll!
Tags: dedizierte Server, mailingliste, Server, sonderangebote, specials, summer server sale, twitter
Und wieder geht ein Stück „Offline“: Goodbye Serververtrag
Er hat ausgedient, der gute alte schriftliche Serververtrag. Seit dem Start von EUserv im Jahr 2005 hatten wir ihn im „Gepäck“. Etwas lästig für unsere Kunden war er verständlicherweise schon, aber auch uns hat er Arbeit und Zeit gekostet. (Fax, Post, Papier uuuhh!)
Kurz und knapp dann die Announce diese Woche:
Im Rahmen der Vereinfachung und Verbesserung der bisherigen Abwicklung der Serverbestellungen (Dedizierte Rootserver) fällt mit sofortiger Wirkung die Notwendigkeit des schriftlichen Serververtrages weg.
Gerade alle Reseller, welche die API nutzen, wird das (hoffentlich) freuen. Die Bereitstellungszeiten verkürzen sich dadurch ebenso.
Unsere Auftragsbearbeitung wurde bereits umgestellt, d.h. alle bereits bezahlten, aber noch nicht durch den Serververtrag bestätigten Server werden automatisch bearbeitet.
An dieser Stelle sagt das gesamte Team von EUserv „Bye Bye lieber Serververtrag!“. Wir werden Dich nicht vermissen. 🙂
Tags: fax, offline, Server, serververtrag, snailmail
Neues Rechnungsformat gestartet
Heute war es endlich soweit. Die bereits lang überfällige Aktualisierung und Verbesserung unserer Rechnungserstellung fand statt.
Es wurde das Logo sowie die gesamte Formatierung der Rechnung unter Einbezug vieler in den vergangenen Jahren eingegangenen Wünsche und Anregungen geändert. Weiterhin sind die Rechnungen von nun an nicht mehr als Dateianhang in der Mail enthalten, sondern direkt im Kundencenter über eine gesicherte Verbindung abrufbar.
Neben einem weit reibungslosen Verlauf hat sich aber leider auch ein kleiner Fehler eingeschlichen: Kunden, welche am Lastschriftverfahren teilnehmen, bekommen als Footer auf der aktuellen Rechnung den Hinweis zum Überweisen angezeigt.
Für alle, die das betrifft:
Laßt Euch nicht verwirren – Lastschrift gibt es weiterhin. Zur Sicherheit schaut Ihr Euch einfach im Kundencenter im Menüpunkt „Zahlweise“ an, ob Ihr Lastschrift gewählt habt. 🙂
Einen Patch werden wir gleich nächste Woche im Kundencenter einspielen, so dass zukünftige Rechnungen auch den korrekten Hinweis als Footer verpaßt bekommen.
An alle Feedbackgeber sei an dieser Stelle vom Entwicklerteam ein großer Dank an Euch übermittelt!
Tags: Bezahlung, Lastschrift, Rechnung
Kunden und ihre Fehlerbeschreibungen
Im Support gibt es immer viel zu tun. Das machen wir natürlich gern. Schwierige Fälle sind aber die, bei denen sich der Kunde mit sinnfreien oder extrem „minimalistisch“ beschriebenen Problemen bei uns meldet.
Ein Beispiel:
Ein Kunde stellt fest, dass er beim Aufruf seines Onlineshops (welches auf einem dedizierten Rootserver bei uns liegt) lange warten muss, bis es komplett angezeigt wird.
So weit, so gut. Das kann sehr sehr viele Ursachen haben.
Das Problem jedoch ist dann die Mitteilung dieses Kunden an unseren Kundensupport per Email:
—–
Von: „Harald M. “
„Hallo,
mein Webshop ist langsam. Gibt es Probleme bei Euch?
Bitte dringend um Antwort.
Mfg,
Harald M.“
—–
Nun stehen unsere Supporter vor einem Dilemma. Auf der einen Seite wollen sie die Kundenanfrage so schnell wie möglich und so präzise wie möglich beantworten. Auf der anderen Seite wissen sie nicht einmal, wer „Harald M.“ wirklich ist, da wie in 85% aller Anfragen weder die Emailadresse in seinen Kundendaten hinterlegt ist, noch der abgekürzte Nachname recherchierbar ist.
Das richtige und einigermaßen zielführende Vorgehen des Kunden wäre gewesen:
“
Name: Harald Müller
Kundennummer: 12345678
Vertragsnr: 123456
Hallo Support,
ich habe ein Problem mit meinem Webshop. Ich habe bereits auf Ihrer Statusseite nach Wartungsarbeiten geschaut und meinen Internetzugang geprüft. Beides zeigt keine Wartungen bzw. Fehler, andere Webseiten lassen sich problemlos aufrufen.
Mein Webshop mit der Software „XYZ“ läuft auf dem Server mit der o.g. Vertragsnummer. Kann es zu ungeplanten Performanceeinbrüchen ohne mein Zutun oder Veränderungen am Shop kommen, denn aktuell wird das Shop auf dem Server sehr träge von meinem Browser (Firefox 13) geladen?
Ich bitte um schnellstmögliche Rückmeldung, auch wenn ich keinen extra Support-SLA gebucht habe.
mit freundlichen Grüßen,
Harald Müller
“
Mit dieser Anfrage können unsere Supporter schon viel mehr anfangen. In dem Fall können wir sofort lokalisieren, dass der Kunde einen Rootserver bei uns hat (für dessen Softwarekonfig wir eigentlich nicht zuständig sind) und dem Kunden anbieten, einen Techniker auf den Server „draufschauen“ zu lassen, jedoch mit dem Hinweis, dass das extra kostet, da es ja ein Rootserver und kein managed Server ist.
Nach dieser kleinen Episode aus dem Support möchten meine Kollegen mit diesem Blogbeitrag alle Kunden bitten, ihre Anfragen so detailliert wie nur geht zu stellen, damit sie nichts deuten müssen. Ansonsten können nur einschlägige TV-Sender helfen.
Tags: fehler, kontakt, Rootserver, Support
„Please call again later….“
Auf ein Neues…. |
|
13:24 Uhr |
1. Anruf bei einer Servicehotline |
13:25 Uhr |
Bandansage: „Guten Tag und herzlich willkommen beim Kundenservice …… Damit wir Sie schnell mit dem richtigen Berater verbinden können, nennen Sie uns bitte kurz den Grund für Ihren Anruf. Sie können zwischen folgenden Themengebieten wählen: Rechnung, Störungen, Vertragsdetails, ………..“ |
13:27 Uhr |
>Rechnung< |
13:28 Uhr |
„Bitte nennen Sie uns nun Ihre Rufnummer.“ |
>03641……. < |
|
13:29 Uhr |
„Bitte nennen Sie uns Ihre Kundennummer“ |
>324… < |
|
13:30 Uhr |
„Bitte nennen Sie uns die Rechnungsnummer.“ |
>2012….. < |
|
13:31 Uhr |
„Bitte wiederholen Sie die Rechnungsnummer.“ |
>2012….. < |
|
13:32 Uhr |
„Bitte nennen Sie uns das Rechnungsdatum.“ |
>04.01.2012 < |
|
13:34 Uhr |
„Sie werden mit dem nächsten freien Mitarbeiter verbunden.“ |
Warteschleifenmusik erklingt |
|
13:37 Uhr |
Eine Stimme ertönt. Eine echte Stimme, keine Bandansage! |
„Aufgrund von Wartungsarbeiten am Kundencenter steht der Support derzeit nicht zur Verfügung. Bitte rufen Sie zu einem späteren Zeitpunkt wieder an.“ |
|
13:38 Uhr |
Wie jetzt? Das war doch aber eine echte Stimme… |
>Wann genau soll ich es noch einmal versuchen?< |
|
13:39 Uhr |
„Darüber kann ich Ihnen leider keine Auskunft geben. Bitte rufen Sie später wieder an.“ |
Ich wollte noch etwas sagen, aber in dem Moment hatte die gute Dame schon wieder aufgelegt.
Nach zwei Tagen versuchte ich es noch einmal. Die selbe Prozedur mit Spracherkennung usw.. Aber dieses Mal kam ich durch und bekam auch eine „richtige“ Antwort. 😀
„Herr Ober: Ein Pitzel mit Schnilzen bitte!“
Mund zu schnell, Kopf zu langsam…
Die schönsten Versprecher und WortNEUschöpfungen meiner Kollegen in DIESER Woche:
* Sie könnten ruhig etwas frexibler sein (…).
* Man kann das Ganze auch verkomplifizieren.
* Das ist zu verspielt. Können wir das nicht versöriösifizieren?
* Bevor wir beginnen, benötige ich erstmal ein paar Fahlen und Zakten bitte.
* Das funktioniert schon, da müssen wir aber erst die Verlüpfung herstellen.
* Der RAM der neuen Server ist doch dynamsisch oder?
Schön, dass jeder von uns mal so einen Tag hat und zur Erheiterung der anderen beitragen kann. Man hilft sich ja schließlich, wo man kann. 😀
Tags: EUserv, Tücken des Alltags, Versprecher
„Please hold the line“
So etwas hat wohl jeder schon einmal erlebt. 😀
10.10 Uhr | 1. Anruf bei einem Telefonanbieter | ||
10.11 Uhr | „Einen Moment bitte, Sie werden mit dem nächsten freien Mitarbeiter verbunden.“ | ||
10.14 Uhr | Warteschleifenmusik erklingt | ||
Besetztzeichen | |||
10.15 Uhr | aufgelegt | ||
Kann ja mal passieren, vielleicht hatte das Kundencenter technische Probleme oder war überlastet. | |||
10.23 Uhr | 2. Anruf bei einem Telefonanbieter | ||
10.24 Uhr | „Einen Moment bitte, Sie werden mit dem nächsten freien Mitarbeiter verbunden.“ | ||
Warteschleifenmusik erklingt | |||
10.27 Uhr | Durchbruch! Endlich hatte ich einen echten Menschen am Telefon: „Oh, bei mir sind Sie leider falsch. Sie müssen eine andere Servicenummer anrufen. “ | ||
Kein Problem, rufe ich eben bei der anderen Nummer an. | |||
10.34 Uhr | 3. Anruf bei einem Telefonanbieter | ||
10.36 Uhr | „Einen Moment bitte, Sie werden mit dem nächsten freien Mitarbeiter verbunden.“ | ||
und wieder Warteschleifenmusik … | |||
Callcenter haben eben viel zu tun und ich bin sicherlich nicht der einzige Kunde der anruft. Warte ich mal noch etwas…. | |||
11.58 Uhr | 4. Anruf bei einem Telefonanbieter | ||
12.09 Uhr | „Einen Moment bitte, Sie werden mit dem nächsten freien Mitarbeiter verbunden.“ | ||
Die schon viel zu gut bekannte Warteschleifenmusik erklingt 😐 | |||
12.15 Uhr | Besetztzeichen | ||
12.16 Uhr | aufgelegt | ||
Gibt es das? Ich bin ja nun wirklich eine verständnisvolle Person, aber was ist denn hier los? | |||
12.20 Uhr | 5. Anruf bei einem Telefonanbieter | ||
Na? Was glaubt Ihr was jetzt wohl kommt? | |||
…„Einen Moment bitte, Sie werden mit dem nächsten freien Mitarbeiter verbunden.“ |
|