adminblogger.de

Die Woche fing gerade erst an (es war wohl so so gegen halb 10), ich hatte noch nicht einmal die morgendliche Koffein-Dosis intus, da bekundete ein Mitarbeiter mir gegenüber, daß sein Thunderbird immer in einen Timeout laufe und er auf sein IMAP-Postfach nicht zugreifen könne.

Kurz mal einen Ping abgesetzt und Tatsache - der Server war entweder mit einer ordentlichen Kernel-Panic abgeraucht oder das Kabel/der Switchport oder die NIC waren im Ar^Wkaputt. Keine 2 Minuten später erreichte mich die Nachricht, daß ein weiterer Produktiv-Server ausgefallen sei - nun wurde ich langsam leicht nervös.

Eine Maschine: kann mal passieren.
Zwei Maschinen, gleichzeitig tot: Zufall? Nicht mit mir.

Also Laptop-Tasche mit all den kleinen nützlichen Utensilien geschnappt, ins Auto geschwungen und bei geöffnetem Fahrer- und Beifahrerfenster (es war sonnig und für die Tageszeit schon sehr warm) und lauter Mukke zum Datacenter gedüst.

Kaum angekommen und einem der Datacenter-Mitarbeiter erzählt, wir hätten da Probleme mit 2 Maschinen ... Antwort: "Ja, wissen wir."

Dabei denkt man sich noch nichts - schließlich sind das dort alles Profis und gucken laut SLA auch regelmäßig an unseren Racks vorbei um uns zu informieren, wenn Server mit ihren LEDs um Aufmerksamkeit betteln. Im weiteren Gespräche wurde allerdings schnell klar, daß die Sache etwas heikler war als ich ursprünglich dachte:

Der Mitarbeiter erklärte mir, daß eine der redundant ausgelegten Klimaanlagen wegen einer Verstopfung im Kühlmittelkreislauf ausgefallen sei. Die vorhandene Backup-Klima sei jedoch deshalb nicht hochgefahren, weil die Primäre den Fehler nicht erkannte und die Elektronik weiterhin der Meinung war, die Anlage würde funktionieren.

Schlußendlich haben die Mitarbeiter dann das defekte Bauteil aus der Klimaanlage ausbauen müssen, damit die Elektronik eine Fehlfunktion an die Backup-Klima signalisierte und diese daraufhin wie gewollt den Dienst aufnahm.

*überall hektische Betriebsamkeit im Datacenter*

Dummerweise waren seit dem Ausfall der primären Klimaanlage bis zum Hochfahren der Zweiten einige Minuten vergangen, so daß die Temperatur im Serverraum, wo u.a. auch unsere Server stehen, von etwa 22°C Normalniveau auf 32°C angestiegen war.

Als ich dann im Serverraum vor unseren Racks stand und "meine Babies" überflog, viel mir fast die Kinnlade runter - inzwischen hatten sich zu den zwei Servern, die sich wegen der viel zu hohen Temperatur selbständig abgeschaltet hatten, zwei weitere Rechner gesellt. Vier Server temporär außer Gefecht und das wo alle Server im Produktiv-Einsatz waren :(.

Nach dem Anfahren der Backup-Klima dauerte es noch einmal mindestens 10 Minuten, bis der Raum auf ein Level heruntergekühlt war, bei dem sich die vier Server mit "Hitzefrei" nicht mehr weigerten, den Dienst wieder aufzunehmen.

Zwischenzeitlich kam ein Mitarbeiter des Datacenters mit einem mobilen Klimagerät angerollt und positionierte es vor einem unserer Racks, um ein temperaturbedingtes Abschalten weiterer Server (erfolgreich) zu verhindern.

Resultat dieses turbolenten Vormittags: Ein zerschossenes Journal auf einer ext3-Partition, was sich aber mit ein bisschen Fummelei reparieren ließ und ein ausgefallener Lüfter in einem der vier HP Server, für den aber sofort Ersatz geordert wurde.

*Kaffee schlürf*