proggen.org Down (3. 1. 2011; 16-20:30 Uhr)

[Xin]

Beinahe schon wieder vergessen zu beschreiben, was hier los war. ^^

Der Spaß begann damit, dass der Datenbank-Service die letzten Tage schon als etwas langsam auffiel. Mir ist es zwar auch aufgefallen, aber es hat bei mir nicht geklingelt - manchmal ist jede Verbindung ja nicht soooo schnell. Es war aber wohl tatsächlich der proggen.org-Server.. Die Datenbanken für proggen.org haben inzwischen eine gewisse Größe erreicht, so dass sich mysql mächtig Speicher sichert und die Kiste damit beginnt zu swapen. Damit dauern die Anfragen mehrere Sekunden.

Aber die Kiste lief ja noch, wenn auch langsam. Gegen halb vier schrieb Apache ins Protokoll, dass er nicht mehr alle Anfragen beantworten konnte, weil mehr als 150 Anfragen gleichzeitig vorlagen. Die Kombination aus 150 gleichzeitigen Anfragen und der Tatsache, dass mySql schon den Speicher komplett belegt hatte führte dann vermutlich dazu, dass reihenweise Dienste die Grätsche machte. Zu dem Zeitpunkt war ich nicht zu Hause, gegen 18 Uhr bemerkte ich erst, dass der Server nicht mehr reagierte.
Hier müssten wir mal überlegen, ob wir ein Admin-Backup erreichen, damit vielleicht mehr Personen solche Dinge beheben können, bzw. die Moderatoren etwas vehementer Alarm schlagen.

Der Server war zunächst nur noch anpingbar, aber ansonsten nicht mehr erreichbar. Durch einige Missverständnisse mit dem Support verzögerte sich die Reparatur um gut zwei Stunden. Als ich schließlich wieder an den Server herankam, war der Server abgeschaltet und daher wie von einigen bemerkt auch nicht mehr anpingbar. Einschalten - läuft.

Wir hatten bereits einen Ausfall wegen Speichermangel, da war mir schon klar, dass sich das früher oder später wiederholen wird. MySQL verbraucht einfach nach einigen Wochen mehr Speicher als wir zur Verfügung haben. Die bisherige Lösung war ein Restart nach einiger Zeit. Ich habe jetzt einen zusätzlichen Server mit mehr RAM geordert, auf dem ich nur die Datenbank auslagern werde. Das heißt, dass der bisherige Server nur noch den Webservice macht und der neue Server nur noch die Datenbank übernimmt.

Wir werden also in der nächsten Zeit nochmals eine Zeit lang offline gehen, um die Datenbank auszulagern.