10.1.2018 13:30

Ab heute läuft auch der Mailinglisten-Server wieder - Mails welche in den vergangenen Tagen an Mailinglisten verschickt wurden, konnten aber nicht zugestellt werden.

Einige Webseiten waren aufgrund fehlerhafter DNS-Einträgen noch nicht erreichbar. Diese sind nun korrigiert, die Webseiten wieder online.

Nach unserer Einschätzung gingen durch den Harddisk-Ausfall keine Userdaten verloren.

6.1.2018 21:45

Noch etwas Hintergrund: In einem unserer Server sind auf einmal 4 von 8 Harddisks gestorben. Wir haben da zwar ein Raid 10, aber 2 der kaputten Disks waren zusammen in einem Raid 1. Dadurch sind da einige Daten nicht mehr lesbar.

Wir konnten fast alle Services auf anderen Maschinen wieder in Betrieb nehmen.

In den kommenden Tagen werden wir versuchen, die restlichen Daten wiederherzustellen.

Im Zuge der ganzen Übung mussten wir auch die sogenannten glue records von ns1.xiala.net und n2s.xiala.net (also unseren DNS Server) ändern. Bis das ganze Internet diese Änderung übernommen hat, kann es eine Weile dauern. Soweit wir das sehen, ist das unterdessen fast überall durch. Im Swisscom Netz scheinbar noch nicht ganz allerdings. Das wird sich im Verlauf der nächsten Stunden einpendeln.

Wir werden das Morgen nochmal überprüfen und sind auch froh, wenn ihr uns mitteilt, wenn ihr noch Probleme haben solltet.

6.1.2018 20:15

Zimbra läuft nun seit einiger Zeit wieder. Mails kommen rein. Es sollten keine Mails verloren gegangen sein, da die absendenden Mailserver das nochmals probieren, wenn eine Mail nicht zugestellt werden konnte während der Downtime.

Solltet ihr noch Probleme haben, so meldet euch bei uns.

6.1.2018 17:15

DNS und fast alle Webseiten sind wieder online.

Mit Mail/Zimbra haben wir Probleme. Da wird es nicht sofort eine Lösung geben. Wir sind da dran und werden hier weiter informieren.

6.1.2018 13:00

Operation am offenen Herzen ist am laufen.

5.1.2018

Wir haben aktuell Probleme mit einem RAID Controller. Dadurch sind einige Services nicht erreichbar. Wir arbeiten an einer Lösung.

Update folgt.

25.7.2017 17:20

Alle Webseiten sind wieder online.
Der alternative Mailserver den einige verwenden ist auch wieder online.

Solltet ihr mit eurem Mail oder eurem Webhosting Probleme haben, so meldet euch bei admins@lists.xiala.net.

Wir werden hier weiter informieren. Die Arbeiten sind noch eine Weile nicht abgeschlossen. Es sind auch nach wie vor einige Services nicht erreichbar.

Alle Xiala Benutzerinnen und Benutzer werden noch ein Mail erhalten in dem wir etwas genauer auf die Vorfaelle der letzten und kommenden Tage eingehen werden.

25.7.2017 16:40

Yeah! Wir konnten eine temporaere Loesung fuer die Nameserver in Betrieb nehmen. Damit sind viele Services wieder erreichbar.

Seit einer knappen Stunde laeuft Zimbra wieder. Mails kommen rein. Das Webmail ist verfuegbar unter https://zimbra.xiala.net. Wir beobachten das weiter.

Auch ein Teil der Websiten ist bereits wieder online. Die restlichen folgen hoffentlich in den naechsten Stunden.

Naechstes Update: 25.7.2017 19:00

25.7.2017 08:15

Es bestehen noch Probleme mit dem Netzwerk und mit den DNS. Daher sind nach wie vor keine externen Services von aussen erreichbar. Wir arbeiten weiter an der Loesung und werden hier weiter informieren.

Naechstes Update: 25.7.2017 18:00

24.7.1027 18:25

Wir konnten nun die Basis der Infrastruktur wieder herstellen. Erfeulich ist im Speziellen, dass das Mailsystem (Zimbra) zurück ist und wohl ohne Datenverlust, wieder läuft. Leider sind unsere Nameserver komplett gestorben und wir sind diese am erneut Installieren. 

Es lebt:
  • Zimbra - Mail
  • lists.xiala.net
  • einige aber noch nicht alle Webhosting servern
  • interne infrastruktur (partiell - muss zum teil ebenfalls ersetzt werden)
  • public DNS resolvers

Am ersetzten:

  • Authoritive DNS Servern (Nameserver damit z.b. xiala.net oder zimbra.xiala.net wieder funktioniert)

Noch unklar:

  • einige Webhosting Servers
  • public gitlab Server
  • TinyTinyRSS
  • Jabber (XMPP) Server
  • alternativer Mailserver ohne Zimbra

Nächstes Update: um 25.7.2017 18:00

24.7.2017 11:50

Wir konnten einige internen Dienste wieder starten, sind aber nach wie vor daran diverse Probleme zu loesen. Nach wie vor koennen wir keine Prognose abgeben, wann Mail und Hostingdienste wieder zur Verfuegung stehen. Wir hoffen weiterhin, dass wir alle Daten wiederherstellen koennen. Wir werden ueber diese Website kommunizieren wenn sich daran etwas aendern sollte.

Naechtes Update: spaetestens 24.7.2017 18:00

23.7.2017 20:00

Eine Verkettung von Problemen fuehrt seit Freitagnachmittag zu grossen Problemen mit unserer Infrastruktur. Momentan sind alle Services nicht erreichbar. Wir arbeiten mit Hochdruck an der Loesung der Probleme, koennen bis jetzt aber keine Progose machen, wann die Services wieder erreichbar sein werden. Wir hoffen, dass wir saemtliche Daten wiederherstellen koennen, machen aber auch da keine Prognose zum jetzigen Zeitpunkt.

Naechstes Update: spaetestens 24.7.2017 um 12:00