Perjantaina 10. helmikuuta noin klo 13:30 havaitsimme Manu Online -sovelluksen suorituskyvyn voimakkaan hidastumisen. Tämä suorituskyvyn heikkeneminen oli niin vakavaa, että järjestelmä oli käytännössä käyttökelvoton.

Syitä tutkittaessa havaittiin, että palvelimissamme ei ollut ongelmia vaan ongelma oli konesaliverkossa, joka esti palvelimia kommunikoimasta kunnolla toistensa kanssa. Eskaloimme tämän ongelman nopeasti datakeskustoimittajamme Rackspacelle. He vahvistivat, että Manu Online -järjestelmien ulkopuolella oli laajempi palvelinkeskushäiriö. Kaikki heidän Lontoon palvelinkeskuksensa asiakkaat kärsivät samasta ongelmasta.

Rackspace korjasi ongelman, mutta se vei heiltä jonkin aikaa. Tässä on heidän lausuntonsa:

”10.2.2023 alkaen noin klo 11.40 UTC, osa asiakkaista on saattanut kokea lyhyen viiveen tai pakettihäviön, kun liikenne epäonnistui LON3-palvelinkeskuksen laitteelle johtuen korkeasta CPU-käyttöasteesta reitittimessä. Klo 14.39 UST insinöörit tekivät muutoksia viallisiin portteihin kyseisessä yhdistämisreitittimessä, mikä ratkaisi ongelman.”

Pahoittelemme tätä harvinaista palveluhäiriötä. Vuosien varrella Manu Online on ajoittain kärsinyt muutaman tunnin verkkovioista. Olemme kuitenkin edelleen ylpeitä siitä, että järjestelmä ei ole koskaan ollut kokonaista työpäivää poissa käytöstä.