Sentrale systemer - Driftsavbrudd

Tirsdag 16. juni kl. 11:54 opplevde vi et totalt strømbrudd i et av våre datasentre. Strøm ble delvis gjenopprettet kort tid etter dette. Enkelte tjenester hadde få minutter nedetid. Noen tjenester var oppe før kl. 13:00, de fleste kritiske tjenester var i normal drift innen kl. 14:30. Hendelsen medførte følgefeil for flere tjenester og feilretting fortsatte utover ettermiddagen og kveld. En del testmiljø og QA-miljø ble først feilrettet påfølgende formiddag.

Rotårsak

Driftsleverandør ved datasenteret bekreftet strømbrudd i forbindelse med et varslet og planlagt arbeid på batteri nødstrøm (UPS). Lokasjonen har flere redundante løsninger for strøm, inklusive flere føringsveier, UPS og aggregat. Det var ikke forventet noe nedetid eller ustabilitet i forbindelse med dette arbeidet. Redundant strøm ble re-etablert og verifisert senere samme dag.
Vi har ikke rukket å ettergå detaljene i hva som gikk galt med det planlagte vedlikeholdet med vår leverandør, men dette vil bli fulgt opp på en ryddig måte. NHN har siden hendelsen inntraff fokusert på våre egne tjenesteleveranser og læringspunkter vi selv kan følge opp i lys av utfallet. Denne feilen skulle ikke skjedd, men vi må være forberedt på at det kan skje - selv med redundans. Det er viktigere for oss å se på hvordan vi kan tåle et slikt utfall til neste gang.

Konsekvens

Et stort antall av våre tjenester var helt nede eller berørt av utfallet som følge av avhengigheter til andre tjenester. Tjenester som kjører fra andre datasentre var i utgangspunktet uberørt, men kan ha hatt avhengigheter til tjenester som var nede mens feilen pågikk.
Flere av våre tjenester har geografisk redundans og trafikk ble flyttet over til andre datasentre så fort det lot seg gjøre. Det er ikke slik at tjenester i dag lever isolert, mange av våre tjenester (og samarbeidspartneres tjenester) var derfor oppe - men med redusert funksjonalitet på grunn av avhengigheter til andre tjenester som fortsatt var nede. Dette innebærer at noen tjenester kom opp igjen allerede fra kl. ~12:40, mens andre hadde utfordringer som krevde feilsøking og feilretting utover ettermiddagen. Vi ser at varslingen på status.nhn.no ikke skalerer godt nok ved hendelser hvor et så stort antall tjenester blir berørt - og hvor status på tjenestene varierer til forskjellig tid. Deler av våre management-systemer og overvåking ble også berørt av hendelsen, som vanskeliggjorde situasjonsforståelse i en tidlig fase av hendelsen.

Strøm var delvis re-etablert kl. ~12:30, men vi fikk beskjed av datasenterets driftsleverandør at arbeid fortsatt pågikk på strømtilførsel. Vi måtte derfor avvente med å ta opp tjenester i påvente flere strømbrudd. Klokken 13:11 fikk vi klarsignal og kunne begynne arbeid med å ta opp våre tjenester for fullt. Infrastrukturen i vårt datasenter ble gradvis reetablert, vi hadde utstyr med hardware-skader etter bruddet som måtte feilrettes. Videre ble tjenester prioritert fortløpende av hendelseshåndteringsteamet.

Fra kl. ~14:30 var de fleste kritiske tjenester oppe og stabile, men på dette tidspunktet så vi fortsatt til dels store avvik på avhengigheter mellom tjenester.
Feilretting pågikk aktivt frem til kl. ~18:00 da var de aller fleste av våre produksjonsmiljø i normal drift. Det pågikk videre arbeid med opprydding i mange team utover kvelden. Noen test/QA miljø ble prioritert og feilrettet på kvelden, de fleste ble først feilrettet påfølgende formiddag.