1. Probleemomschrijving

Op 9 oktober 2024 om 18:58 nam X-Guard een netwerkprobleem waar op een verbinding tussen verschillende systemen.

Deze verstoring leidde tot vertragingen in onze dienstverlening. Het volledige incidententeam werd ingeschakeld.

2. Impact

Het probleem ontstond in de verbinding met een belangrijk systeem dat twee essentiële taken uitvoert:

1. Het oproepen van collega’s bij een alarm (“Onderling Melden”).
2. Het escaleren van een alarm naar een meldkamer.

Ondanks de netwerkverstoring bleven alle alarmen binnenkomen in ons systeem, en er zijn geen alarmen gemist of niet verwerkt.

Door eerder getroffen veiligheidsmaatregelen konden alarmen die niet automatisch werden doorgestuurd naar collega’s of een meldkamer toch snel worden opgevolgd door ons storingsteam.

3. Oorzaak

Na onderzoek bleek de oorzaak een DNS-probleem te zijn bij een externe leverancier, waardoor onze verbinding met een belangrijke service werd verstoord.

4. Geïmplementeerde oplossing gisteravond

Om de verstoring te mitigeren, heeft het incidententeam van X-Guard om 19:50 een oplossing uitgerold door handmatig over te schakelen naar een alternatieve hostname.

Dit bleek direct effectief, waarna de situatie werd gemonitord. Om 20:14 werd het incident officieel gesloten op status.x-guard.nl.

De leverancier heeft het onderliggende probleem uiteindelijk om 00:53 opgelost.

5. Tijdlijn van het incident

• 18:58 - Start van de netwerkverstoring, incidententeam opgeroepen.
• 19:50 - Handmatige workaround geïmplementeerd; probleem effectief opgelost.
• 20:14 - Incident officieel gesloten op status.x-guard.nl.
• 00:53 - Leverancier lost onderliggend DNS-probleem op.
• 08:15 - X-Guard is teruggeschakeld naar de primaire hostname

6. Voorkomen van dit probleem

X-Guard werkt momenteel aan het vervangen van het genoemde systeem.

Zodra dit is voltooid, zal er geen afhankelijkheid meer zijn van het netwerk van de externe leverancier. De tijdlijn voor het vervangen bedraagt ongeveer zes maanden. Een dergelijke storing als deze is in zes jaar nog niet eerder voorgekomen.