De dag na een grootschalig incident analyseren wij het incident met als doel om hier van te leren en transparant te communiceren over de oorzaak. Er is op dit moment geen verstoring gaande.

Root cause analyse – verstoring bellen/sms bij alarm (20 oktober 2025)

Samenvatting
Op maandagochtend 20 oktober werd onze telecomleverancier geraakt door een grote storing bij Amazon Web Services (AWS). Deze storing was wereldwijd en trof een breed scala aan diensten, hierover leest u bijvoorbeeld meer bij de NOS.

Door deze storing werkten (uitgaande) telefoontjes en sms-berichten bij alarmen tijdelijk niet of vertraagd.

Onze eigen systemen bleven zonder problemen alarmen aanmaken en versturen. Waar nodig heeft onze storingsdienst alle alarmen handmatig opgevolgd.

Wat was de impact voor u?

• Geen of vertraagde telefoontjes/sms bij alarm: Bij het aanmaken van een alarm kon de spraakverbinding soms niet tot stand komen en bleven telefonische meldingen uit.
• Inloggen/registreren tijdelijk onmogelijk: Verificatie via telefoonnummer (sms/oproep) werkte niet.
• Wat werkte wél: alarmen werden gewoon verzonden via de app (zonder audiokanaal), en onze storingsdienst heeft 100% van de alarmen handmatig gecontroleerd/opgevolgd. Alarmoproepen die binnenkomen via onze app (app komt naar de voorgrond met een alarmgeluid) kwamen zonder problemen binnen.

Technische oorzaak (root cause)

• Externe infrastructuurstoring bij AWS: Op 20 oktober kampte AWS met een grote storing in de region us-east-1, waardoor wereldwijd veel online diensten hinder ondervonden.
• Gevolg voor onze leverancier: Onze leverancier bevestigde uitval en fouten in meerdere productlijnen als direct gevolg van het lopende AWS-incident.
• Effect op X-Guard: Omdat wij onze leverancier gebruiken voor bellen en sms’en bij alarmen en voor telefoonnummerverificatie, werkte die keten tijdelijk niet of vertraagd. Onze eigen dienstverlening bleef alarmen versturen, maar zonder audioverbinding. Telefonische oproepen om te komen helpen bij een alarm werden niet, of vertraagd, verzonden. Hoewel al onze data en systemen in de EU staan, gebruikt onze leverancier enkele kritische ‘global endpoints’ die via hun wereldwijde router lopen. Deze endpoints werden geraakt door de storing in de VS. Onze eigen data is en blijft uitsluitend binnen de EU opgeslagen. Voor meer informatie over hoe wij met data omgaan, verwijzen we graag naar privacy.x-guard.nl.

Wat hebben we gedaan tijdens de storing?

Onze storingsdienst heeft elk alarm gecontroleerd en waar nodig actie ondernomen. Dit was slechts bij twee alarmen noodzakelijk. Bij alle andere alarmen werd het alarm correct afgevangen door collega’s, BHV’ers of een professionele meldkamer.

Verbeteracties

We onderzoeken een aanvullende (tweede) route voor bellen/sms. We waren hier al mee bezig voor dit incident plaatsvond, echter hebben we tijdens deze storing gezien dat ons beoogde alternatieve pad ook uitval had door de verstoring bij AWS. Op de achtergrond wordt hier aan doorgewerkt.

De problemen met het platform zijn opgelost
Hoewel wij al sinds 12:14 geen problemen meer zien op onze dienstverlening is er nog altijd geen verwerking geweest van de achterstallige wachtrijen aan telefoontjes dat nog verwerkt moet worden.

Het gaat om +-350 telefonische oproepen over alarmen van vanochtend.

We kiezen er voor om dit incident op status.x-guard.nl af te sluiten, gezien in het normale gebruik geen verstoring meer waargenomen kan worden.

Houd er rekening mee dat de achterstallige telefoontjes alsnog binnen komen komen op een nog onbekend moment.

Mocht de situatie wijzigen, dan zullen we dit incident heropenen. We monitoren de situatie actief.

Er wordt volgens procedure gewerkt aan een root cause analyse van dit incident.

Huidige status
Alle dienstverlening lijkt momenteel naar behoren te werken, er zijn geen problemen meer bekend

Wachtrij
We zien nog steeds een wachtrij van telefoontjes klaarstaan betreffende oude alarmen die zijn gemaakt tijdens de storing. Deze wachtrij wordt door de provider niet opgepakt.

Nieuwe alarmen komen direct aan zonder vertraging.

We monitoren de situatie en houden u waar mogelijk op de hoogte.

U ontvangt mogelijk een SMS of telefoontje over een oud alarm
De systemen zijn operationeel maar werken nu wachtrijen aan uitgaande telefoontjes en sms-berichten weg. Mogelijk wordt u geattendeerd op een alarmsituatie uit het verleden.

Bij alle alarmen tijdens de verstoring is door ons storingsdienst (waar nodig) handmatig actie genomen om de veiligheid te waarborgen.

We zien langzaam herstel in onze dienstverlening. Dit wordt momenteel echter nog instabiel bevonden.

Wat zien we?

• Alarmen komen mogelijk weer aan, maar vertraagd
• Inloggen en registreren werkt mogelijk na een paar pogingen

We monitoren de situatie tot deze stabiel is.

We zien langzaam herstel in onze dienstverlening. Dit wordt momenteel echter nog instabiel bevonden.

Wat zien we?

We monitoren de situatie tot deze stabiel is.

De storing is een brede storing die op grote delen van het internet merkbaar is. Onze leverancier geeft over 60 minuten een nieuwe update.

Onze mitigerende maatregelen

• Elk alarm wordt door onze storingsdienst gecontroleerd op werking
• Hierdoor weten wij zeker dat er opvolging is van elk alarm

Wat merkt u?

• U krijgt mogelijk geen telefoontje of sms bij een alarm
• Uw spraakverbinding bij een alarm kan niet tot stand worden gebracht
• Het is niet mogelijk om in te loggen of te registreren

Wanneer mogelijk plaatsen we een nieuwe update.

Onze provider voor het bellen naar klanten bij een alarm heeft momenteel een grote storing.

Impact
- Als je gebeld moet worden bij een alarm word je niet gebeld (krijg je een alarm met hard geluid binnen waarbij de app naar voren komt dan werkt dit wel).

• Bij het maken van een alarm werkt de audioverbinding niet
• Inloggen en registreren is momenteel niet mogelijk i.v.m. het niet kunnen verifiëren van je telefoonnummer

Wat werkt er wel?

• Alarmen worden zonder problemen verzonden, maar bevatten geen audio
• Alarmen worden 100% opgevolgd door onze storingsdienst voor het geval een alarm geen succesvolle oproepen kan voltooien

We doen onderzoek naar mitigerende maatregelen en houden jullie via status.x-guard.nl op de hoogte van updates.