Een veiligheidsbedrijf dat gespecialiseerd is in de verkoop van AI-wapenscanners aan onderwijsinstellingen staat opnieuw ter discussie vanwege de effectiviteit van zijn technologie, nadat een student werd aangevallen met een mes dat niet werd gedetecteerd door het systeem van $3,7 miljoen.
Vorig Halloween werd Ehni Ler Htoo, een student in Utica, New York, neergestoken in de gangen van zijn school door een andere student. De advocaat van het slachtoffer, die exclusief met de BBC sprak, onthulde dat de 18-jarige student meerdere steekwonden opliep op verschillende delen van zijn lichaam.
Het mes dat bij de aanval werd gebruikt, wist het multimiljoen-dollar wapendetectiesysteem van Evolv Technology te omzeilen. Evolv is een beveiligingsbedrijf dat traditionele metaaldetectoren wil vervangen door AI-scanners. De scanners van Evolv maken gebruik van geavanceerde sensortechnologie en kunstmatige intelligentie om verborgen wapens zoals messen, vuurwapens en explosieven te detecteren, waarbij een melding wordt geactiveerd bij het detecteren van een dreiging.
Het bedrijf beweert een hoge nauwkeurigheid te hebben en heeft eerder opgeschept over het creëren van “wapenvrije zones” met behulp van hun technologie. De CEO van Evolv, Peter George, heeft verklaard dat hun systemen uitgebreide handtekeningen bevatten voor alle bestaande wapens. Eerdere persberichten noemden de soorten wapens die het systeem kan identificeren, waaronder vuurwapens, explosieven en messen.
Een onderzoek van de BBC vorig jaar onthulde echter dat het systeem problemen had met het betrouwbaar detecteren van grote messen. In 24 testruns slaagde de scanner van Evolv er niet in om 42% van de grote messen te detecteren, wat zorgen doet rijzen over de effectiviteit ervan. De resultaten van de tests geven aan dat potentiële klanten, waaronder scholen, op de hoogte moeten worden gebracht van deze beperking. Ondanks deze bevindingen heeft Evolv zijn aanwezigheid op scholen uitgebreid en beweert nu installaties te hebben in honderden onderwijsinstellingen in heel de Verenigde Staten.
Het steekincident: In maart 2022 kocht het bestuur van Utica Schools het wapenscansysteem van Evolv voor 13 scholen, en het werd geïnstalleerd tijdens de zomervakantie. Op 31 oktober werd naar verluidt op de beveiligingscamera’s vastgelegd dat de aanvaller Proctor High School binnenkwam en door de wapenscanners van Evolv liep. Brian Nolan, superintendent van Utica Schools, vroeg zich af hoe de student een mes de school binnen kon brengen toen hij de verontrustende videobeelden van het incident bekeek.
Het gebruikte mes bij de steekpartij was meer dan 9 inch (22,8 cm) lang. Het daaropvolgende interne onderzoek uitgevoerd door het schooldistrict Utica onthulde dat het wapendetectiesysteem van Evolv niet was ontworpen om messen te detecteren, volgens de heer Nolan. De scanners werden verwijderd uit Proctor High School en vervangen door 10 metaaldetectoren, maar de scanners worden nog steeds gebruikt in de overige 12 scholen van het district vanwege budgettaire beperkingen.
Sinds de aanval zijn er in andere scholen binnen het district waar de systemen van Evolv nog in gebruik zijn, nog eens drie messen gevonden bij studenten. De messen werden ontdekt omdat ze werden gemeld aan het personeel, niet omdat de wapenscanner ze detecteerde. De heer Nolan verklaarde dat de studenten die de messen hadden beweerden zonder problemen door het wapendetectiesysteem te zijn gegaan, wat de onvermogen om messen te detecteren bevestigt.
Website van Evolv: Na het steekincident heeft Evolv de bewoording op haar website gewijzigd. Eerder werd er op de homepage trots gesproken over “wapenvrije zones”, maar dit werd later gewijzigd in “veilige zones”. De huidige versie luidt nu “veiligere zones”.
Evolv houdt vol dat haar systeem gebruikmaakt van geavanceerde AI-technologie voor wapendetectie. Critici betogen echter dat er onvoldoende informatie is over hoe het systeem werkt en hoe effectief het is in het detecteren van verschillende soorten wapens.
De BBC heeft Evolv benaderd met gedetailleerde vragen over het incident in Utica, waaronder vragen over wat het bedrijf aan scholen heeft gecommuniceerd over de mogelijkheden en beperkingen van het systeem. Evolv heeft echter niet gereageerd op deze vragen.
Conor Healy van IPVM, een bedrijf dat gespecialiseerd is in de analyse van beveiligingsapparatuur, beschuldigde Evolv van het overdrijven van de effectiviteit van het systeem. Healy benadrukte dat schooldirecteuren, zonder expertise op het gebied van wapendetectie, vaak vertrouwen op gedurfde marketingclaims, om vervolgens verborgen gebreken in de technologie te ontdekken na het investeren van miljoenen dollars. Hij bekritiseerde Evolv en andere bedrijven die profiteren van de onwetendheid van deze functionarissen als het gaat om beveiligingsproducten die jonge mensen moeten beschermen.
Hoewel Evolv heeft geweigerd commentaar te geven, verwees het de BBC naar een blogpost van CEO Peter George waarin hij het beperkte informatieniveau rechtvaardigt over de werking van de technologie. George betoogde dat marketing voor wapendetectie een delicaat evenwicht vereist tussen het informeren van belanghebbenden over nieuwe technologie en het voorkomen van potentieel misbruik.
De BBC heeft zeven andere schooldistricten benaderd die gebruikmaken van de wapenscanners van Evolv. Vijf hebben niet gereageerd, terwijl twee hebben geweigerd commentaar te geven over dit onderwerp.
