Onderzoekers van Forcepoint X-Labs hebben aangetoond hoe eenvoudig het is om AI-gestuurde e-mailsamenvatters te misleiden met tekst die voor de ontvanger onzichtbaar blijft. Door in de HTML van een e-mail een instructie te verstoppen met een minuscule lettergrootte en een tekstkleur gelijk aan de achtergrond, bleef het bericht voor het menselijk oog in Outlook volledig verborgen — terwijl de AI die de e-mail samenvat de tekst wel gewoon binnenkrijgt en verwerkt.
Het resultaat liet weinig te raden over: in alle tien testrondes slaagde de verborgen instructie erin de samenvatting te manipuleren. In plaats van een accurate weergave van de inhoud produceerde de AI-assistent samenvattingen met gemanipuleerde, foutieve informatie, precies zoals de verborgen prompt voorschreef.
De onderliggende oorzaak is een bekend zwak punt van taalmodellen: het systeem kan geen onderscheid maken tussen data die het moet verwerken en instructies die het moet opvolgen. Alles wat in de tekst staat, wordt in potentie als opdracht gelezen. Dit fenomeen, prompt injection, staat niet toevallig sinds 2023 onafgebroken op nummer één in de OWASP Top 10-lijst van risico’s voor LLM- en generatieve AI-toepassingen — de branchestandaard voor kwetsbaarheden in AI-systemen.
Voor bedrijven die AI-samenvatters in hun mailomgeving hebben ingeschakeld — bijvoorbeeld via Copilot in Outlook of vergelijkbare tools — is dit een concrete waarschuwing: een schijnbaar onschuldige e-mail kan een medewerker een compleet verzonnen of misleidende samenvatting voorschotelen, zonder dat er in de mail zelf iets verdachts te zien is. Behandel AI-gegenereerde samenvattingen daarom niet als feit maar als hulpmiddel, en laat medewerkers bij twijfel — vooral bij mails met verzoeken om geld, inloggegevens of urgente acties — altijd de volledige, originele e-mail lezen voordat ze handelen.
Bron: Dark Reading
Blijf op de hoogte
Meld je aan voor de nieuwsbrief: spoedalerts bij kritieke dreigingen en een wekelijks overzicht. Geen mail achterlaten? Volg ons dan via RSS.