Hiszpańska Agencja Ochrony Danych, AEPD, poinformowała o czymś, co samo określa jako pierwszy w tym kraju autonomiczny cyberatak przeprowadzony przez agenta sztucznej inteligencji. Incydent ten pokazuje, że zagrożenia związane z tą technologią przestały być czysto teoretyczne.
Co się dokładnie wydarzyło
Zgodnie z ustaleniami AEPD, program oparty na znanym modelu językowym samodzielnie wykrył luki w zabezpieczeniach jednej z instytucji i uzyskał dostęp do jej systemu. Od tego momentu, jak relacjonuje agencja, działał już praktycznie bez bezpośredniej ingerencji człowieka: samodzielnie szukał kolejnych podatności w aplikacji, aż w końcu zdołał zmienić dane osobowe oraz uzyskać dostęp do faktur zaatakowanej organizacji.
AEPD zastrzega, że wykorzystane w tym przypadku narzędzie nie zostało zaprojektowane do działań złośliwych, a sam incydent zostanie dokładnie oceniony na podstawie raportu przygotowanego przez poszkodowaną firmę. Mimo to agencja nie ma wątpliwości: ryzyko wykorzystania sztucznej inteligencji w cyberatakach jest już realne, a nie hipotetyczne.
Czym różni się to od dotychczasowych ataków wspieranych przez AI
Sztuczna inteligencja od dawna wykorzystywana jest przez cyberprzestępców, choć dotąd głównie w roli narzędzia wspomagającego konkretne, pojedyncze czynności: ulepszania treści maili phishingowych, tłumaczenia oszustw na masową skalę, klonowania tożsamości, sprawdzania kodu czy przyspieszania wyszukiwania podatności w systemach. Agenci sztucznej inteligencji reprezentują jakościowo inny poziom zagrożenia. W odróżnieniu od takich pojedynczych narzędzi, mogą otrzymać ogólny cel, samodzielnie opracować strategię jego realizacji, uruchamiać różne procesy, interpretować odpowiedzi systemu i na bieżąco modyfikować swoje działania w zależności od napotykanych przeszkód, bez konieczności czekania na kolejne instrukcje od człowieka.
AEPD podkreśla przy tym istotny niuans: sztuczna inteligencja nie musi tworzyć zupełnie nowych kategorii zagrożeń, żeby być niebezpieczna. Wystarczy, że radykalnie zwiększa szybkość, skalę i zdolność adaptacji zagrożeń, które w gruncie rzeczy są już dobrze znane specjalistom od cyberbezpieczeństwa. Taka przyspieszona dynamika ograniczyć może firmom realny czas reakcji na wykrycie i zatrzymanie włamania, zanim napastnik zdąży dotrzeć do najbardziej wrażliwych danych.
Czego domaga się hiszpański regulator
Francisco Pérez Bes, zastępca dyrektora AEPD, napisał na blogu agencji, że sam ten incydent obnaża konieczność przebudowania sposobu, w jaki organizacje zarządzają ryzykiem związanym ze sztuczną inteligencją. Jego zdaniem audyty bezpieczeństwa nie mogą już ograniczać się do tradycyjnych kategorii zagrożeń, takich jak złośliwe oprogramowanie czy phishing, tylko muszą wprost uwzględniać scenariusze z udziałem autonomicznych agentów, zdolnych zmieniać zarówno prawdopodobieństwo wystąpienia incydentu, jak i skalę jego skutków.
Pérez Bes zwraca też uwagę na konieczność przeglądu samych protokołów reagowania na ataki, dotąd projektowanych głównie z myślą o ludzkich sprawcach. Plany takie mogą okazać się niewystarczające wobec systemów zdolnych do równoległego testowania wielu dróg wejścia i zmiany strategii w czasie rzeczywistym. Szczególną wagę przykłada też do ochrony danych uwierzytelniających i tożsamości cyfrowych, bo zdobycie przez autonomicznego agenta uprzywilejowanych danych logowania mogłoby w bardzo krótkim czasie zagrozić wielu połączonym usługom naraz, zanim jakikolwiek system bezpieczeństwa zdąży wychwycić nietypowe zachowanie.
Czy tradycyjna obrona wystarczy
Cały przypadek stawia też pytanie, na ile ręczne, oparte na ludzkim nadzorze mechanizmy obrony są w stanie w ogóle nadążyć za tempem działania takiego agenta. AEPD sugeruje, że nadzór człowieka wciąż pozostaje kluczowy, ale same firmy prawdopodobnie będą potrzebować dodatkowo automatycznych mechanizmów wykrywania i reagowania, zdolnych identyfikować podejrzane zachowania i odpowiadać na nie równie szybko, jak działa sam atakujący system. Innymi słowy, hiszpański regulator przygotowuje organizacje na scenariusz, w którym kolejne ataki mogą być coraz szybsze, coraz bardziej adaptacyjne i coraz mniej zależne od bieżącej, ręcznej pracy człowieka po stronie atakującego.
A jak z bezpieczeństwem u nas
Skoro autonomiczne agenty AI potrafią być wykorzystywane do ataków, warto na chwilę zatrzymać się przy tym, jak podobne technologie wykorzystujemy po dobrej stronie. Tuziemia.pl od podstaw opiera swoje działanie na pracy agentów AI, które na bieżąco przeszukują, porządkują i wzbogacają dane o działkach, tak by każda oferta w serwisie miała możliwie pełny, rzetelny kontekst: dokładne granice, historię cen z Rejestru Cen Nieruchomości, informacje o planach zagospodarowania czy pierwokupach. To właśnie dzięki takim mechanizmom jesteśmy w stanie utrzymywać jakość analiz na poziomie, którego nie dałoby się osiągnąć ręczną pracą przy skali tysięcy ofert.
Mamy jednak pełną świadomość, że każdy system oparty na sztucznej inteligencji, także ten nasz, wymaga stałej kontroli. Dlatego tuziemia.pl jest regularnie testowana z użyciem systemów AI, sprawdzających poprawność działania naszych mechanizmów, wykrywających potencjalne błędy i próbujących znaleźć słabe punkty zanim zrobi to ktokolwiek inny. W świecie, w którym, jak pokazuje przypadek z Hiszpanii, agenty AI mogą działać w obie strony, uznajemy takie testowanie nie za dodatek, tylko za konieczny standard.