Lares, spółka należąca do Damovo
Zarządzanie wskazuje, co powinno się wydarzyć. Testowanie sztucznej inteligencji w warunkach konfrontacyjnych pokazuje, co faktycznie się dzieje.
Twoja organizacja prawie na pewno korzysta z sztucznej inteligencji w większym zakresie, niż zdaje sobie sprawę z tego zespół ds. bezpieczeństwa. Nie chodzi o to, czy zasady zarządzania sztuczną inteligencją obejmują te obszary. Chodzi o to, czy którekolwiek z tych rozwiązań wytrzymałoby próbę ich złamania.
W większości przedsiębiorstw obserwuje się obecnie dziwny rozdźwięk. Z jednej strony zarządzanie sztuczną inteligencją staje się coraz bardziej dojrzałe: polityki, zasady dopuszczalnego użytkowania, klasyfikacje ryzyka, często dostosowane do unijnej ustawy o sztucznej inteligencji. Z drugiej strony rzeczywisty zasięg sztucznej inteligencji wciąż rośnie szybciej, niż ktokolwiek jest w stanie to śledzić.
Według organizacji Cloud Security Alliance ponad połowa przypadków wdrażania generatywnej sztucznej inteligencji w przedsiębiorstwach to tzw. „shadow AI”, a 89% zastosowań sztucznej inteligencji w przedsiębiorstwach pozostaje niewidoczne dla zespołów ds. bezpieczeństwa (CSA, 2026). Raport IBM z 2025 r. pt. „Cost of a Data Breach” wykazał, że co piąta organizacja, która padła ofiarą naruszenia bezpieczeństwa, doświadczyła incydentu związanego z „shadow AI” (IBM, 2025).
Rozporządzenie wymaga już czegoś więcej niż tylko formalności
Unijna ustawa o sztucznej inteligencji nie ogranicza się jedynie do pytania, czy udokumentowano daną sztuczną inteligencję. W przypadku systemów wysokiego ryzyka wymaga ona ustalenia, czy są one rzeczywiście niezawodne i bezpieczne.
Artykuł 15 ustawy o sztucznej inteligencji nakłada na systemy sztucznej inteligencji wysokiego ryzyka wymóg osiągnięcia „odpowiedniego poziomu dokładności, niezawodności i cyberbezpieczeństwa” oraz odporności na próby nieuprawnionych osób trzecich mające na celu zmianę ich działania poprzez wykorzystanie luk w zabezpieczeniach (EUR-Lex, 2024). Jest to wymóg bezpieczeństwa zapisany w prawie, a nie jedynie formalność dokumentacyjna.
Jest to ta sama luka, o której zespół Lares z firmy Damovo, zajmujący się analizą ataków, pisał w kontekście innych dziedzin: organy nadzorujące sprawdzają, czy mechanizmy kontroli są udokumentowane, podczas gdy atakujący sprawdzają, czy działają. Sztuczna inteligencja to po prostu najnowsza dziedzina, w której pojawia się ta luka, a proces ten przebiega bardzo szybko, ponieważ tempo wdrażania tej technologii wyprzedza wszystkie procesy zarządzania stworzone w celu jej powstrzymania.
Co tak naprawdę oznacza „testowanie” sztucznej inteligencji
Systemy sztucznej inteligencji ulegają awariom w sposób, który nie przypomina tradycyjnych luk w zabezpieczeniach oprogramowania, dlatego też tradycyjne testy ich nie wykrywają.
Kiedy przeprowadzamy testy adversarialne wdrożenia sztucznej inteligencji, nasz zespół nie wykonuje skanowania w poszukiwaniu luk w zabezpieczeniach. Atakujemy system tak, jak zrobiłby to prawdziwy przeciwnik:
- Manipulowanie poleceniami przekazywanymi sztucznej inteligencji. Starannie przygotowane dane wejściowe mogą unieważnić instrukcje asystenta opartego na sztucznej inteligencji, zamieniając pomocne narzędzie wewnętrzne w coś, co zamiast tego realizuje cele atakującego.
- Nadużywanie uprawnień przyznanych sztucznej inteligencji. Nowoczesne agenty AI mogą wysyłać e-maile, wyszukiwać dane w bazach oraz wywoływać wewnętrzne interfejsy API. Skłonienie agenta do niewłaściwego wykorzystania tych narzędzi to jedna z najszybszych dróg do wyrządzenia rzeczywistych szkód.
- Wydobywanie informacji o tym, co widziała sztuczna inteligencja. Modele wyszkolone na danych wrażliwych lub połączone z nimi można skłonić do ujawnienia tych danych, zadając im po jednym starannie sformułowanym pytaniu.
Żadna z tych sytuacji nie ujawnia się podczas przeglądu zasad zarządzania. Ujawniają się one dopiero wtedy, gdy ktoś celowo próbuje obejść system.
Opublikowana pod koniec 2025 r. lista „OWASP Top 10 dla aplikacji opartych na agentach” zawiera właśnie takie zagrożenia dotyczące autonomicznych agentów AI (OWASP, 2025). Ramy takie już istnieją. W większości organizacji brakuje jednak dowodów na to, że ich własne wdrożenia spełniają te wymagania.
Praktyczny sposób na wypełnienie tej luki: ocena sztucznej inteligencji metodą przeciwnika
Zespół ds. doradztwa w zakresie ofensywnego cyberbezpieczeństwa firmy Damovo, Lares, oferuje ustrukturyzowany sposób na sprawdzenie, jak Twoja sztuczna inteligencja faktycznie zachowuje się w obliczu ataku, a nie tylko tego, co przewidują Twoje zasady.
Ocena sztucznej inteligencji w warunkach rywalizacji przebiega na trzech poziomach, a organizacje mogą zgłaszać się na ten poziom, który odpowiada ich stopniowi dojrzałości:
- Wykrywanie śladów sztucznej inteligencji. Zanim będzie można zabezpieczyć swoją sztuczną inteligencję, trzeba ją najpierw w całości zidentyfikować – łącznie z „ukrytą” sztuczną inteligencją, o której system zarządzania nie ma pojęcia. Jest to celowe rozpoznanie prowadzone przez ekspertów, a nie wynik skanowania. Istotna jest właśnie ta luka, której skaner nie jest w stanie wykryć.
- Testy sztucznej inteligencji z wykorzystaniem metod kontratakowych. Praktyczne testy systemów sztucznej inteligencji pod kątem rzeczywistych technik ataku:manipulacji poleceniami, nadużywania narzędzi agentów, ekstrakcji danych oraz innych metod wymienionych w ramach OWASP. Wynikiem tych testów nie jest lista teoretycznych zagrożeń. Są to dowody na to, co atakujący mógłby faktycznie zrobić, w powiązaniu z mechanizmami obronnymi, które go powstrzymały, oraz tymi, które zawiodły.
- Częstotliwość ponownego testowania systemów AI. Systemy AI nieustannie się zmieniają: pojawiają się nowe modele, nowe integracje i nowe połączenia danych. Jednorazowy test szybko traci na aktualności. Częstotliwość ponownego testowania zapewnia ciągłość walidacji, dzięki czemu wyniki pozostają aktualne w miarę ewolucji systemu.
Główna idea jest prosta i opiera się na tej samej zasadzie, która przyświeca wszystkim działaniom firmy Lares: nie mówcie nam, że wasze systemy kontroli działają. Pokażcie nam to w realistycznych warunkach ataku, angażując swój zespół w likwidowanie wykrytych przez nas zagrożeń.
Dowiedz się więcej: Ocena sztucznej inteligencji metodą przeciwnika
Od czego zacząć
Jeśli w Państwa organizacji wdrożono zasady zarządzania sztuczną inteligencją, ale nigdy nie sprawdzono, jak jej systemy AI faktycznie zachowują się w obliczu ataku, to właśnie tę lukę należy wypełnić w pierwszej kolejności. A jeśli nie znają Państwo jeszcze pełnego zakresu wykorzystania sztucznej inteligencji w całej firmie, etap rozpoznawczy pozwoli odpowiedzieć na to pytanie przed podjęciem jakichkolwiek innych działań.
Źródła
- Cloud Security Alliance, aplikacje Shadow AI: powierzchnia ataku w przedsiębiorstwie, której tempo wzrostu przewyższa możliwości monitorowania (2026)
- IBM, Raport dotyczący kosztów naruszenia bezpieczeństwa danych 2025 (2025)
- EUR-Lex, rozporządzenie (UE) 2024/1689 (ustawa o sztucznej inteligencji) (2024)
- Projekt OWASP GenAI Security, lista OWASP Top 10 dla aplikacji agentowych na rok 2026 (2025)