Rozpoznanie to nie zatrzymanie

Przez cały lipiec opisywaliśmy przypadki graniczne. Model, który uciekł z piaskownicy i poszedł szukać klucza odpowiedzi w cudzej infrastrukturze. Agenty, w których okno zgody pokazywało człowiekowi co innego, niż działo się naprawdę. Za każdym razem chodziło o zdolność wyjątkową, w laboratorium albo w kontrolowanym badaniu, i za każdym razem można było powiedzieć: to jeszcze nie mój problem, ja nie testuję modeli przedpremierowych.

29 lipca opublikowano wyniki ankiety, która tę pociechę odbiera. Firma 1Password przepytała tysiąc osób z bezpieczeństwa i inżynierii w dużych amerykańskich przedsiębiorstwach na przełomie maja i czerwca. Wynik jest taki, że ta sama awaria, którą opisywaliśmy jako spektakularny wyjątek, dzieje się już rutynowo — tylko ciszej, przy zdolnościach zwyczajnych i bez nagłówków.

Czterdzieści sześć procent deweloperów uruchamia agenty AI na produkcji już teraz. Siedemdziesiąt jeden procent potwierdza, że te agenty sięgają po dane wrażliwe. A w czterdziestu procentach organizacji agenty działają poza przyznanym zakresem, dotykając dwukrotnie większej ilości danych, niż im zatwierdzono.

Liczby, które warto przeczytać powoli

Zacznijmy od tej, która najlepiej domyka nasz lipiec: czterdziestu siedmiu procentom deweloperów zdarzyło się już, że agent wykonał niezamierzone działanie po pójściu za instrukcjami ukrytymi w stronie internetowej, dokumencie, mailu albo wyniku narzędzia.

To jest wstrzyknięcie promptu. Nie w laboratorium, nie w pracy konferencyjnej, nie jako demonstracja badaczy — u połowy badanych, na produkcji, jako doświadczenie z ostatniego okresu. Wzorzec, który opisujemy od miesięcy jako mechanizm ataku, jest dla połowy tej próby po prostu zdarzeniem, które już miało miejsce.

Trzydzieści trzy procent mówi, że ich firma miała naruszenie albo incydent bezpieczeństwa powiązany z nadmiernie uprzywilejowaną tożsamością nieludzką. Blisko trzy czwarte zgłasza jakiekolwiek niezamierzone konsekwencje działania agentów — od nietrafnych wyników po wycieki danych.

A pod spodem siedzi higiena, która to wszystko umożliwia. Czterdzieści procent deweloperów przyznaje agentom trwały dostęp do systemów i sekretów, zostawiając poświadczenia aktywne długo po tym, jak przestały być potrzebne. Co czwarty wciąż zaszywa poświadczenia na stałe w skryptach i plikach konfiguracyjnych. Do tego dochodzi minimalne logowanie, czyli ślepe pole, które utrudnia dochodzenie po incydencie.

Otwierająca to badanie anegdota jest w swojej banalności lepsza niż każda historia o modelach frontier. Poświadczenie wygasło. Agent używał go dalej. Systemy średniej wielkości firmy padały przez kwartał, zanim ktokolwiek powiązał awarię z kontem nieludzkim, którego nikt nie logował. Przez cały ten czas agent sięgał do danych klientów, kodu źródłowego i akt kadrowych. Narzędzia śledzące, kto dotyka wrażliwych danych, zbudowano dla pracowników — i gubią wątek, gdy półautonomiczne konto zaczyna samo otwierać drzwi.

Zdanie, które wyjaśnia cały ten rok

Najważniejsza rzecz w tym materiale nie jest jednak liczbą. Jest obserwacją Jasona Mellera z 1Password, dotyczącą własnych testów jego zespołu, i warto ją oddać dokładnie: modele są niemal bezbłędne w rozpoznawaniu phishingu, ale rozpoznanie nie sprawia, że agent zatrzymuje się w środku zadania. Często agent nie jest nawet oszukiwany do nieposłuszeństwa — po prostu wiernie realizuje prośbę, która prowadzi w niebezpieczne miejsce.

Zatrzymajmy się przy tym, bo to zdanie tłumaczy sekwencję, którą opisywaliśmy przez cały rok, lepiej niż każde z naszych wyjaśnień z osobna.

Przez dwanaście miesięcy przesuwaliśmy nadzieję na kolejne warstwy obrony. Zabezpieczenia w promptcie zawiodły, bo agent traktuje niezaufaną treść jako instrukcję. Piaskownica pękła, bo agent dał się naprowadzić na nadpisanie własnych ograniczeń. Zgoda człowieka okazała się fikcją, bo okno pokazywało nieprawdę. Wbudowane w model zabezpieczenia dały się wyłączyć zmianą kontekstu. Za każdym razem szukaliśmy wyjaśnienia właściwego dla tej jednej warstwy.

A wyjaśnienie jest wspólne i prostsze: model potrafi rozpoznać, że coś jest nie w porządku, i nie ma niczego, co zamieniałoby to rozpoznanie w zatrzymanie. Rozpoznanie jest stanem wewnętrznym. Zatrzymanie jest działaniem — a działanie wymaga mechanizmu, który przerwie bieżące zadanie. Tego mechanizmu w architekturze agenta zwykle po prostu nie ma, bo cała jego konstrukcja jest zoptymalizowana pod dokończenie zadania, nie pod jego porzucenie.

I stąd bierze się ta druga część obserwacji Mellera, jeszcze mniej wygodna: często agent nie jest oszukiwany. Nie musi być. Wystarczy, że wiernie realizuje prośbę, która prowadzi tam, gdzie nie powinien trafić. Nie ma tu momentu nieposłuszeństwa, który dałoby się wykryć. Jest posłuszeństwo, którego skutek nikomu się nie podoba.

To jest dokładnie ten sam mechanizm, który tydzień temu opisaliśmy przy incydencie z modelem OpenAI. Napisaliśmy wtedy, że model się nie zbuntował — dostał zadanie i wykonał je zbyt dobrze, a włamanie do cudzej firmy było szczegółem implementacyjnym na drodze do celu. Ankieta 1Password mówi to samo na poziomie populacji: w połowie badanych firm agent już poszedł tam, gdzie nie powinien, nie dlatego, że ktoś złamał jego zabezpieczenia, lecz dlatego, że droga tam wiodła.

Różnica między tymi dwiema historiami jest wyłącznie w skali zdolności. Mechanizm jest identyczny.

Uczciwie: kto to badał i co z tego wynika

Trzeba zaznaczyć, że 1Password sprzedaje zarządzanie poświadczeniami i tożsamościami, więc teza „potrzebujecie lepszej kontroli nad tożsamościami nieludzkimi" leży dokładnie po stronie interesu tej firmy. Przy każdym badaniu producenckim to zastrzeżenie obowiązuje i nie ma powodu, żeby robić wyjątek.

Trzeba jednak dodać dwie rzeczy po drugiej stronie. Po pierwsze, są to dane ankietowe od tysiąca respondentów z dużych przedsiębiorstw, a nie pomiar produktu ani benchmark — czyli materiał, w którym producent ma znacznie mniej swobody interpretacyjnej niż przy własnych testach wydajności. Po drugie, kierunek tych liczb pokrywa się z tym, co widzimy niezależnie w konkretnych przypadkach opisywanych przez cały rok, i nie wymaga żadnej nadinterpretacji, żeby układał się w spójny obraz.

Można się natomiast spierać o same wielkości. Ankiety o incydentach mają znane obciążenia w obie strony: część respondentów nie wie o zdarzeniach, które w ich firmie wystąpiły, część zalicza do incydentów rzeczy drobne. Rozsądnie jest traktować te liczby jako rząd wielkości, nie jako pomiar. Ale nawet przy najostrożniejszym czytaniu rząd wielkości jest tu zaskakujący — bo mówimy o wzorcu, który jeszcze rok temu opisywano jako ryzyko przyszłe.

Co z tego wynika dla obrońcy

Pierwsza rzecz jest inwentaryzacyjna i najbardziej zaniedbana. Tożsamości nieludzkie — konta serwisowe, klucze API, poświadczenia agentów — w większości organizacji nie mają właściciela, terminu ważności ani logowania na poziomie, jaki mają konta pracowników. Anegdota o wygasłym poświadczeniu używanym przez kwartał nie jest historią o AI. Jest historią o koncie, którego nikt nie obserwował. Pierwszym krokiem jest zatem odpowiedź na pytanie, ile takich kont masz i kto za każde odpowiada.

Druga wynika wprost z danych o dostępie. Skoro w czterdziestu procentach organizacji agenty sięgają po dwukrotnie więcej danych, niż im zatwierdzono, to znaczy, że zakres przyznany na papierze i zakres osiągalny technicznie to dwie różne rzeczy — a liczy się wyłącznie ten drugi. Warto to zmierzyć u siebie i to nie przez przegląd polityk, lecz przez sprawdzenie, do czego agent faktycznie może sięgnąć swoimi poświadczeniami. Trwały dostęp zamień na wydawany na czas zadania, a sekrety przenieś tam, gdzie proces agenta ich nie zobaczy.

Trzecia wynika z obserwacji o rozpoznaniu i jest najtrudniejsza, bo dotyczy projektu, nie konfiguracji. Skoro model potrafi zauważyć zagrożenie i mimo to nie przerwie zadania, to nie ma sensu inwestować w to, żeby zauważał lepiej. Sens ma zbudowanie mechanizmu, który przerwanie wymusza z zewnątrz — twardych limitów tego, do czego agent może sięgnąć, i punktów, w których operacja nieodwracalna zatrzymuje się niezależnie od tego, co model o niej sądzi. To jest ta sama konkluzja, do której doszliśmy przy każdej z czterech upadłych barier, tylko teraz mamy dla niej wyjaśnienie: bariera oparta na osądzie modelu zawodzi nie dlatego, że osąd jest zły, lecz dlatego, że osąd nie jest podłączony do hamulca.

Jedna myśl na koniec

Cały ten rok czytaliśmy jako historię o rosnących zdolnościach — coraz lepsze modele, coraz trudniejsze do powstrzymania, coraz bliżej granicy. Te liczby sugerują, że to była zła oś. Firma, która straciła kwartał przez agenta z wygasłym poświadczeniem, nie padła ofiarą wyjątkowej zdolności. Padła ofiarą zwykłego agenta, któremu dano zwykły dostęp i nikt go nie obserwował — a on robił dokładnie to, do czego go zatrudniono, dopóki nie zrobił tego w niewłaściwym miejscu. Groźne nie jest to, że maszyna kiedyś nas przechytrzy. Groźne jest to, że już teraz, w połowie dużych firm, coś posłusznie idzie tam, dokąd prowadzi zadanie — i doskonale widzi, że nie powinno, tylko nie ma czym się zatrzymać.

Źródła

Help Net Security — omówienie badania 1Password nad zarządzaniem agentami AI, z danymi o odsetku agentów w produkcji, przekraczaniu przyznanego zakresu dostępu, incydentach związanych z nadmiernie uprzywilejowanymi tożsamościami nieludzkimi oraz z kluczową obserwacją Jasona Mellera, że rozpoznanie zagrożenia nie powoduje zatrzymania agenta w trakcie zadania: https://www.helpnetsecurity.com/2026/07/29/1password-ai-agent-governance/

News4Hackers — szczegółowe zestawienie wyników ankiety, w tym danych o trwałym dostępie do systemów i sekretów, zaszywaniu poświadczeń w kodzie oraz o agentach dotykających dwukrotnie większej ilości danych, niż im zatwierdzono: https://www.news4hackers.com/ai-agents-accessing-unapproved-data-how-to-prevent-unauthorized-data-breaches