Ryzyka agentów AI: prompt injection i nadużycie narzędzi

Agenci AI przechodzą od odpowiadania na pytania do podejmowania działań: czytania skrzynek pocztowych, wysyłania zapytań do baz danych, aktualizowania zgłoszeń, wysyłania wiadomości i wywoływania API. Ta zmiana zmienia obraz bezpieczeństwa. Model, który tylko generuje tekst, może wprowadzić w błąd; agent z narzędziami może na podstawie tego tekstu działać. Prompt injection, czyli sytuacja, w której instrukcje ukryte w treści sterują modelem, to najszerzej omawiane ryzyko, ale tylko jedno z kilku. Ten przewodnik w prosty sposób wyjaśnia główne ryzyka i zabezpieczenia, które je ograniczają.

Co to jest

Duże modele językowe nie odróżniają w sposób niezawodny instrukcji od operatora od instrukcji osadzonych w przetwarzanych danych. Bezpośrednie prompt injection ma miejsce, gdy użytkownik wpisuje instrukcje mające obejść reguły systemu. Pośrednie prompt injection ma miejsce, gdy model czyta treść zewnętrzną, taką jak strona internetowa, e-mail, dokument lub zgłoszenie do działu wsparcia, która zawiera ukryte instrukcje, na przykład ujawnienia danych lub wywołania narzędzia. Inne ryzyka to potęgują. Informacje wrażliwe mogą wyciec, gdy model ma dostęp do danych, których użytkownik nie powinien widzieć. Nadmierna sprawczość (excessive agency) pojawia się, gdy agent ma szerokie uprawnienia do narzędzi, takie jak możliwość wysyłania e-maili lub usuwania rekordów, bez potwierdzenia. Niewłaściwa obsługa wyników występuje, gdy odpowiedź modelu jest przekazywana bezpośrednio do kodu, zapytań lub stron internetowych bez walidacji. Ryzyka w łańcuchu dostaw wynikają z modeli, wtyczek i konektorów stron trzecich. OWASP Top 10 for LLM Applications (edycja 2025) skatalogowało te i powiązane kategorie, takie jak wyciek promptu systemowego i nieograniczone zużycie zasobów, a OWASP GenAI Security Project publikuje także wytyczne dotyczące aplikacji agentowych. Ponieważ żadna obecna technika nie zapobiega w pełni prompt injection, projekt powinien zakładać, że część wstrzykniętych instrukcji odniesie skutek, i ograniczać to, co mogą one zrobić.

Dla kogo

Ten przewodnik jest istotny dla:

Zespołów budujących agentów korzystających z narzędzi, API lub danych firmowych
Firm wdrażających asystentów AI dla klientów lub pracowników
Liderów ds. bezpieczeństwa i ryzyka, którzy mają zatwierdzić funkcję AI
Właścicieli produktów integrujących platformy lub konektory AI stron trzecich

Co pomaga wyjaśnić

Przegląd tych ryzyk pomaga wyjaśnić:

Jakie dane agent może czytać i czy każdy użytkownik ma do nich uprawnienia
Jakie działania agent może podejmować, a które wymagają potwierdzenia przez człowieka
W jaki sposób niezaufana treść trafia do modelu i na co mogłaby wpłynąć
Dokąd trafia dalej odpowiedź modelu i czy jest walidowana

Co jest zawarte

Sporządzić spis wszystkich narzędzi, konektorów i źródeł danych, do których agent ma dostęp
Stosować zasadę najmniejszych uprawnień: każdemu narzędziu nadać najwęższe uprawnienie i ograniczyć je do bieżącego użytkownika
Wymagać potwierdzenia przez człowieka dla działań polegających na wysyłaniu, usuwaniu, płatnościach, publikowaniu lub zmianie uprawnień
Traktować pobrane treści, e-maile, pliki i strony internetowe jako niezaufane dane wejściowe
Oddzielać instrukcje systemowe od treści użytkownika i treści pobranych tak wyraźnie, jak pozwala na to platforma
Walidować i kodować odpowiedzi modelu, zanim trafią do kodu, zapytań lub stron internetowych
Egzekwować kontrolę dostępu w warstwie danych, a nie w prompcie
Ustalić limity liczby żądań, kosztów i liczby działań w sesji
Rejestrować prompty, wywołania narzędzi i wyniki z odpowiednimi zabezpieczeniami prywatności oraz je przeglądać
Testować z użyciem danych wejściowych o charakterze ataku, w tym pośredniego wstrzykiwania przez dokumenty i linki
Określić sposób szybkiego wyłączenia narzędzia lub agenta w razie wykrycia nadużycia

Co nie jest uwzględnione

Twierdzenia, że prompt injection można całkowicie wyeliminować
Certyfikacji ani zatwierdzenia regulacyjnego systemu AI
Porady prawnej dotyczącej regulacji AI
Stałego monitorowania agentów produkcyjnych, chyba że zostanie uzgodnione osobno

Kiedy to wybrać

Tymi ryzykami należy zająć się, zanim agent zostanie podłączony do rzeczywistych narzędzi lub danych, i ponownie za każdym razem, gdy dodawane są nowe narzędzia, źródła danych lub grupy użytkowników. Agent, który był bezpieczny jako wewnętrzny prototyp tylko do odczytu, może przestać być bezpieczny, gdy zyska możliwość wysyłania e-maili do klientów. Jeśli platformę agenta dostarcza zewnętrzny dostawca, warto zapytać, jak obsługuje uprawnienia narzędzi, kroki potwierdzenia, rejestrowanie zdarzeń i izolację danych.

Nasze podejście

Należy projektować z myślą o ograniczaniu skutków, a nie o doskonałym zapobieganiu. Warto zapytać, jaki byłby najgorszy realistyczny skutek, gdyby wstrzyknięta instrukcja odniosła sukces, a następnie ograniczać uprawnienia i dodawać kroki potwierdzenia, aż ten skutek stanie się akceptowalny. Decyzje autoryzacyjne należy utrzymywać w deterministycznym kodzie poza modelem. Nasza usługa LLM & AI Agent Security Review bada uzgodnione systemy AI pod kątem prompt injection, ekspozycji danych, niebezpiecznych odpowiedzi, ryzyk związanych z wyszukiwaniem, uprawnień narzędzi i granic przekazania sprawy człowiekowi oraz dostarcza pisemne znaleziska z priorytetowymi zaleceniami. Jeśli agent jest dopiero projektowany, usługa Secure AI Agent Integration może zbudować go od początku z zatwierdzonymi danymi, ograniczonymi narzędziami i punktami kontrolnymi, a usługa AI Governance, Policy & Data Safety może określić zasady korzystania z niego. Do przeglądu warto wracać przy zmianie modeli, narzędzi lub źródeł danych, ponieważ każda z nich może zmienić zachowanie agenta.

LLM & AI Agent Security Review

Zobacz stronę usługi LLM & AI Agent Security Review