Red teaming AI i ocena bezpieczeństwa LLM
Zobaczą Państwo, jak Państwa aplikacja AI zachowuje się podczas testów adwersaryjnych, wraz z udokumentowanymi ustaleniami dotyczącymi prompt injection, wycieku danych i niewłaściwego użycia oraz uszeregowaną według priorytetu listą poprawek.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
- BilgeQor LtdLondyn, Zjednoczone Królestwo
- PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonezja
Czy Red teaming AI to właściwy wybór?
Najlepiej pasuje do
- ✓Zespoły, które zamierzają uruchomić lub rozbudować chatbota, copilota, wyszukiwanie wspomagane wyszukiwaniem informacji (RAG) lub agenta AI z dostępem do danych firmy lub narzędzi
- ✓Osoby odpowiedzialne za produkt i bezpieczeństwo, które muszą odpowiadać dowodami na pytania klientów lub zarządu o ryzyko związane z AI
- ✓Organizacje przygotowujące się do obowiązków wynikających z EU AI Act, które chcą wiedzieć, w jakim punkcie znajdują się ich systemy
- ✓Zespoły inżynierskie, których modele wywołują narzędzia, przeglądają internet lub działają na dokumentach dostarczonych przez podmioty zewnętrzne
Inna usługa pasuje lepiej, jeśli
- –Chcą Państwo przetestować swoją aplikację internetową i API: Testy penetracyjne oraz Testy bezpieczeństwa API obejmują ten zakres
- –Chcą Państwo przeglądu projektu integracji agenta AI: Przegląd bezpieczeństwa LLM i agentów AI obejmuje ten zakres
- –Chcą Państwo zasymulować ludzkiego przeciwnika wobec Państwa organizacji: Ćwiczenie Red Team obejmuje ten zakres
To, co my oceniamy
- Wiedza, czy ukryte instrukcje mogą przejąć kontrolę nad Państwa AI: testy bezpośredniego i pośredniego prompt injection, w tym instrukcji ukrytych w dokumentach, stronach internetowych, e-mailach i wynikach narzędzi
- Dane wrażliwe pozostają wewnątrz: testy wycieku obejmujące prompty systemowe, pobierane dokumenty, dane treningowe lub dostrajające oraz dane innych użytkowników
- Sprawdzenie, jak działa Państwa polityka: testy niewłaściwego użycia względem ustalonej przez Państwa polityki, obejmujące jailbreaki, obejście filtrów treści szkodliwych i nadużycie dozwolonych funkcji
- Ograniczenie tego, co może zrobić agent: przegląd agenta i użycia narzędzi pod kątem nadmiernych uprawnień, niebezpiecznych działań, niebezpiecznych wtyczek i brakujących etapów zatwierdzania przez człowieka
- Zabezpieczenie danych stojących za modelem: przegląd wyszukiwania, bazy wektorowej i potoku danych, w tym kontroli dostępu i ścieżek zatruwania danych
- Sprawdzenie mechanizmów kontroli wokół modelu: przegląd uwierzytelniania, ograniczania liczby żądań, obsługi wyników i logowania w otaczającej aplikacji
- Przygotowanie do rozmów o EU AI Act: mapowanie gotowości obejmujące klasyfikację systemu, dokumentację i luki w nadzorze, przedstawione jako widok gotowości dla Państwa doradców
Elementy dostawy
- Typowy harmonogram
- Zwykle 2–4 tygodnie od podpisania zakresu, w zależności od liczby systemów AI i narzędzi objętych zakresem – potwierdzamy to w pisemnej ofercie.
- Cennik
- Oferta w stałej cenie po bezpłatnej rozmowie dotyczącej zakresu.
Zanim zaczniemy
- +Zgoda członka kadry kierowniczej odpowiedzialnego za system AI, obejmująca metody testowania i konta testowe
- +Środowisko testowe lub stagingowe albo limity dla testów w produkcji
- +Konta testowe, dostęp do API oraz dokumentacja modelu, narzędzi, źródeł danych i promptów systemowych
- +Pisemne zasady dopuszczalnego użycia obejmujące testy treści szkodliwych, postępowanie z danymi i warunki zatrzymania
- +Powiadomienia dostawcy modelu lub platformy, jeśli wymagają ich ich warunki
- +Wskazane osoby kontaktowe dostępne w oknie testów
Nieuwzględnione (dostępne osobno)
- Doradztwo prawne lub formalne stwierdzenie zgodności z EU AI Act, ocena zgodności lub certyfikacja; przekazujemy dowody gotowości, których potrzebują Państwa doradcy
- Trenowanie lub ponowne trenowanie modeli albo budowa nowych systemów zabezpieczających, o ile nie wyceniono tego odrębnie
- Testowanie własnej infrastruktury zewnętrznych dostawców modeli oraz testy odmowy usługi, które mogłyby wpłynąć na wspólne lub produkcyjne zasoby
- Ogólne testy webowe i API aplikacji hostującej: dostępne jako Testy penetracyjne i Testy bezpieczeństwa API
Jak to działa
Zakres i akceptacja
Testy rozpoczynają się wyłącznie za pisemną zgodą właściciela i na podstawie podpisanego zakresu z uzgodnionymi warunkami zatrzymania, dzięki czemu Państwa działający system AI i jego użytkownicy pozostają chronieni. Przed jakimikolwiek testami potwierdzamy system AI, środowisko testowe, scenariusze nadużyć i zabronione działania.
Modelowanie zagrożeń
Mapujemy źródła danych, narzędzia, użytkowników i granice zaufania, aby ustalić, które ścieżki ataku są najważniejsze dla Państwa systemu.
Testy adwersaryjne
Przeprowadzamy ręczne i automatyczne ataki na system objęty zakresem, rejestrując prompty, odpowiedzi i dowody dla każdego ustalenia.
Raportowanie
Przekazujemy ustalenia, opis ścieżki ataku, rekomendacje dotyczące zabezpieczeń i mapę gotowości w formie, na podstawie której Państwa zespoły mogą działać.
Omówienie i ponowny test
Omawiamy wyniki z Państwa interesariuszami i, jeśli Państwo tak zdecydują, ponownie testujemy wprowadzone przez Państwa poprawki.
Najpierw proszę zgłosić zapytanie o zakres. Odpowiadamy w ciągu 24 godzin i w pisemnej ofercie potwierdzamy system AI, integracje, upoważnienie i okno testowe. Prace rozpoczynamy po potwierdzeniu pisemnego zakresu.
Zakres i wycena
Ostateczny zakres i wycena zależą od Państwa systemu AI, integracji i okna testowego.
Dlaczego BilgeQor
- Każde ustalenie zawiera prompty do odtworzenia i dowody, a opis ścieżki ataku pokazuje, jak problemy łączą się w Państwa aplikacji.
- Mapa gotowości na EU AI Act daje Państwa doradcom uporządkowany obraz klasyfikacji, dokumentacji i luk w nadzorze.
- System AI, środowisko testowe i warunki zatrzymania są najpierw ustalane w pisemnym zakresie; testerzy pracują zdalnie, koordynowani ze Stambułu, Dżakarty i Londynu.
Często zadawane pytania
Usługi powiązane
Ocena bezpieczeństwa OT, ICS i IoT
Ocena bezpieczeństwa przemysłowych systemów sterowania, sieci technologii operacyjnych i urządzeń podłączonych do sieci, w której bezpieczeństwo ludzi i procesów jest na pierwszym miejscu, planowana z Państwa inżynierami.
Przetestuj swoje API pod kątem błędów dostępu
Autoryzowane testy Państwa API REST, GraphQL i backendów mobilnych pod kątem błędów autoryzacji, wstrzyknięć i luk w logice biznesowej, z jasną listą poprawek.
Przetestuj swoją aplikację AI pod presją
Opiszą Państwo system AI i jego narzędzia; w odpowiedzi otrzymają Państwo pisemną ofertę w stałej cenie.
Co dzieje się po wysłaniu
- Analizujemy Państwa zapytanie
- Rozmowa o zakresie
- Pisemna propozycja
Odpowiadamy w ciągu 24 godzin.
