Przejdź do głównej treści
BilgeQor

Red teaming AI i ocena bezpieczeństwa LLM

Zobaczą Państwo, jak Państwa aplikacja AI zachowuje się podczas testów adwersaryjnych, wraz z udokumentowanymi ustaleniami dotyczącymi prompt injection, wycieku danych i niewłaściwego użycia oraz uszeregowaną według priorytetu listą poprawek.

Zaangażowanie zdefiniowane przez zakres
  • UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
  • BilgeQor LtdLondyn, Zjednoczone Królestwo
  • PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonezja
Odpowiadamy w ciągu 24 godzin.

Czy Red teaming AI to właściwy wybór?

Najlepiej pasuje do

  • ✓Zespoły, które zamierzają uruchomić lub rozbudować chatbota, copilota, wyszukiwanie wspomagane wyszukiwaniem informacji (RAG) lub agenta AI z dostępem do danych firmy lub narzędzi
  • ✓Osoby odpowiedzialne za produkt i bezpieczeństwo, które muszą odpowiadać dowodami na pytania klientów lub zarządu o ryzyko związane z AI
  • ✓Organizacje przygotowujące się do obowiązków wynikających z EU AI Act, które chcą wiedzieć, w jakim punkcie znajdują się ich systemy
  • ✓Zespoły inżynierskie, których modele wywołują narzędzia, przeglądają internet lub działają na dokumentach dostarczonych przez podmioty zewnętrzne

Inna usługa pasuje lepiej, jeśli

  • –Chcą Państwo przetestować swoją aplikację internetową i API: Testy penetracyjne oraz Testy bezpieczeństwa API obejmują ten zakres
  • –Chcą Państwo przeglądu projektu integracji agenta AI: Przegląd bezpieczeństwa LLM i agentów AI obejmuje ten zakres
  • –Chcą Państwo zasymulować ludzkiego przeciwnika wobec Państwa organizacji: Ćwiczenie Red Team obejmuje ten zakres

To, co my oceniamy

  • Wiedza, czy ukryte instrukcje mogą przejąć kontrolę nad Państwa AI: testy bezpośredniego i pośredniego prompt injection, w tym instrukcji ukrytych w dokumentach, stronach internetowych, e-mailach i wynikach narzędzi
  • Dane wrażliwe pozostają wewnątrz: testy wycieku obejmujące prompty systemowe, pobierane dokumenty, dane treningowe lub dostrajające oraz dane innych użytkowników
  • Sprawdzenie, jak działa Państwa polityka: testy niewłaściwego użycia względem ustalonej przez Państwa polityki, obejmujące jailbreaki, obejście filtrów treści szkodliwych i nadużycie dozwolonych funkcji
  • Ograniczenie tego, co może zrobić agent: przegląd agenta i użycia narzędzi pod kątem nadmiernych uprawnień, niebezpiecznych działań, niebezpiecznych wtyczek i brakujących etapów zatwierdzania przez człowieka
  • Zabezpieczenie danych stojących za modelem: przegląd wyszukiwania, bazy wektorowej i potoku danych, w tym kontroli dostępu i ścieżek zatruwania danych
  • Sprawdzenie mechanizmów kontroli wokół modelu: przegląd uwierzytelniania, ograniczania liczby żądań, obsługi wyników i logowania w otaczającej aplikacji
  • Przygotowanie do rozmów o EU AI Act: mapowanie gotowości obejmujące klasyfikację systemu, dokumentację i luki w nadzorze, przedstawione jako widok gotowości dla Państwa doradców

Elementy dostawy

Typowy harmonogram
Zwykle 2–4 tygodnie od podpisania zakresu, w zależności od liczby systemów AI i narzędzi objętych zakresem – potwierdzamy to w pisemnej ofercie.
Cennik
Oferta w stałej cenie po bezpłatnej rozmowie dotyczącej zakresu.
Plan testów i podsumowanie zasad realizacji (rules of engagement), aby każdy wiedział, co będzie testowane i gdzie testy się kończą
Rejestr ustaleń z krytycznością, promptami do odtworzenia, dowodami i wskazówkami naprawczymi, aby Państwa zespół mógł odtworzyć i naprawić każdy problem
Opis ścieżki ataku pokazujący, jak problemy łączą się w Państwa aplikacji, aby można było zobaczyć rzeczywiste ryzyko biznesowe
Rekomendacje dotyczące mechanizmów zabezpieczających (guardrails) i kontroli w warstwie modelu, aplikacji i danych
Mapa gotowości na EU AI Act ze wskazanymi lukami w dokumentacji i nadzorze, gotowa do przekazania Państwa doradcom
Spotkanie podsumowujące z interesariuszami ds. produktu, bezpieczeństwa i inżynierii; dostępny jest ponowny test wprowadzonych przez Państwa poprawek

Zanim zaczniemy

  • +Zgoda członka kadry kierowniczej odpowiedzialnego za system AI, obejmująca metody testowania i konta testowe
  • +Środowisko testowe lub stagingowe albo limity dla testów w produkcji
  • +Konta testowe, dostęp do API oraz dokumentacja modelu, narzędzi, źródeł danych i promptów systemowych
  • +Pisemne zasady dopuszczalnego użycia obejmujące testy treści szkodliwych, postępowanie z danymi i warunki zatrzymania
  • +Powiadomienia dostawcy modelu lub platformy, jeśli wymagają ich ich warunki
  • +Wskazane osoby kontaktowe dostępne w oknie testów

Nieuwzględnione (dostępne osobno)

  • Doradztwo prawne lub formalne stwierdzenie zgodności z EU AI Act, ocena zgodności lub certyfikacja; przekazujemy dowody gotowości, których potrzebują Państwa doradcy
  • Trenowanie lub ponowne trenowanie modeli albo budowa nowych systemów zabezpieczających, o ile nie wyceniono tego odrębnie
  • Testowanie własnej infrastruktury zewnętrznych dostawców modeli oraz testy odmowy usługi, które mogłyby wpłynąć na wspólne lub produkcyjne zasoby
  • Ogólne testy webowe i API aplikacji hostującej: dostępne jako Testy penetracyjne i Testy bezpieczeństwa API

Jak to działa

1

Zakres i akceptacja

Testy rozpoczynają się wyłącznie za pisemną zgodą właściciela i na podstawie podpisanego zakresu z uzgodnionymi warunkami zatrzymania, dzięki czemu Państwa działający system AI i jego użytkownicy pozostają chronieni. Przed jakimikolwiek testami potwierdzamy system AI, środowisko testowe, scenariusze nadużyć i zabronione działania.

2

Modelowanie zagrożeń

Mapujemy źródła danych, narzędzia, użytkowników i granice zaufania, aby ustalić, które ścieżki ataku są najważniejsze dla Państwa systemu.

3

Testy adwersaryjne

Przeprowadzamy ręczne i automatyczne ataki na system objęty zakresem, rejestrując prompty, odpowiedzi i dowody dla każdego ustalenia.

4

Raportowanie

Przekazujemy ustalenia, opis ścieżki ataku, rekomendacje dotyczące zabezpieczeń i mapę gotowości w formie, na podstawie której Państwa zespoły mogą działać.

5

Omówienie i ponowny test

Omawiamy wyniki z Państwa interesariuszami i, jeśli Państwo tak zdecydują, ponownie testujemy wprowadzone przez Państwa poprawki.

Najpierw proszę zgłosić zapytanie o zakres. Odpowiadamy w ciągu 24 godzin i w pisemnej ofercie potwierdzamy system AI, integracje, upoważnienie i okno testowe. Prace rozpoczynamy po potwierdzeniu pisemnego zakresu.

Zakres i wycena

Ostateczny zakres i wycena zależą od Państwa systemu AI, integracji i okna testowego.

Dlaczego BilgeQor

  • Każde ustalenie zawiera prompty do odtworzenia i dowody, a opis ścieżki ataku pokazuje, jak problemy łączą się w Państwa aplikacji.
  • Mapa gotowości na EU AI Act daje Państwa doradcom uporządkowany obraz klasyfikacji, dokumentacji i luk w nadzorze.
  • System AI, środowisko testowe i warunki zatrzymania są najpierw ustalane w pisemnym zakresie; testerzy pracują zdalnie, koordynowani ze Stambułu, Dżakarty i Londynu.

Często zadawane pytania

Usługi powiązane

Ocena bezpieczeństwa OT, ICS i IoT

Ocena bezpieczeństwa przemysłowych systemów sterowania, sieci technologii operacyjnych i urządzeń podłączonych do sieci, w której bezpieczeństwo ludzi i procesów jest na pierwszym miejscu, planowana z Państwa inżynierami.

Przetestuj swoje API pod kątem błędów dostępu

Autoryzowane testy Państwa API REST, GraphQL i backendów mobilnych pod kątem błędów autoryzacji, wstrzyknięć i luk w logice biznesowej, z jasną listą poprawek.

Przetestuj swoją aplikację AI pod presją

Opiszą Państwo system AI i jego narzędzia; w odpowiedzi otrzymają Państwo pisemną ofertę w stałej cenie.

Co dzieje się po wysłaniu

  1. Analizujemy Państwa zapytanie
  2. Rozmowa o zakresie
  3. Pisemna propozycja

Odpowiadamy w ciągu 24 godzin.