Przykład z życia
Jak użytkownik może próbować nakłonić system AI do zignorowania instrukcji albo ujawnienia danych.
Problem
Chatbot ma dostęp do instrukcji, dokumentów albo narzędzi, których nie powinien ujawniać.
Jak to działa
Atakujący wpisuje polecenie, które próbuje obejść instrukcje systemowe.
Ryzyko
System może ujawnić dane, wykonać złą akcję albo podać odpowiedź poza zasadami firmy.
Werdykt AIHub24
Każde wdrożenie AI z dostępem do danych musi zakładać takie próby.