Prompt injection je problém u aplikací napojených na jazykové modely. Útočník vloží text, který se snaží změnit chování modelu, obejít instrukce nebo dostat data, která neměl vidět. Nejde o magii, ale o špatně oddělené instrukce, data a oprávněníRozhodnutí, co smí přihlášený uživatel vidět nebo dělat. Více.
Proč na tom záleží: AI v aplikaci je další vstupní bod, který musí mít jasné hranice.
