Hacking ChatGPT

1. Hacking Promptů

• Hacking promptů spočívá v hledání způsobů, jak manipulovat s odpověďmi jazykových modelů. Útočník se snaží ovlivnit výstup modelu prostřednictvím nečekaných vstupů nebo sofistikovaných pokynů. Tento hacking zahrnuje jak úpravu samotného textu promptu, tak i využívání mezer ve struktuře modelů, aby se dosáhlo specifických reakcí, které by mohly být škodlivé nebo kompromitující.

2. Prompt Injection

• Prompt injection je metoda, při které se útočník snaží „vstříknout“ nebo vložit škodlivý text do promptu, což může vést k nežádoucím výstupům nebo chování modelu. Tato metoda je často používána k tomu, aby model odpověděl na otázky nebo sdílel informace, které jsou jinak chráněny nebo přísně omezeny. Prompt injection může být hrozbou v prostředí, kde modely interagují s důvěrnými informacemi.

3. Zamykání Promptů

• Zamykání promptů je technika, kterou organizace nebo vývojáři používají k ochraně promptů před úpravami nebo neautorizovaným přístupem. Tento postup zahrnuje omezení přístupu k úpravám promptu nebo k nastavení, které model využívá pro generování odpovědí. Cílem zamykání je zajistit, aby žádný uživatel nebo útočník nemohl prompty upravit tak, aby změnil výchozí chování modelu.

4. Jailbreaking

• Jailbreaking u jazykových modelů označuje proces, při kterém uživatel manipuluje modelem tak, aby obcházel nastavená omezení nebo pravidla. Tento proces může zahrnovat speciální techniky zadávání promptů, které nutí model poskytovat odpovědi nebo informace, které by jinak neměl sdílet, například chráněný obsah nebo citlivá data.

5. Obranná opatření

• Obranná opatření zahrnují soubor technik a strategií zaměřených na ochranu jazykových modelů před útoky, jako je prompt injection nebo jailbreaking. Patří sem například filtrování promptů, využívání algoritmů detekce anomálií, trénování modelů na rozpoznání potenciálně škodlivých promptů a zamykání promptů. Tato opatření mají za cíl minimalizovat riziko, že model bude manipulován nebo zneužit.

6. Útočná opatření

• Útočná opatření se zaměřují na různé způsoby, jak překonat ochrany jazykových modelů, například prostřednictvím sofistikovaných prompt injection nebo jailbreaking technik. Útočníci využívají slabiny modelu a promptů, aby získali kontrolu nad výstupy nebo vynutili sdílení citlivých informací. Tato opatření představují velké riziko pro bezpečnost a integritu systémů využívajících jazykové modely a vyžadují nepřetržitou optimalizaci obranných mechanismů.