Self-Ask Prompting (Sebedotazování)

Co je Self-Ask Prompting?

Self-Ask Prompting (volně přeloženo jako „Sebedotazování“) je technika promptingu pro velké jazykové modely (LLM), kterou v říjnu 2022 popsali výzkumníci Ofir Press, Muru Zhang, Sewon Min, Ludwig Schmidt, Noah A. Smith a Mike Lewis v článku Measuring and Narrowing the Compositionality Gap in Language Models.

Základní myšlenka je překvapivě jednoduchá: namísto toho, aby model odpověděl na složenou otázku rovnou, nejprve sám sobě položí sérii jednodušších dílčích otázek, na každou z nich si odpoví a teprve poté složí finální odpověď. Model se tak stává zároveň tazatelem i respondentem.

Autoři studie si všimli jevu, který nazvali compositionality gap – tedy mezera v kompozičnosti. Zjistili, že jazykové modely sice znají odpovědi na jednotlivé dílčí fakty, ale nejsou schopny tyto znalosti správně propojit, když jsou dotázány na složenou otázku najednou. Jinými slovy: model ví, kdy Picasso zemřel, a ví, kdo byl tehdy prezidentem Francie, ale přímá složená otázka ho mate. Self-Ask tuto mezeru výrazně zužuje.

Jak Self-Ask Prompting funguje v praxi?

Průběh je strukturovaný a připomíná postup detektiva, který řeší případ krok po kroku. Celý proces lze popsat takto:

1. Identifikace složenosti otázky. Model dostane otázku a nejprve posoudí, zda ji lze zodpovědět přímo, nebo zda vyžaduje více kroků. Pokud potřebuje více kroků, explicitně to oznámí – v promptu se typicky objeví výraz „Are there follow-up questions needed? Yes.“

2. Formulace dílčí otázky. Model si sám sobě položí první dílčí otázku, která je nezbytná pro zodpovězení té hlavní. Tuto otázku označí ve formátu „Follow-up: [otázka]“.

3. Zodpovězení dílčí otázky. Model na svou vlastní otázku ihned odpovídá ve formátu „Intermediate answer: [odpověď]“. V pokročilejších implementacích lze v tomto kroku zapojit i externí vyhledávač nebo databázi pro faktické ověření.

4. Iterace. Kroky 2 a 3 se opakují tak dlouho, dokud má model k dispozici všechny informace potřebné pro finální odpověď.

5. Finální odpověď. Jakmile jsou všechny dílčí otázky zodpovězeny, model je složí do výsledné odpovědi označené „So the final answer is: [odpověď]“.

Celý dialog modelu se sebou samým vypadá přibližně takto: Dostane otázku „Kdo byl prezidentem Francie v roce, kdy zemřel Pablo Picasso?“ Model odpoví: „Potřebuji dílčí informace. Follow-up: Kdy zemřel Pablo Picasso? Intermediate answer: Pablo Picasso zemřel v roce 1973. Follow-up: Kdo byl prezidentem Francie v roce 1973? Intermediate answer: V roce 1973 byl prezidentem Francie Georges Pompidou. So the final answer is: Georges Pompidou.“

Proč to funguje?

Self-Ask Prompting je efektivní z několika důvodů. Za prvé, rozkládá složitý problém na menší, zvládnutelné části – což je ostatně princip, který funguje nejen v AI, ale i v lidském myšlení. Za druhé, explicitní formulace dílčích otázek nutí model být transparentní ohledně svého uvažování, což snižuje riziko halucinací a logických chyb. Za třetí, technika se přirozeně kombinuje s externím vyhledáváním: dílčí otázky lze odesílat do vyhledávače a vrácené výsledky použít jako „Intermediate answers“, čímž model získává přístup k aktuálním faktům.

Ask Me Anything Prompting: Jiný přístup ke stejnému problému

Zatímco Self-Ask řeší problém kompozičnosti otázek, technika Ask Me Anything Prompting (AMA), navržená výzkumníky ze Stanfordovy univerzity, Numbers Station a UW-Madison, si bere na mušku jiný problém: křehkost tradičních promptů.

Tradiční prompty jsou totiž velmi citlivé na přesnou formulaci. Malá změna ve znění instrukce může dramaticky ovlivnit kvalitu výstupu. AMA tento problém řeší elegantním způsobem – místo hledání jednoho dokonalého promptu jich použije mnoho nedokonalých a jejich výstupy agreguje do jednoho spolehlivého výsledku.

Jak AMA funguje?

Metoda AMA je postavena na dvou pilířích: přeformátování vstupu a agregace výstupů.

Přeformátování vstupu spočívá v tom, že AMA využívá samotný LLM k rekurzivní transformaci libovolného vstupního textu do formátu otázka-odpověď (QA). Proč právě QA formát? Protože otevřené otázky přirozeně podporují model v generování nuancovanějších a méně kategorických odpovědí než restriktivní formáty jako „Ano/Ne“ nebo výběr z možností.

Konkrétně: model dostane vstupní tvrzení nebo příklad a prostřednictvím dvou řetězených promptů ho převede do QA formátu. První prompt question() přemění vstupní tvrzení na otázku. Druhý prompt answer() na tuto vygenerovanou otázku odpoví. Různé varianty těchto promptů – lišící se například ukázkovými příklady – vedou k různým pohledům na tentýž vstup.

Agregace výstupů je druhým klíčovým krokem. Různé varianty promptů vygenerují různé předpovědi, které mohou být navzájem rozporuplné nebo nepřesné – jsou to takzvaná „šumová hlasování“. AMA tyto hlasy agreguje pomocí techniky slabého dohledu (weak supervision), která dokáže kombinovat více nepřesných predikcí bez potřeby dodatečně označených trénovacích dat. Výsledkem je spolehlivější predikce, než jakou by poskytl jakýkoliv jednotlivý prompt.

Kde se obě techniky liší a kde se potkávají

Self-Ask a AMA přistupují k problémům LLM z různých úhlů, ale sdílejí společnou filozofii: neptat se modelu jednou přímo, ale zorganizovat jeho myšlení do strukturovanějšího procesu.

Self-Ask je primárně určen pro složené faktické otázky, kde je třeba propojit více informací. Je lineární a sekvenční – každý krok staví na předchozím. AMA naproti tomu řeší spolehlivost modelu napříč různými typy úloh tím, že paralelně generuje více pohledů a tyto pohledy demokraticky „přehlasuje“ do výsledku.

Obě techniky ovšem vedou ke stejnému cíli: překonat inherentní omezení jazykových modelů nikoli jejich přetrénováním, ale chytřejším způsobem kladení otázek. Ukazují, že velká část potenciálu LLM tkví ne v samotném modelu, ale ve způsobu, jakým s ním komunikujeme.