Představte si, že vám někdo položí podrobnou otázku z fyziky. Místo toho, abyste se do ní rovnou ponořili, nejprve pochopíte základní zákon nebo princip, který se na ni vztahuje. Pak toto pochopení použijete k řešení konkrétní otázky.
Na tomto principu je založena technika „Udělej krok zpět“.
Tato metoda umožňuje provádět abstrakce, odvozovat vysokoúrovňové koncepty a první principy z detailních instancí, čímž se výrazně zvyšují jejich schopnosti uvažování.
Step-Back Prompting je dvoufázový proces zahrnující abstrakci a zdůvodňování.
- Ve fázi abstrakce jsou LLM podněcovány k tomu, aby kladly otázky na vysoké úrovni, širší, obecné otázky typu step-back týkající se konceptů nebo principů relevantních pro danou úlohu.
- Fáze uvažování je využívá k tomu, aby vedla LLM k řešení původních otázek.
Technika je v článku ilustrována na dvou obrázcích.
Nahoře je příklad, kde je první princip zákona ideálního plynu získán pomocí abstrakce.
Dole je příklad, kde je výsledkem abstrakce vysokoúrovňový koncept historie vzdělávání.
Vlevo PaLM-2L nedokáže odpovědět na původní otázku. Podněty myšlenkového řetězce narazily na chyby během mezikroků uvažování (zvýrazněno červeně).
Vpravo: PaLM-2L úspěšně odpoví na otázku prostřednictvím Step-Back Prompting.
Účinnost Step-Back Prompting je empiricky ověřena a překonává jiné metody, jako je například Chain of Thought (CoT) prompting a Take a Deep Breath (TDB) prompting, s výrazným zlepšením oproti základním modelům.
Analýza chyb naznačuje, že většina chyb při Step-Back Prompting se vyskytuje během kroku uvažování, což naznačuje, že ačkoli lze LLM efektivně učit abstrakčním dovednostem, zvyšování jejich schopnosti uvažování zůstává výzvou.
Zdroj:
Článek Step-Back Prompting
