Promptbreeder: Technika evolučních algoritmů pro přesné prompty
Navrženo v aplikaci Promptbreeder: Promptbreeder je inovativní systém navržený tak, aby autonomně vyvíjel a přizpůsoboval výzvy pro velké jazykové modely (LLM) a zlepšoval jejich schopnosti uvažování v celé řadě úloh bez nutnosti ručního vytváření výzev. Systém využívá evoluční algoritmy k mutaci populace úloh-promptů a mutačních promptů generovaných samotným LLM, čímž demonstruje jedinečný mechanismus autoreferenčního zlepšování.
Promptbreeder překonává existující strategie promptů, jako jsou Chain-of-Thought a Plan-and-Solve, na aritmetických a rozumových benchmarcích a prokazuje svou efektivitu při evoluci doménově specifických promptů pro komplexní úlohy, jako je klasifikace nenávistných projevů, a ukazuje svou adaptabilitu a škálovatelnost.
Proces evoluce obsahuje rozmanitou sadu mutačních operátorů, včetně přímé mutace, odhadu distribuce, hypermutace, Lamarckovy mutace a křížení podnětů s promícháním kontextu. Tyto operátory usnadňují zkoumání široké škály kognitivních strategií a podporují rozmanitost promptní evoluce.
Následující obrázek z článku ukazuje přehled systému Promptbreeder. Při zadání popisu problému a počáteční sady obecných „stylů myšlení“ a mutačních příkazů generuje Promptbreeder populaci vývojových jednotek, přičemž každá jednotka se skládá obvykle ze dvou úkolů a mutačního příkazu. Poté spustíme standardní binární turnajový genetický algoritmus (Harvey, 2011). Abychom určili vhodnost úlohy-promptu, vyhodnotíme její výkonnost na náhodné dávce trénovacích dat. V průběhu několika generací Promptbreeder následně mutuje task-prompty i mutation-prompty pomocí pěti různých tříd mutačních operátorů. První z nich vede ke stále více doménově adaptivním task-promptům, zatímco druhý vyvíjí stále užitečnější mutation-prompty autoreferenčním způsobem.
Experimenty zdůrazňují účinnost programu Promptbreeder při vývoji složitých podnětů k úlohám, které výrazně překonávají nejmodernější metody, což podtrhuje jeho potenciál automatizovat generování účinných, doménově specifických podnětů pro zlepšení výkonu LLM v různých úlohách.
Take a Step Back Prompting (Udělejte krok zpět)
Take a Step Back Prompting (často zkráceně Step-Back Prompting) je technika prompt engineeringu, která vede jazykový model k tomu, aby se nejdřív „odzoomoval“ od konkrétní, detailní otázky a nejprve si vyjasnil obecné principy, zákony, pojmy nebo rámec, které se na problém vztahují. Teprve potom tyto principy použije k řešení původní otázky.
Rephrase and Respond (RaR) Prompting
Nejdřív přeformuluj a pak odpověz
Každý, kdo někdy vedl důležitý rozhovor, zná situaci, kdy si před odpovědí potřebuje v hlavě otázku zopakovat jinak – aby si ověřil, zda ji správně pochopil. Zkušený terapeut přeformuluje klientovu otázku, aby ukázal, že mu naslouchá a rozumí. Dobrý učitel zopakuje studentovu nejasnou otázku srozumitelnějšími slovy. Tato intuitivní komunikační strategie stojí za technikou promptingu nazvanou Rephrase and Respond – přeformuluj a odpověz, zkráceně RaR. Navrhli ji výzkumníci Deng a kolegové z UCLA.
Program of Thoughts (PoT) Prompting
PoT zlepšuje numerické uvažování v jazykových modelech. PoT využívá jazykové modely, ke generování příkazů programovacího jazyka spolu s textem, které jsou pak prováděny interpretem programu. PoT tak odděluje složité výpočty od uvažování a porozumění jazyku.
Následující obrázek z článku ukazuje srovnání Řetězce myšlenek a Programu myšlenek.
Metoda PoT byla vyhodnocena na souborech matematických slovních úloh a finančních dat QA a ukázala průměrný nárůst výkonu o přibližně 12 % ve srovnání s výzvou Chain-of-Thoughts.
Zdroje:
Navrženo v programu Prompting myšlenek: Chen a kol. z University of Waterloo, Vector Institute Toronto, University of California Santa Barbara a Google Research v TMLR 2023 zavádí Program of Thoughts (PoT) prompting.
Thread of thought (ThoT) prompting pro přesnou argumentaci
Technika Thread of Thought (ThoT) je určena k posílení argumentačních schopností velkých jazykových modelů (LLM) při zvládání chaotických kontextů.
ThoT čerpá inspiraci z lidských kognitivních procesů a jejím cílem je systematicky segmentovat a analyzovat rozšířené kontexty pro lepší porozumění a přesnost.
ThoT je vyvinut k řešení problémů v chaotických kontextech, kde se LLM snaží procházet a upřednostňovat relevantní informace uprostřed množství dat.
Obrázek ukazuje, že strategie zahrnuje dvoustupňový proces, kdy
- 1. krok vede LLM analytickým kontextem a rozděluje jej na zvládnutelné části pro shrnutí a analýzu.
- 2. krok je zpřesňuje do definitivní odpovědi.
Podněty typu Thread of Thought umožňují velkým jazykovým modelům řešit chaotické kontextové problémy. Na zobrazeném výstupu označuje zelený text správnou odpověď, zatímco červený text chybnou předpověď.
Emotion Prompting: Větší přesnost AI díky emocím v zadání
Jak zvýšit výkonnost velkých jazykových modelů pomocí emočních podnětů?
Koncept označovaný jako „Emotion Prompt“. Zkoumá vliv emoční inteligence na LLM a ukazuje, jak přidání emočních podnětů k podnětům výrazně zlepšuje výkon LLM v různých úlohách.
Metoda EmotionPrompt kombinuje standardní podněty s emočními stimuly. Tento přístup využívá emocionální reakce podobné lidským reakcím ke zlepšení schopnosti LLM uvažovat a řešit problémy.
Následující obrázek ukazuje přehled procesu od generování po vyhodnocení EmotionPrompt.
LogiCoT: Technika revize a opravy myšlenkových řetězců AI
Logický myšlenkový řetězec (LogiCoT) je zaměřen na zlepšení schopnosti nulového uvažování velkých jazykových modelů (LLM) začleněním principů ze symbolické logiky.
Metodika LogiCoT zahrnuje dvojí proces:
- za prvé, použití reductio ad absurdum k identifikaci a opravě logických chyb v rámci argumentačního řetězce;
- za druhé, strukturování procesu uvažování, které umožňuje systematické ověřování a revizi každého argumentačního kroku na základě logických principů.
Tento proces je doplněn zavedením mechanismu růstu řetězce, který selektivně reviduje nepravděpodobné kroky uvažování, čímž zvyšuje přesnost uvažování modelu bez zbytečné výpočetní zátěže.
Na obrázku níže je znázorněn přehled podnětů myšlenkového řetězce (CoT) a LogiCoT. V případě CoT činí selhání entailmentu (červeně) zbytek dedukce nedůvěryhodným (šedě), což v důsledku brání celkovému úspěchu dedukce. Naproti tomu LogiCoT je navržen tak, aby myslel-ověřoval-revidoval: přijímá ty, které projdou ověřením (zeleně), a reviduje (modře) ty, které neprojdou, čímž efektivně zlepšuje celkovou schopnost usuzování.
Contrastive Chain-of-Thought (CCoT): Technika správných i špatných ukázek
Contrastive Chain-of-Thought (CCoT) je metoda pro zvýšení argumentačních schopností velkých jazykových modelů (LLM).
Tato metoda zahrnuje poskytování ukázek správného i nesprávného uvažování, inspirovaných způsobem, jakým se lidé učí na základě správných i nesprávných metod.
Koncepce CCoT vychází z myšlenky, že přidání kontrastních příkladů, zahrnujících jak platné, tak neplatné uvažování, může výrazně zlepšit výkon LLM v úlohách uvažování.
Proces použití CCoT zahrnuje přípravu výzvy, poskytnutí platného vysvětlení myšlenkového řetězce (CoT), generování kontrastních neplatných vysvětlení CoT z platného a následné zavedení nové výzvy uživatele.
Následující obrázek ukazuje přehled kontrastního řetězce myšlenek (vpravo) s porovnáním s běžnými metodami promptingu.
SCoT prompting: Technika strukturovaného uvažování pro vývojáře
Strukturované CoT (SCoT) spočívá v tom, že zdrojový kód obsahuje bohaté strukturální informace a každý kód se může skládat ze tří programových struktur: struktur sekvence, větvení a smyčky.
Strukturované mezikroky uvažování intuitivně vytvářejí strukturovaný zdrojový kód. Žádají tedy LLM, aby používaly programové struktury k sestavení CoT, čímž získají SCoT. Poté LLM generují konečný kód na základě SCoT.
Ve srovnání s výzvami CoT výzvami SCoT explicitně omezují LLM, aby přemýšlely o tom, jak řešit požadavky z pohledu zdrojového kódu, a dále zvyšují výkonnost LLM při generování kódu.
Následující obrázek z článku ukazuje srovnání řetězce myšlenek (CoT) a našeho strukturovaného řetězce myšlenek (SCoT).
