Speciální triky pro pokročiléPokud pracujete s obsahem, který vyžaduje specifické vstupy, nebo pokud poskytujete příklady jako v předchozí části, může být velmi užitečné jasně označit konkrétní části výzvy. Mějte na paměti, že vše, co napíšete, přichází do LLM jako jediná výzva – dlouhá sekvence tokenů.
Výstup můžete zlepšit použitím oddělovačů k ohraničení a označení konkrétních částí výzvy.
Při vytváření výzev v přirozeném jazyce pro chatboty s umělou inteligencí je pro dosažení požadovaného výsledku zásadní porozumět základním prvkům.
Prvky výzvy vedou model umělé inteligence zamýšleným směrem a zajišťují srozumitelnost a kontext.
Zde je několik základních prvků, které je třeba zvážit.
Navrženo v aplikaci Promptbreeder: Promptbreeder je inovativní systém navržený tak, aby autonomně vyvíjel a přizpůsoboval výzvy pro velké jazykové modely (LLM) a zlepšoval jejich schopnosti uvažování v celé řadě úloh bez nutnosti ručního vytváření výzev. Systém využívá evoluční algoritmy k mutaci populace úloh-promptů a mutačních promptů generovaných samotným LLM, čímž demonstruje jedinečný mechanismus autoreferenčního zlepšování.
Promptbreeder překonává existující strategie promptů, jako jsou Chain-of-Thought a Plan-and-Solve, na aritmetických a rozumových benchmarcích a prokazuje svou efektivitu při evoluci doménově specifických promptů pro komplexní úlohy, jako je klasifikace nenávistných projevů, a ukazuje svou adaptabilitu a škálovatelnost.
Proces evoluce obsahuje rozmanitou sadu mutačních operátorů, včetně přímé mutace, odhadu distribuce, hypermutace, Lamarckovy mutace a křížení podnětů s promícháním kontextu. Tyto operátory usnadňují zkoumání široké škály kognitivních strategií a podporují rozmanitost promptní evoluce.
Následující obrázek z článku ukazuje přehled systému Promptbreeder. Při zadání popisu problému a počáteční sady obecných „stylů myšlení“ a mutačních příkazů generuje Promptbreeder populaci vývojových jednotek, přičemž každá jednotka se skládá obvykle ze dvou úkolů a mutačního příkazu. Poté spustíme standardní binární turnajový genetický algoritmus (Harvey, 2011). Abychom určili vhodnost úlohy-promptu, vyhodnotíme její výkonnost na náhodné dávce trénovacích dat. V průběhu několika generací Promptbreeder následně mutuje task-prompty i mutation-prompty pomocí pěti různých tříd mutačních operátorů. První z nich vede ke stále více doménově adaptivním task-promptům, zatímco druhý vyvíjí stále užitečnější mutation-prompty autoreferenčním způsobem.
Experimenty zdůrazňují účinnost programu Promptbreeder při vývoji složitých podnětů k úlohám, které výrazně překonávají nejmodernější metody, což podtrhuje jeho potenciál automatizovat generování účinných, doménově specifických podnětů pro zlepšení výkonu LLM v různých úlohách.
Navrženo v Ask Me Anything: A Simple Strategy for Prompting Language Models od Arory a kol. ze Stanfordovy univerzity, Numbers Station a UW-Madison.
Ask Me Anything Prompting (AMA) je novou metodou podnětů pro LLM.
Cílem AMA je překonat křehkost tradičních metod podněcování tím, že sdružuje více účinných, avšak nedokonalých podnětů, aby se zvýšila výkonnost modelů v různých úlohách. Využívá podněty typu QA (question-answering) pro jejich otevřenou povahu, čímž podporuje modely v generování diferencovanějších odpovědí než restriktivní typy podnětů.
Tento přístup využívá samotný LLM k rekurzivní transformaci vstupů úloh do efektivních formátů QA a shromažďuje několik šumových hlasů pro skutečné označení vstupu. Tyto hlasy jsou pak agregovány pomocí slabého dohledu, což je technika pro kombinování šumových předpovědí bez dodatečných označených dat.
AMA nejprve rekurzivně využívá LLM k přeformátování úloh a výzev do efektivních formátů a poté agreguje předpovědi napříč výzvami pomocí slabého dohledu. Přeformátování se provádí pomocí řetězců výzev, které se skládají z funkčních (pevných, opakovaně použitelných) výzev, které pracují s různými vstupy úloh. Zde, vzhledem ke vstupnímu příkladu, řetězec výzev zahrnuje výzvu question()-, jejímž prostřednictvím LLM převádí vstupní tvrzení na otázku, a výzvu answer(), jejímž prostřednictvím LLM odpovídá na vygenerovanou otázku. Různé řetězce výzev (tj. lišící se v ukázkách otázky a odpovědi v kontextu) vedou k různým předpovědím pravdivého označení vstupu.
AMA byla hodnocena v několika rodinách modelů s otevřeným zdrojovým kódem (EleutherAI, BLOOM, OPT a T0) a velikostech (parametry 125M-175B) a prokázala průměrné zlepšení výkonu o 10,2 % oproti základnímu modelu s několika snímky. Pozoruhodné je, že model GPT-J-6B se vyrovnal nebo překonal výkon modelu GPT-3-175B s několika snímky v 15 z 20 populárních benchmarků.
Článek dochází k závěru, že AMA nejen usnadňuje použití menších otevřených LLM tím, že snižuje potřebu dokonalého promptingu, ale také navrhuje škálovatelnou a účinnou metodu agregace promptů.
Představte si, že vám někdo položí podrobnou otázku z fyziky. Místo toho, abyste se do ní rovnou ponořili, nejprve pochopíte základní zákon nebo princip, který se na ni vztahuje. Pak toto pochopení použijete k řešení konkrétní otázky.
Na tomto principu je založena technika „Udělej krok zpět“.
Tato metoda umožňuje provádět abstrakce, odvozovat vysokoúrovňové koncepty a první principy z detailních instancí, čímž se výrazně zvyšují jejich schopnosti uvažování.
Step-Back Prompting je dvoufázový proces zahrnující abstrakci a zdůvodňování.
Technika je v článku ilustrována na dvou obrázcích.
„Rephrase and Respond (RaR) Prompting“ je metoda, která se často používá v interaktivních dialozích nebo vzdělávacích technikách. Tato metoda zahrnuje přeformulování otázky nebo poznámky druhé osoby, aby se ujistila, že bylo správně porozuměno, nebo aby se podpořila hlubší reflexe. V pedagogickém kontextu může učitel použít RaR, aby zkontroloval porozumění studenta nebo aby ho povzbudil k dalšímu rozvíjení jeho myšlenek.
PoT zlepšuje numerické uvažování v jazykových modelech. PoT využívá jazykové modely, ke generování příkazů programovacího jazyka spolu s textem, které jsou pak prováděny interpretem programu. PoT tak odděluje složité výpočty od uvažování a porozumění jazyku.
Následující obrázek z článku ukazuje srovnání Řetězce myšlenek a Programu myšlenek.
Metoda PoT byla vyhodnocena na souborech matematických slovních úloh a finančních dat QA a ukázala průměrný nárůst výkonu o přibližně 12 % ve srovnání s výzvou Chain-of-Thoughts.
Zdroje:
Navrženo v programu Prompting myšlenek: Chen a kol. z University of Waterloo, Vector Institute Toronto, University of California Santa Barbara a Google Research v TMLR 2023 zavádí Program of Thoughts (PoT) prompting.
Technika Thread of Thought (ThoT) je určena k posílení argumentačních schopností velkých jazykových modelů (LLM) při zvládání chaotických kontextů.
ThoT čerpá inspiraci z lidských kognitivních procesů a jejím cílem je systematicky segmentovat a analyzovat rozšířené kontexty pro lepší porozumění a přesnost.
ThoT je vyvinut k řešení problémů v chaotických kontextech, kde se LLM snaží procházet a upřednostňovat relevantní informace uprostřed množství dat.
Obrázek ukazuje, že strategie zahrnuje dvoustupňový proces, kdy
Podněty typu Thread of Thought umožňují velkým jazykovým modelům řešit chaotické kontextové problémy. Na zobrazeném výstupu označuje zelený text správnou odpověď, zatímco červený text chybnou předpověď.
Jak zvýšit výkonnost velkých jazykových modelů pomocí emočních podnětů?
Koncept označovaný jako „Emotion Prompt“. Zkoumá vliv emoční inteligence na LLM a ukazuje, jak přidání emočních podnětů k podnětům výrazně zlepšuje výkon LLM v různých úlohách.
Metoda EmotionPrompt kombinuje standardní podněty s emočními stimuly. Tento přístup využívá emocionální reakce podobné lidským reakcím ke zlepšení schopnosti LLM uvažovat a řešit problémy.
Následující obrázek ukazuje přehled procesu od generování po vyhodnocení EmotionPrompt.
