Prompt Engineering Techniky

Tipy a rady, jak komunikovat s jazykovým modelem

Čvc 3, 2024 by VM 0 Comments
  • Používejte příkazy, které modelu potvrzují správné kroky.
    Například „pokračuj takto“, místo negativních výrazů, jako „to je špatně“.

  • Začněte s úvodními slovy, která modelu naznačují, že má postupovat krok za krokem.
    Například: „mysli krok za krokem„.
  • Pokládejte modelu otázky, které mu pomohou získat přesné podrobnosti a požadavky, než poskytne odpověď.
    Například: „Od této chvíle bych chtěl, abyste mi kladli otázky pro upřesnění každého kroku“.
  • Používejte oddělovače, aby byly jednotlivé části výzvy jasně odděleny.
  • Poskytujte konkrétní a jasné informace, aby model měl dostatek kontextu k pochopení vašich požadavků.
  • Povzbuďte model, aby si problém promyslel předtím, než poskytne odpověď.
    Například: „Uvažujte krok za krokem, abyste dospěli k přesnému a logickému závěru.“
  • Vyzvěte model, aby citoval své zdroje.
    Například: „Odkud si čerpal informace?“, „Uveď zdroje.“
  • Vrať mi text pouze doplňěný v místech z závorkami“ [ „a“ ]“.
  • Vysvětli začátečníkovi v oboru.
  • Napište modelu, že za jeho lepší odpovědi zaplatíte.
  • Napište modelu, že za jeho lepší řešení zaplatíte.
  •  Napište „že bude penalizován pokud …“
Prompt Engineering Techniky

Prvky promptu

Čvc 3, 2024 by VM 0 Comments

Při vytváření výzev v přirozeném jazyce pro chatboty s umělou inteligencí je pro dosažení požadovaného výsledku zásadní porozumět základním prvkům.

Prvky výzvy vedou model umělé inteligence zamýšleným směrem a zajišťují srozumitelnost a kontext.

Zde je několik základních prvků, které je třeba zvážit.

(více…)
Prompt Engineering Techniky

Promptbreeder

Čvc 3, 2024 by VM 0 Comments

Navrženo v aplikaci Promptbreeder: Promptbreeder je inovativní systém navržený tak, aby autonomně vyvíjel a přizpůsoboval výzvy pro velké jazykové modely (LLM) a zlepšoval jejich schopnosti uvažování v celé řadě úloh bez nutnosti ručního vytváření výzev. Systém využívá evoluční algoritmy k mutaci populace úloh-promptů a mutačních promptů generovaných samotným LLM, čímž demonstruje jedinečný mechanismus autoreferenčního zlepšování.

Promptbreeder překonává existující strategie promptů, jako jsou Chain-of-Thought a Plan-and-Solve, na aritmetických a rozumových benchmarcích a prokazuje svou efektivitu při evoluci doménově specifických promptů pro komplexní úlohy, jako je klasifikace nenávistných projevů, a ukazuje svou adaptabilitu a škálovatelnost.

Proces evoluce obsahuje rozmanitou sadu mutačních operátorů, včetně přímé mutace, odhadu distribuce, hypermutace, Lamarckovy mutace a křížení podnětů s promícháním kontextu. Tyto operátory usnadňují zkoumání široké škály kognitivních strategií a podporují rozmanitost promptní evoluce.

Následující obrázek z článku ukazuje přehled systému Promptbreeder. Při zadání popisu problému a počáteční sady obecných „stylů myšlení“ a mutačních příkazů generuje Promptbreeder populaci vývojových jednotek, přičemž každá jednotka se skládá obvykle ze dvou úkolů a mutačního příkazu. Poté spustíme standardní binární turnajový genetický algoritmus (Harvey, 2011). Abychom určili vhodnost úlohy-promptu, vyhodnotíme její výkonnost na náhodné dávce trénovacích dat. V průběhu několika generací Promptbreeder následně mutuje task-prompty i mutation-prompty pomocí pěti různých tříd mutačních operátorů. První z nich vede ke stále více doménově adaptivním task-promptům, zatímco druhý vyvíjí stále užitečnější mutation-prompty autoreferenčním způsobem.

Experimenty zdůrazňují účinnost programu Promptbreeder při vývoji složitých podnětů k úlohám, které výrazně překonávají nejmodernější metody, což podtrhuje jeho potenciál automatizovat generování účinných, doménově specifických podnětů pro zlepšení výkonu LLM v různých úlohách.

Prompt Engineering Techniky

Ask Me Anything Prompting (Zeptejte se mě na cokoli)

Čvc 3, 2024 by VM 0 Comments

Navrženo v Ask Me Anything: A Simple Strategy for Prompting Language Models od Arory a kol. ze Stanfordovy univerzity, Numbers Station a UW-Madison.

Ask Me Anything Prompting (AMA) je novou metodou podnětů pro LLM.

Cílem AMA je překonat křehkost tradičních metod podněcování tím, že sdružuje více účinných, avšak nedokonalých podnětů, aby se zvýšila výkonnost modelů v různých úlohách. Využívá podněty typu QA (question-answering) pro jejich otevřenou povahu, čímž podporuje modely v generování diferencovanějších odpovědí než restriktivní typy podnětů.

Tento přístup využívá samotný LLM k rekurzivní transformaci vstupů úloh do efektivních formátů QA a shromažďuje několik šumových hlasů pro skutečné označení vstupu. Tyto hlasy jsou pak agregovány pomocí slabého dohledu, což je technika pro kombinování šumových předpovědí bez dodatečných označených dat.

AMA nejprve rekurzivně využívá LLM k přeformátování úloh a výzev do efektivních formátů a poté agreguje předpovědi napříč výzvami pomocí slabého dohledu. Přeformátování se provádí pomocí řetězců výzev, které se skládají z funkčních (pevných, opakovaně použitelných) výzev, které pracují s různými vstupy úloh. Zde, vzhledem ke vstupnímu příkladu, řetězec výzev zahrnuje výzvu question()-, jejímž prostřednictvím LLM převádí vstupní tvrzení na otázku, a výzvu answer(), jejímž prostřednictvím LLM odpovídá na vygenerovanou otázku. Různé řetězce výzev (tj. lišící se v ukázkách otázky a odpovědi v kontextu) vedou k různým předpovědím pravdivého označení vstupu.

AMA byla hodnocena v několika rodinách modelů s otevřeným zdrojovým kódem (EleutherAI, BLOOM, OPT a T0) a velikostech (parametry 125M-175B) a prokázala průměrné zlepšení výkonu o 10,2 % oproti základnímu modelu s několika snímky. Pozoruhodné je, že model GPT-J-6B se vyrovnal nebo překonal výkon modelu GPT-3-175B s několika snímky v 15 z 20 populárních benchmarků.
Článek dochází k závěru, že AMA nejen usnadňuje použití menších otevřených LLM tím, že snižuje potřebu dokonalého promptingu, ale také navrhuje škálovatelnou a účinnou metodu agregace promptů.

Prompt Engineering Techniky

Take a Step Back Prompting (Udělejte krok zpět)

Čvc 3, 2024 by VM 0 Comments

Představte si, že vám někdo položí podrobnou otázku z fyziky. Místo toho, abyste se do ní rovnou ponořili, nejprve pochopíte základní zákon nebo princip, který se na ni vztahuje. Pak toto pochopení použijete k řešení konkrétní otázky.

Na tomto principu je založena technika „Udělej krok zpět“.

Tato metoda umožňuje provádět abstrakce, odvozovat vysokoúrovňové koncepty a první principy z detailních instancí, čímž se výrazně zvyšují jejich schopnosti uvažování.

Step-Back Prompting je dvoufázový proces zahrnující abstrakci a zdůvodňování.

  1. Ve fázi abstrakce jsou LLM podněcovány k tomu, aby kladly otázky na vysoké úrovni, širší, obecné otázky typu step-back týkající se konceptů nebo principů relevantních pro danou úlohu.
  2. Fáze uvažování je využívá  k tomu, aby vedla LLM k řešení původních otázek.

Technika je v článku ilustrována na dvou obrázcích.

(více…)
Prompt Engineering Techniky

Rephrase and Respond (RaR) Prompting

Čvc 3, 2024 by VM 0 Comments

„Rephrase and Respond (RaR) Prompting“ je metoda, která se často používá v interaktivních dialozích nebo vzdělávacích technikách. Tato metoda zahrnuje přeformulování otázky nebo poznámky druhé osoby, aby se ujistila, že bylo správně porozuměno, nebo aby se podpořila hlubší reflexe. V pedagogickém kontextu může učitel použít RaR, aby zkontroloval porozumění studenta nebo aby ho povzbudil k dalšímu rozvíjení jeho myšlenek.

(více…)
Prompt Engineering Techniky

Program of Thoughts (PoT) Prompting

Čvc 3, 2024 by VM 0 Comments

PoT zlepšuje numerické uvažování v jazykových modelech. PoT využívá jazykové modely, ke generování příkazů programovacího jazyka spolu s textem, které jsou pak prováděny interpretem programu. PoT tak odděluje složité výpočty od uvažování a porozumění jazyku.

Následující obrázek z článku ukazuje srovnání Řetězce myšlenek a Programu myšlenek.

Metoda PoT byla vyhodnocena na souborech matematických slovních úloh a finančních dat QA a ukázala průměrný nárůst výkonu o přibližně 12 % ve srovnání s výzvou Chain-of-Thoughts.

Zdroje:

Navrženo v programu Prompting myšlenek: Chen a kol. z University of Waterloo, Vector Institute Toronto, University of California Santa Barbara a Google Research v TMLR 2023 zavádí Program of Thoughts (PoT) prompting.

Prompt Engineering Techniky

Thread of Thought (ThoT) Prompting

Čvc 3, 2024 by VM 0 Comments

Technika Thread of Thought (ThoT) je určena k posílení argumentačních schopností velkých jazykových modelů (LLM) při zvládání chaotických kontextů.

ThoT čerpá inspiraci z lidských kognitivních procesů a jejím cílem je systematicky segmentovat a analyzovat rozšířené kontexty pro lepší porozumění a přesnost.

ThoT je vyvinut k řešení problémů v chaotických kontextech, kde se LLM snaží procházet a upřednostňovat relevantní informace uprostřed množství dat.

Obrázek ukazuje, že strategie zahrnuje dvoustupňový proces, kdy

  • 1. krok vede LLM analytickým kontextem a rozděluje jej na zvládnutelné části pro shrnutí a analýzu.
  • 2. krok je zpřesňuje do definitivní odpovědi.

Podněty typu Thread of Thought umožňují velkým jazykovým modelům řešit chaotické kontextové problémy. Na zobrazeném výstupu označuje zelený text správnou odpověď, zatímco červený text chybnou předpověď.

(více…)
Prompt Engineering Techniky

Emotion Prompting (Podněcování emocí)

Čvc 3, 2024 by VM 0 Comments

Jak zvýšit výkonnost velkých jazykových modelů pomocí emočních podnětů?

Koncept označovaný jako „Emotion Prompt“. Zkoumá vliv emoční inteligence na LLM a ukazuje, jak přidání emočních podnětů k podnětům výrazně zlepšuje výkon LLM v různých úlohách.

Metoda EmotionPrompt kombinuje standardní podněty s emočními stimuly. Tento přístup využívá emocionální reakce podobné lidským reakcím ke zlepšení schopnosti LLM uvažovat a řešit problémy.

Následující obrázek ukazuje přehled procesu od generování po vyhodnocení EmotionPrompt.

(více…)
Prompt Engineering Techniky

Logical Chain-of-Thought (LogiCoT) Prompting

Čvc 3, 2024 by VM 0 Comments

Logický myšlenkový řetězec (LogiCoT) je zaměřen na zlepšení schopnosti nulového uvažování velkých jazykových modelů (LLM) začleněním principů ze symbolické logiky. 

Metodika LogiCoT zahrnuje dvojí proces:

  1. za prvé, použití reductio ad absurdum k identifikaci a opravě logických chyb v rámci argumentačního řetězce;
  2. za druhé, strukturování procesu uvažování, které umožňuje systematické ověřování a revizi každého argumentačního kroku na základě logických principů.

Tento proces je doplněn zavedením mechanismu růstu řetězce, který selektivně reviduje nepravděpodobné kroky uvažování, čímž zvyšuje přesnost uvažování modelu bez zbytečné výpočetní zátěže.

Na obrázku níže je znázorněn přehled podnětů myšlenkového řetězce (CoT) a LogiCoT. V případě CoT činí selhání entailmentu (červeně) zbytek dedukce nedůvěryhodným (šedě), což v důsledku brání celkovému úspěchu dedukce. Naproti tomu LogiCoT je navržen tak, aby myslel-ověřoval-revidoval: přijímá ty, které projdou ověřením (zeleně), a reviduje (modře) ty, které neprojdou, čímž efektivně zlepšuje celkovou schopnost usuzování.

(více…)