Chain-of-thought (Řetězec úvah)

Představte si to jako poskytnutí modelu „cestovní mapy“ myšlenek nebo kontextu, který ho vede k požadované odpovědi. Tato technika je obzvláště užitečná pro složitější úkoly, které vyžadují hlubší porozumění kontextu nebo pro úkoly, které vyžadují, aby model generoval odpovědi, které jsou konzistentní s předchozími informacemi nebo kontextem.

Pokud chcete, aby model napsal pokračování příběhu, můžete použít techniku Chain-of-thought k vytvoření kontextu, který modelu pomůže pochopit, co se stalo v příběhu dosud, jaké jsou charaktery postav, jaký je styl příběhu atd. Tímto způsobem model ví, jak pokračovat v příběhu tak, aby byl konzistentní s tím, co se stalo dosud.

co je výzva CoT? CoT prompting je jednoduchá technika pro zlepšení výkonu LLM při uvažování úloh, jako je zdravý rozum nebo symbolické uvažování. Výzva CoT využívá několikanásobné učení vložením několika příkladů problémů s uvažováním, které se řeší do výzvy. Každý příklad je spárován s myšlenkovým řetězcem (nebo zdůvodněním), který rozšiřuje odpověď na problém tím, že textově vysvětluje, jak je problém krok za krokem vyřešen zde:

(více…)

Few-shot learning (Učení z příkladů)

Tato technika je založena na principu poskytnutí modelu několika příkladů úkolu, který má vykonat, než mu poskytnete skutečný úkol. Tímto způsobem model „učí“ na základě těchto příkladů, jak vykonat úkol.

Představte si to jako učení pomocí příkladů. Například, pokud chcete, aby dítě pochopilo, jak se počítá, nejdříve mu ukážete několik příkladů, jak se sčítá a odečítá, než ho požádáte, aby vyřešilo matematický problém. Stejným způsobem, pokud chcete, aby AI model vykonal konkrétní úkol, nejdříve mu poskytnete několik příkladů toho, jak by měl úkol vykonat, a poté mu poskytnete skutečný úkol.

(více…)

Self-consistency (Udržování soudržnosti a formy obsahu)

Tato technika je založena na principu vytváření promptů, které jsou konzistentní v rámci sebe sama. To znamená, že všechny části promptu by měly být konzistentní a smysluplné v kontextu celého promptu.

Sebekonzistence je přístup, který jednoduše položí modelu několikrát stejnou otázku a za konečnou odpověď považuje většinový výsledek.

Představte si to jako psaní příběhu. Každá část příběhu by měla být konzistentní s ostatními částmi. Například, pokud začnete příběh tím, že hlavní postava žije v moderním městě, neměli byste v polovině příběhu náhle změnit kontext a tvrdit, že postava žije v pravěku. Stejným způsobem by měl být prompt konzistentní v rámci sebe sama.

 

  • Možná jedna z pokročilejších technik pro rychlé inženýrství je vlastní konzistence. Navrhl Wang et al. (2022) , self-konzistence si klade za cíl „nahradit naivní chamtivé dekódování používané v řetězci myšlenek“. Záměrem je otestovat několik různých způsobů uvažování prostřednictvím několika pokusů CoT a použít generace k výběru nejkonzistentnější odpovědi. To pomáhá zvýšit výkon nabádání CoT u úkolů zahrnujících aritmetiku a logické uvažování.
(více…)

Tree of Thought (Strom myšlenek)

Strom myšlenek (ToT) je nový rámec, který rozšiřuje přístup Chain-of-Thought tím, že umožňuje jazykovým modelům zkoumat souvislé jednotky textu („myšlenky“) jako mezikroky k řešení problému. ToT umožňuje LM činit promyšlená rozhodnutí, zvažovat více způsobů uvažování a samostatně vyhodnocovat volby. Umožňuje také LM nahlížet dopředu nebo se v případě potřeby vracet zpět při přijímání globálních rozhodnutí.
(více…)

Reasoning without Observation – ReWOO (Usuzování bez pozorování)

Tato technika je založena na principu vytváření promptů, které modelu umožňují provádět usuzování bez potřeby přímého pozorování.

Modulární paradigma ReWOO (Reasoning WithOut Observation), které odděluje proces usuzování od externích pozorování, čímž významně snižuje spotřebu tokenů. Komplexní hodnocení na šesti veřejných NLP benchmarkách a na vlastním datasetu ukazuje konzistentní zlepšení výkonu s naší navrhovanou metodologií.

(více…)

Retrieval Augmented Prompting (Doplnění promptu z vyhledávání)

Tato technika je založena na principu využití externích informací nebo dat k doplnění promptu a zlepšení výstupu modelu.

Při tvorbě obsahu pro firemní web můžete využít informace z internetu, aby byl obsah aktuální a přitažlivý. AI model s technikou Retrieval Augmented Prompting může hledat a zapracovávat informace z různých online zdrojů. To pomáhá vytvářet přesnější a zajímavější obsah, který lépe osloví vaše zákazníky a zvýší atraktivitu vašeho webu.

(více…)