Prompt Engineering Techniky

Proces strojového učení s učitelem

Čvc 18, 2024 by VM 0 Comments

Učení bez učitele je třída metod strojového učení. Na rozdíl od učení s učitelem trénovací data nemají vstupní data provázaná s cílovými proměnnými (ohodnocením, závisle proměnnou…), tj. schází výrok učitele a učení bez učitele tedy vykazuje samoorganizaci, která zachycuje vzory jako hustotu pravděpodobnosti.[1] 

Učení bez učitele si tedy lze představit jako kompresi vstupních dat, např. například snížení jejich dimense (v analýze hlavních komponent) nebo jejich redukci na diskrétní body (jako je tomu ve shlukové analýze, kde vstupní data reprezentujeme označenými shluky), či jejich vyhlazení (odhad distribučních funkcí).[2] U neuronových sítí se učení bez učitele užívá typicky u kompetičních sítí. (Porovnejte s učením s učitelem).

(více…)
Prompt Engineering Techniky

Maieutic Prompting (Maieutické nabádání)

Čvc 18, 2024 by VM 0 Comments

Maieutika je termín používaný samotným Sókratem pro umění vést dialog. Maieutika je součást sokratovské metody. Jejím jádrem je myšlenka, že pravda je latentně přítomna v rozumu každého člověka už od narození, ale musí se „přivést na svět“ skrz správně položené otázky učitele. 

Technika maieutického nabádání je způsob, jak testovat konzistenci a integritu odpovědí poskytnutých jazykovým modelem na logické nebo faktické otázky. 

Cílem je zajistit, že odpovědi nejen znějí pravděpodobně, ale že jsou také logicky konzistentní.

V příkladu na obrázku, je zadán výrok „Válka nemůže mít remízu“ a model poskytuje odpověď.

Maieutický strom je vytvořen tak, že se rozvíjí možné argumenty pro a proti této odpovědi, které jsou pak systematicky ověřovány. Každá cesta stromu končí, až když narazí na logicky konzistentní závěr.

V podstatě, po počáteční odpovědi modelu se ptáme další otázky, abychom ověřili, zda model může konzistentně odůvodnit svou odpověď. Pokud model poskytne protichůdné zdůvodnění, jeho původní odpověď nemůže být považována za důvěryhodnou.

Vážení návrhů a vztahů a použití Max-SAT řešiče pak pomáhá určit, která cesta v maieutickém stromu je nejvíce pravděpodobná nebo nejsprávnější, a tím poskytuje konečnou predikci pro původní výrok. V tomto příkladu byl konečný závěr, že výrok „Válka nemůže mít remízu“ je nepravdivý.

Je to tedy způsob, jak posoudit, zda jsou odpovědi jazykového modelu nejen relevantní, ale i vzájemně konzistentní a logicky validní.

(více…)
Prompt Engineering Techniky

Ask Me Anything (AMA) | Zeptej se mě na cokoli

Čvc 18, 2024 by VM 0 Comments

Technika AMA („Ask Me Anything“) prompt engineeringu je metoda pro vylepšení interakce s jazykovými modely, jako je GPT. Cílem je zlepšit schopnost modelu odpovídat na otázky založené na kontextu a ověřovat tvrzení.  

Zde si vysvětlíme techniku AMA (Ask Me Anything) prompt engineeringu, která je využívána k ověřování tvrzení na základě kontextu pomocí jazykových modelů. Tato technika využívá dvou typů promptů: question() prompt, který převádí tvrzení do formy otázky typu ano/ne, a answer() prompt, který zodpovídá tuto otázku na základě poskytnutého kontextu. Kombinace odpovědí pomocí metody slabého dohledu (weak supervision) pak umožňuje určit, zda je původní tvrzení pravdivé nebo nepravdivé. Tento postup si podrobně popíšeme ve dvou hlavních krocích, jak je znázorněno na obrázku.

(více…)
Prompt Engineering Techniky

AI Prompt Chaining (Řetězení výzev)

Čvc 18, 2024 by VM 0 Comments

Co je to řetězení v umělé inteligenci?

Řetězení dopředu je forma uvažování, která začíná s jednoduchými fakty ve znalostní bázi a aplikuje inferenční pravidla směrem dopředu, aby získala další data, dokud není dosaženo cíle. Zpětné řetězení začíná s cílem a postupuje zpětně, přičemž řetězí pravidla, aby našlo známá fakta, která podporují cíl.

Technika, známá jako „AI řetězy“ nebo „AI Chaining“, je přístup v prompt engineeringu, který umožňuje rozložit komplexní úkol na několik menších, jednodušších částí. AI se poté postupně vypořádává s každým menším úkolem a využívá výsledky předchozích úkolů k dalšímu postupu. Tímto způsobem může AI efektivněji zpracovat a reagovat na složitější dotazy nebo úkoly.

Na obrázku je tato technika ilustrována při zpracování zpětné vazby na prezentaci. Místo přímého přeformulování (jak je ukázáno v části A bez řetězení), se úkol rozdělí do tří dílčích úkolů (B): (1) identifikace problémů v prezentaci, (2) brainstorming návrhů na zlepšení pro každý problém, a (3) sestavení nové zpětné vazby s těmito návrhy na zlepšení. Každý krok využívá výstupy z předchozích kroků, což vede k detailnější a cílenější zpětné vazbě.

(více…)
ChatGPT

Základní funkce a schopnosti ChatGPT

Čvc 3, 2024 by VM 0 Comments
LOGIKA – ANALÝZA – FAKTA
KREATIVITA – NÁPADY – ODHAD

# Vyhledávání informací

Generativní AI dokáže bleskově procházet velké objemy zdrojů, vyhledat relevantní data a vrátit je ve srozumitelném souhrnu. Ušetří tak hodiny manuálního vyhledávání a pomůže odhalit i skrytá spojení mezi informacemi.

# Výzkum a analýza

Modely LLM umí syntetizovat akademické studie, zprávy či interní dokumenty a vytvářet z nich přehledné analýzy, grafy i doporučení. Dokážou odhalit vzorce, trendy a slabá místa, která by lidskému týmu snadno unikla.

# Extrakce dat

AI vytáhne konkrétní fakta, čísla nebo klíčové fráze z nestrukturovaných textů, e‑mailů či skenů. Výsledkem je čistá tabulka nebo databáze připravená k dalšímu zpracování a automatizaci procesů.

# Interpretace faktů a historie

Generativní AI umí zasadit fakta do kontextu, vysvětlit historické souvislosti a předložit ucelený příběh. Vhodně kombinuje chronologii, kauzalitu i relevantní citace, čímž zjednoduší pochopení složitých událostí.

# Kategorizace a klasifikace

Díky strojovému učení lze dokumenty, obrázky či produkty automaticky přiřazovat do správných kategorií. AI se přizpůsobí firemní taxonomii a zlepšuje přesnost s každým dalším příkladem.

# Překlady a transformace

Modely zvládají vícejazyčné překlady, ale i úpravy tónu, stylu či formátu textu. Umí tak rychle vytvořit lokalizované materiály nebo převést neformální zápisky do profesionálního stylu.

# Programování a kódování

Generativní AI navrhuje funkce, generuje celé bloky kódu a pomáhá s laděním či refaktoringem. Umožňuje tak vývojářům soustředit se na architekturu a logiku místo repetitivního psaní stavebních kamenů.

# Korektura a formátování

Automaticky odhalí gramatické chyby, zlepší stylistiku a sjednotí formát dokumentu podle vybraných pravidel. Výsledkem je profesionálně upravený text bez ručního pročítání.

# Optimalizace a dokumentace

AI umí analyzovat procesy, navrhnout zjednodušení a vytvořit detailní dokumentaci či návody. Zkracuje tak dobu zaškolení nováčků a zajišťuje konzistentní know‑how v týmu.

# Generování nápadů

Při brainstormingu dokáže AI generovat pestrou škálu originálních konceptů, sloganů či produktových funkcí. Inspiruje týmy k novým směrům, které by je samy nemusely napadnout.

# Generování názorů

Modely umí formulovat argumenty pro i proti, hodnotit rizika a přinášet různé perspektivy na dané téma. Usnadňují tak tvorbu expertních posudků, recenzí nebo rozhodovacích podkladů.

# Simulace chování

AI dokáže napodobit reakce různých uživatelských person, zákazníků či aktérů v modelových situacích. Pomáhá testovat chatboty, marketingové kampaně i krizové scénáře bez nutnosti nákladných pilotů.

# Generování textů

Od krátkých příspěvků na sociální sítě až po rozsáhlé články – generativní AI vytvoří čtivý obsah na míru publiku i zadání. Výsledný text lze dále ladit, zkracovat či doplňovat o fakta.

# Generování obsahu podle vzorů

Při znalosti šablony dokáže AI vyplnit všechny potřebné sekce, například smlouvy, e‑maily či reporty. Zajišťuje tak konzistenci a zkracuje čas potřebný na přípravu rutinních dokumentů.

# Předpovědi a dokončení

Modely predikují nejpravděpodobnější pokračování textu, kódu nebo dialogu a umožňují rychlé autocomplety. V oblasti dat navíc odhadují budoucí trendy či chování na základě historických vzorců.

Prompt Engineering Techniky

Rozlišovací agenti s povoleným dialogem (DERA)

Čvc 3, 2024 by VM 0 Comments

DERA, kterou vyvinul můj bývalý tým ve společnosti Curai Health pro svůj specifický přístup ke zdravotní péči, definuje různé činitele, kteří v rámci dialogu zastávají různé role. V případě situací s vysokou sázkou, jako je lékařský rozhovor, se vyplatí definovat sadu „výzkumníků“ a „rozhodovatele“. Hlavní rozdíl zde spočívá v tom, že Výzkumníci pracují paralelně oproti Aktérům reflexe, kteří pracují postupně pouze v případě, že Rozhodovatel rozhoduje.

Prompt Engineering Techniky

Optimalizace výzev

Čvc 3, 2024 by VM 0 Comments

Promptování založené na gradientu

Kromě technik, které hledají lepší textové výzvy, existuje řada užitečných inženýrských prací, které prozkoumávají průběžné aktualizace pro rychlé vkládání. Nejprve bychom si měli připomenout, jaká okamžitá vložení jsou v rámci jazykového modelu. Vzhledem k textové výzvě obvykle tuto výzvu tokenizujeme (tj. rozdělíme ji na slova nebo podslova) a poté vyhledáme vložení každého výsledného tokenu. Tento proces nám poskytne seznam vložení tokenů (tj. rychlé vložení!), které předáme jako vstup do jazykového modelu;

„Promptování založené na gradientu“ je technika, která upravuje embeddingy výzvy (tj. reprezentace vstupního textu) namísto změny samotného textu výzvy. Tento přístup využívá metody jako gradientní sestup k iterativnímu zlepšení embeddingů výzvy a tím i výkonu modelu při plnění daného úkolu. Pojďme si přiblížit hlavní metody v této oblasti:

    • AutoPrompt – Tato metoda přidává k původnímu vstupu sadu „spouštěcích tokenů“, které jsou stejné pro všechna vstupní data. Tyto tokeny jsou vybírány pomocí gradientního vyhledávání za účelem zlepšení výkonu modelu.
    • Prefix Tuning – Přidává několik „prefixových“ tokenů ke vstupnímu promptu a do skrytých vrstev modelu. Parametry těchto prefixů jsou trénovány pomocí gradientního sestupu, zatímco parametry samotného modelu zůstávají fixní. Tento přístup umožňuje efektivní doladění modelu bez nutnosti modifikace jeho parametrů.
    • Prompt Tuning – Podobné jako prefix tuning, ale prefixové tokeny se přidávají pouze do vstupní vrstvy modelu. Tyto tokeny jsou dolaďovány specificky pro každou úlohu, což umožňuje modelu lépe se přizpůsobit danému úkolu.
    • P-Tuning – Tato metoda přidává specifické kotevní tokeny pro danou úlohu do vstupní vrstvy modelu. Tyto tokeny mohou být umístěny kdekoliv v promptu, například uprostřed, což poskytuje větší flexibilitu než prefix tuning.

(více…)
Prompt Engineering Techniky

Použijte oddělovače k ​​jasnému označení částí výzvy

Čvc 3, 2024 by VM 0 Comments

Pokud pracujete s obsahem, který vyžaduje specifické vstupy, nebo pokud poskytujete příklady jako v předchozí části, může být velmi užitečné jasně označit konkrétní části výzvy. Mějte na paměti, že vše, co napíšete, přichází do LLM jako jediná výzva – dlouhá sekvence tokenů.

Výstup můžete zlepšit použitím oddělovačů k ohraničení a označení konkrétních částí výzvy. 

(více…)