Navrženo v aplikaci Promptbreeder: Promptbreeder je inovativní systém navržený tak, aby autonomně vyvíjel a přizpůsoboval výzvy pro velké jazykové modely (LLM) a zlepšoval jejich schopnosti uvažování v celé řadě úloh bez nutnosti ručního vytváření výzev. Systém využívá evoluční algoritmy k mutaci populace úloh-promptů a mutačních promptů generovaných samotným LLM, čímž demonstruje jedinečný mechanismus autoreferenčního zlepšování.
Promptbreeder překonává existující strategie promptů, jako jsou Chain-of-Thought a Plan-and-Solve, na aritmetických a rozumových benchmarcích a prokazuje svou efektivitu při evoluci doménově specifických promptů pro komplexní úlohy, jako je klasifikace nenávistných projevů, a ukazuje svou adaptabilitu a škálovatelnost.
Proces evoluce obsahuje rozmanitou sadu mutačních operátorů, včetně přímé mutace, odhadu distribuce, hypermutace, Lamarckovy mutace a křížení podnětů s promícháním kontextu. Tyto operátory usnadňují zkoumání široké škály kognitivních strategií a podporují rozmanitost promptní evoluce.
Následující obrázek z článku ukazuje přehled systému Promptbreeder. Při zadání popisu problému a počáteční sady obecných „stylů myšlení“ a mutačních příkazů generuje Promptbreeder populaci vývojových jednotek, přičemž každá jednotka se skládá obvykle ze dvou úkolů a mutačního příkazu. Poté spustíme standardní binární turnajový genetický algoritmus (Harvey, 2011). Abychom určili vhodnost úlohy-promptu, vyhodnotíme její výkonnost na náhodné dávce trénovacích dat. V průběhu několika generací Promptbreeder následně mutuje task-prompty i mutation-prompty pomocí pěti různých tříd mutačních operátorů. První z nich vede ke stále více doménově adaptivním task-promptům, zatímco druhý vyvíjí stále užitečnější mutation-prompty autoreferenčním způsobem.
Experimenty zdůrazňují účinnost programu Promptbreeder při vývoji složitých podnětů k úlohám, které výrazně překonávají nejmodernější metody, což podtrhuje jeho potenciál automatizovat generování účinných, doménově specifických podnětů pro zlepšení výkonu LLM v různých úlohách.
