ART, aneb co kdyby si AI uměla sama říct, jaký nástroj potřebuje
Když řešíte složitý pracovní úkol, nepracujete jen z hlavy. Sáhnete po kalkulačce, vyhledáte si aktuální data, podíváte se, jak jste podobný problém řešili minule. Přirozeně kombinujete vlastní uvažování s nástroji kolem sebe. Jenže jazykové modely to tradičně neuměly – byly odkázány výhradně na to, co se naučily během tréninku, bez možnosti cokoli ověřit nebo doplnit za pochodu. Rámec ART (Automatic Reasoning and Tool-use), který v roce 2023 vyvinul tým výzkumníků vedený Bhargavi Paranjape, tuto hranici posouvá.
Proč to dříve nefungovalo automaticky?
Spojit uvažování modelu s používáním nástrojů je mocná kombinace – to bylo jasné již dříve. Háček byl v tom, že někdo musel dopředu ručně napsat podrobné instrukce: kdy má model přestat generovat, po jakém nástroji sáhnout a jak výsledek zapracovat zpět do odpovědi. Pro každý typ úlohy zvlášť. Bylo to jako psát manuál pro každou situaci, do které se člověk může dostat – zdlouhavé, nepraktické a těžko rozšiřitelné.
ART tento manuál vytváří automaticky. Model si sám rozhodne, kdy a jaký nástroj použít – bez toho, aby ho někdo předem krok za krokem programoval.
Jak funguje automatické uvažování s podporou nástrojů?
ART si představte jako chytrého asistenta, který má k dispozici dvě věci: „kartotéku minulých řešení“ a „sadu nástrojů“.
- Když dostane nový úkol, nejprve se podívá do kartotéky – hledá podobné úlohy, které už někdo vyřešil, a vezme si z nich inspiraci pro postup.
- Pak začne problém řešit krok za krokem. Jakmile narazí na místo, kde sám nestačí (například potřebuje vyhledat aktuální číslo, spustit výpočet nebo ověřit fakt) automaticky se zastaví, zavolá správný nástroj, počká na výsledek a s tímto výsledkem pokračuje dál.
Celý proces je plynulý a pro uživatele transparentní: je vidět, co model řeší, kde sáhl po pomoci a co mu nástroj vrátil. Žádná černá skříňka.
Co je na tom opravdu chytré?
Tři věci dělají ART výjimečným.
- Za prvé, model není potřeba přeučovat – funguje tak, jak je, a veškerá „chytrost“ systému je ve způsobu, jak pracuje s kartotékou a nástroji.
- Za druhé, systém zobecňuje na nové situace – i když v kartotéce přesný vzor neexistuje, model se dokáže poučit z podobných příkladů a postup přizpůsobit.
- Za třetí, pokud model někde udělá chybu nebo je potřeba přidat nový nástroj, člověk to může jednoduše opravit aktualizací kartotéky – bez zásahu do modelu samotného. To je zásadní rozdíl oproti systémům, kde každá oprava vyžaduje technické přetrénování.
Obstál ART v praxi?
Ano, a přesvědčivě. Autoři ART testovali na dvou náročných sadách úloh – BigBench a MMLU – které jsou v AI výzkumu považovány za spolehlivý měřítko skutečných schopností modelů. ART si vedl výrazně lépe než standardní přístupy na úlohách, které model předtím nikdy neviděl. Na většině testů se přitom vyrovnal výsledkům, které odborníci dosáhli s ručně připravenými instrukcemi – tedy přístupy, do nichž investovali mnohem více času a práce. A tam, kde lidé do systému zasáhli alespoň minimálně, výkon výrazně vzrostl.
Proč by vás to mělo zajímat?
ART ukazuje směr, kterým se AI agenti vyvíjejí: od modelů, které „jen odpovídají“, k systémům, které aktivně přemýšlí, sáhnou po správném nástroji a průběžně si ověřují, zda jsou na správné cestě. Pro každého, kdo s AI nástroji pracuje v praxi – ať už v marketingu, analytice nebo content creation – to znamená, že AI systémy brzy nebudou jen asistenty pro psaní, ale skutečnými partnery pro řešení složitých, vícekrokových úloh.
A nejlepší na tom je, že k tomu nepotřebujete být programátor. Stačí vědět, co chcete vyřešit.
Zdroj: Paranjape et al. (2023). ART: Automatic multi-step reasoning and tool-use for large language models. arxiv.org/abs/2303.09014
Zdroj: ART: Automatic multi-step reasoning and tool-use for large language models (autoři Bhargavi Paranjape, Scott Lundberg, Sameer Singh, Hannaneh Hajishirzi, Luke Zettlemoyer, Marco Tulio Ribeiro). ze dne [ 16. března 2023 ].
