Chain-of-Knowledge (CoK), rámec, který vylepšuje velké jazykové modely (LLM) dynamickým začleněním uzemňujících informací z heterogenních zdrojů.
Cílem rámce je vytvářet věcnější zdůvodnění a omezit halucinace při generování.
Technika CoK, neboli „Cyklus odůvodnění a konsolidace„, může být rozdělena do tří hlavních fází, které zpřehledňují postup od přípravy až po finální odpověď na komplexní otázky.
1. Příprava zdůvodnění:
V této úvodní fázi se technika zaměřuje na formulaci předběžných odpovědí a zdůvodnění na zadanou znalostně náročnou otázku. Současně dochází k identifikaci relevantních znalostních oblastí, které jsou klíčové pro zodpovězení otázky.
2. Dynamické přizpůsobování znalostí:
Po identifikaci relevantních oblastí následuje fáze, kde se předběžná zdůvodnění a odpovědi dynamicky upravují. Tato úprava spočívá ve vkládání a integraci znalostí z vybraných domén. Cílem je zlepšit přesnost a relevanci předběžných odpovědí a zdůvodnění.
3. Konsolidace odpovědí:
Ve finální fázi dojde k upevnění a konsolidaci všech informací a znalostí do jednoho koherentního a dobře zdůvodněného výstupu, který poskytuje jasnou a přesvědčivou odpověď na původní otázku.
Srovnání různých metod: (a) řetězce myšlenek s vlastní konzistencí, (b) ověření a úprava a (c) CoK. :
Následující obrázek z článku ukazuje námi navržený rámec řetězce znalostí (CoK), který se skládá z (I) přípravy uvažování, (II) dynamického přizpůsobování znalostí a (III) konsolidace odpovědí. n.s.: přirozená věta.
Klíčovým aspektem CoK je využívání jak nestrukturovaných, tak strukturovaných zdrojů znalostí, jako jsou Wikidata a tabulky, pro spolehlivější faktické informace. Pro přístup k těmto různorodým zdrojům zavádí rámec adaptivní generátor dotazů, který generuje dotazy pro různé dotazovací jazyky, včetně jazyka SPARQL, SQL a přirozených vět.
CoK opravuje racionální dotazy postupně, přičemž předchozí opravené dotazy používá ke generování a opravě následujících, čímž minimalizuje šíření chyb. Rozsáhlé experimenty ukazují, že CoK konzistentně zlepšuje výkonnost LLM v různých doménách při řešení znalostně náročných úloh.
Zdroje:
Zavedeno v Chain-of-Knowledge (CoK): Li a kol. z DAMO Academy Alibaba Group, NTU a Singapore University of Technology and Design
