Strukturované CoT (SCoT) spočívá v tom, že zdrojový kód obsahuje bohaté strukturální informace a každý kód se může skládat ze tří programových struktur: struktur sekvence, větvení a smyčky.
Strukturované mezikroky uvažování intuitivně vytvářejí strukturovaný zdrojový kód. Žádají tedy LLM, aby používaly programové struktury k sestavení CoT, čímž získají SCoT. Poté LLM generují konečný kód na základě SCoT.
Ve srovnání s výzvami CoT výzvami SCoT explicitně omezují LLM, aby přemýšlely o tom, jak řešit požadavky z pohledu zdrojového kódu, a dále zvyšují výkonnost LLM při generování kódu.
Následující obrázek z článku ukazuje srovnání řetězce myšlenek (CoT) a našeho strukturovaného řetězce myšlenek (SCoT).
Aplikují SCoT prompting na dva LLM (tj. ChatGPT a Codex) a vyhodnocují jej na třech benchmarcích (tj. HumanEval, MBPP a MBCPP). (1) SCoT prompting překonává nejmodernější základní úroveň – CoT prompting až o 13,79 % v Pass@1. (2) Human evaluation ukazuje, že lidští vývojáři preferují programy z SCoT promptingu. (3) SCoT prompting je robustní vůči příkladům a dosahuje podstatného zlepšení.
