Chain-of-Thought: пошаговое рассуждение

2022 год. Исследователи Google Brain (Wei et al.) задались вопросом: почему огромные языковые модели плохо решают задачи на логику и математику, которые легко даются детям?

Эксперимент: вместо прямого ответа они попросили модель "думать вслух" — записывать промежуточные шаги рассуждения. Результат оказался поразительным: с Chain-of-Thought (цепочка рассуждений) модель PaLM на 540 млрд параметров достигла state-of-the-art на бенчмарке GSM8K с всего 8 примерами.