Chain-of-Thought Prompting: как научить ИИ думать шагами¶

Когда вы просите языковую модель решить сложную логическую или математическую задачу, она часто пытается дать ответ сразу, что приводит к ошибкам. Чтобы получить точный результат, нужно научить модель «думать» так же, как человек: разбивать проблему на промежуточные шаги. Именно этому служит техника Chain-of-Thought (CoT) Prompting, или «цепочка мыслей».

Как работает цепочка мыслей (CoT)¶

COT

Источник изображения: Wei et al. (2022)

Метод был подробно исследован в работе Wei et al. (2022). Его суть в том, что в промпт, помимо задачи и ответа, мы добавляем промежуточные шаги рассуждения. Это можно делать в формате few-shot, то есть давая модели несколько готовых примеров с развернутым решением. В результате модель не просто считывает паттерн «вопрос-ответ», а учится воспроизводить логическую последовательность.

Рассмотрим классический пример. Мы хотим, чтобы модель проверила, дают нечетные числа в группе в сумме четное число или нет.

Промпт:

The odd numbers in this group add up to an even number: 4, 8, 9, 15, 12, 2, 1.
A: Adding all the odd numbers (9, 15, 1) gives 25. The answer is False.

The odd numbers in this group add up to an even number: 17,  10, 19, 4, 8, 12, 24.
A: Adding all the odd numbers (17, 19) gives 36. The answer is True.

The odd numbers in this group add up to an even number: 16,  11, 14, 4, 8, 13, 24.
A: Adding all the odd numbers (11, 13) gives 24. The answer is True.

The odd numbers in this group add up to an even number: 17,  9, 10, 12, 13, 4, 2.
A: Adding all the odd numbers (17, 9, 13) gives 39. The answer is False.

The odd numbers in this group add up to an even number: 15, 32, 5, 13, 82, 7, 1. 
A:

Ответ модели:

Adding all the odd numbers (15, 5, 13, 7, 1) gives 41. The answer is False.

Модель успешно выделила нечетные числа, посчитала сумму и сделала вывод. Иногда для обучения достаточно даже одного примера с развернутым решением - это демонстрирует мощь техники. Важно отметить, что способность эффективно использовать CoT проявляется обычно в достаточно больших моделях (например, GPT-3.5/4, YandexGPT Pro). Для более простых моделей результат может быть менее стабильным.

Zero-shot CoT: универсальный ключ «Let's think step by step»¶

Zero-shot COT

Источник изображения: Kojima et al. (2022)

Часто у нас нет готовых примеров с развернутым решением для новой задачи. В 2022 году Kojima et al. предложили революционно простой метод: zero-shot CoT. Вместо нескольких примеров вы просто добавляете к своему промпту фразу «Let's think step by step» (или ее русский аналог, например, «Давайте рассуждать шаг за шагом» для работы с GigaChat). Это запускает внутренний механизм рассуждения модели.

Проверим на задаче про яблоки без использования CoT.

Промпт:

I went to the market and bought 10 apples. I gave 2 apples to the neighbor and 2 to the repairman. I then went and bought 5 more apples and ate 1. How many apples did I remain with?

Ответ модели:

11 apples

Ответ неверный. Модель где-то потеряла логику. Теперь применяем zero-shot CoT.

Промпт:

I went to the market and bought 10 apples. I gave 2 apples to the neighbor and 2 to the repairman. I then went and bought 5 more apples and ate 1. How many apples did I remain with?

Let's think step by step.

Ответ модели:

First, you started with 10 apples.
You gave away 2 apples to the neighbor and 2 to the repairman, so you had 6 apples left.
Then you bought 5 more apples, so now you had 11 apples.
Finally, you ate 1 apple, so you would remain with 10 apples.

Ответ стал абсолютно точным. Эта техника - ваш главный инструмент для сложных задач в бизнес-аналитике, проверки логики в текстах или решения учебных задач, когда примеров мало. Для русскоязычных моделей, доступных в РФ, можно использовать прямые переводы этой фразы или адаптированные инструкции, например: «Решим задачу по шагам» или «Покажи весь процесс расчета».

Попробуйте ENGRAM на своих данных

Нейросеть на ваших встречах, документах и переписке: отвечает со ссылкой на источник. Это ваша вторая память на базе ИИ. Данные хранятся в России, старт бесплатный.

Зарегистрироваться бесплатно