Tree of Thoughts (ToT): как нейросети ищут решения как шахматисты¶

Когда перед языковой моделью ставят сложную задачу, требующую планирования и перебора вариантов, простой запрос "подумай шаг за шагом" часто не срабатывает. Модель может зайти в тупик или пойти по неверному пути без возможности отката. Tree of Thoughts (ToT) - это концепция, которая превращает процесс генерации текста в структурированный поиск решения, похожий на то, как шахматист анализирует варианты. Она выводит промпт-инжиниринг на уровень стратегического планирования.

Что такое Tree of Thoughts и как это работает¶

Tree of Thoughts (ToT) - это фреймворк, предложенный в работах Yao et al. (2023) и Long (2023). Он обобщает идею "цепочки мыслей" (Chain-of-Thought), но идет гораздо дальше. Если CoT - это прямая линейная дорожка рассуждений, то ToT - это целое дерево возможных путей, где каждая "мысль" (coherent text string) является промежуточным шагом к решению.

TOT

Суть в том, что модель не просто генерирует следующий шаг, а: 1. Генерирует несколько возможных следующих шагов (ветвление дерева). 2. Самостоятельно оценивает перспективность каждого из этих шагов с помощью "рассуждения вслух". 3. Выбирает, по какому пути идти дальше, используя алгоритмы поиска (например, поиск в ширину или глубину). Это позволяет модели "возвращаться" к предыдущим развилкам, если текущий путь зашел в тупик.

Таким образом, ToT объединяет способности LLM к генерации и оценке текста с систематическими алгоритмами поиска, заимствованными из информатики.

Практический пример: Игра в 24¶

Классический пример из исследований - математическая головоломка "Игра в 24". Даны четыре числа, нужно с помощью арифметических операций получить 24. Задача идеально подходит для ToT, так требует перебора комбинаций.

В реализации Yao et al. процесс разбивается на 3 шага (промежуточных уравнения). На каждом шаге модель генерирует несколько кандидатов (например, 5 лучших). Затем она оценивает каждый кандидат, присваивая ему статус: "уверен, что ведет к 24", "может быть" или "невозможно" (на основе здравого смысла, например, "результат уже слишком велик").

TOT2

Этот процесс оценки позволяет отбрасывать заведомо проигрышные ветви и фокусировать ресурсы на перспективных. Визуально это выглядит как постепенное "выращивание" и "обрезка" дерева возможных решений.

Почему ToT эффективнее других методов¶

Результаты исследований наглядно показывают преимущество ToT перед стандартным промптингом или даже Chain-of-Thought. На сложных задачах, требующих поиска, планирования или творческого подхода, точность решения с использованием ToT может быть кратно выше.

TOT3

Это происходит потому, что ToT имитирует более естественный для человека процесс решения сложных проблем: мы рассматриваем несколько идей, отбрасываем неудачные, углубляемся в перспективные, а при необходимости возвращаемся и пробуем другой путь. Простые же методы заставляют модель делать "ставку" на один вариант с самого начала.

Вариации и упрощенные подходы¶

Существуют разные реализации идеи дерева мыслей. В Yao et al. (2023) используются классические алгоритмы (DFS, BFS). В Long (2023) стратегией поиска управляет отдельный "ToT-контроллер", обученный с помощью reinforcement learning (RL). Такой контроллер, подобно AlphaGo, может учиться на опыте и совершенствовать стратегию поиска, даже если сама языковая модель остается неизменной.

Для тех, кто хочет попробовать ToT без сложной реализации, существуют упрощенные промпт-техники. Например, подход от Hulbert (2023), который предлагает "встроить" идею коллективного обсуждения вариантов в один промпт:

Промт:

Imagine three different experts are answering this question.
All experts will write down 1 step of their thinking,
then share it with the group.
Then all experts will go on to the next step, etc.
If any expert realises they're wrong at any point then they leave.
The question is...

Ответ модели: будет содержать рассуждения нескольких "экспертов", что имитирует параллельное исследование разных мыслей.

Как применять Tree of Thoughts на практике¶

Для использования полноценного ToT потребуется программирование, часто с использованием фреймворков вроде LangChain. Код доступен в репозиториях princeton-nlp/tree-of-thought-llm и jieyilong/tree-of-thought-puzzle-solver.

Привязка к российскому контексту: Хотя самые мощные ToT-фреймворки заточены под GPT-4, базовый принцип можно адаптировать для локальных или российских моделей (например, GigaChat или YandexGPT через API), которые поддерживают длинные контексты и следование инструкциям. Это может быть полезно для автоматизации сложного анализа бизнес-кейсов, многоэтапного планирования проектов или генерации креативных идей с вариациями. Ключевое ограничение - вычислительные ресурсы, так как ToT требует множества вызовов модели.

Tree of Thoughts - это не просто очередная техника промптинга, а шаг к созданию ИИ-систем, способных к настоящему стратегическому мышлению и исследованию пространства решений.

Попробуйте ENGRAM на своих данных

Нейросеть на ваших встречах, документах и переписке: отвечает со ссылкой на источник. Это ваша вторая память на базе ИИ. Данные хранятся в России, старт бесплатный.

Зарегистрироваться бесплатно