Active-Prompt: как адаптировать промпты под сложные задачи¶

Классический метод "цепочки мыслей" (CoT) имеет скрытую слабость: он полагается на заранее подготовленные человеком примеры-шаблоны. Но что, если для вашей конкретной задачи эти шаблоны неидеальны или даже сбивают модель с толку? Подход Active-Prompt решает эту проблему, превращая статичный набор примеров в динамический и адаптивный инструмент. Его суть - в умном отборе именно тех задач, которые сложнее всего для модели, чтобы человек мог создать для них самые полезные промпты.

Основная идея проста: вместо того чтобы использовать одни и те же примеры для всех задач, мы позволяем модели самой "сообщить", на каких вопросах она спотыкается. Затем мы фокусируем человеческие усилия именно на этих сложных случаях, создавая для них детальные, аннотированные цепочки рассуждений. Эти новые, "прицельные" примеры затем используются для решения остальных задач, что значительно повышает общую точность.

ACTIVE

Источник изображения: Diao и др., (2023)

Процесс можно разбить на несколько четких шагов: 1. Первичный запуск. Сначала мы даем языковой модели (например, GPT-4, GigaChat или YandexGPT) набор тренировочных вопросов. Это можно сделать с несколькими стандартными примерами CoT или даже вовсе без них. 2. Оценка неопределенности. Для каждого вопроса модель генерирует не один, а несколько возможных ответов (скажем, 5-10 вариантов). Ключевой момент - анализ этих вариантов. Если ответы модели сильно различаются между собой (высокое расхождение), это сигнал о ее неуверенности и сложности данной задачи. Эта "метрика неопределенности" и является фильтром. 3. Прицельная аннотация. Мы отбираем вопросы с наивысшим уровнем неопределенности и передаем их эксперту-человеку. Человек не просто дает правильный ответ, а подробно расписывает шаги логических рассуждений - создает качественную цепочку мыслей (CoT) для этой сложной задачи. 4. Финальный вывод. Обогащенный этими новыми, специально подобранными примерами, промпт используется для решения исходного набора вопросов или новых задач. Модель теперь имеет перед глазами эталоны рассуждений именно для тех типов проблем, которые вызывали у нее наибольшие затруднения.

Этот метод особенно ценен для бизнес-задач с высокой стоимостью ошибки: анализа юридических документов, финансовых расчетов или технических консультаций. Вместо того чтобы гадать, какие примеры добавить в промпт, вы используете данные для выявления реальных "узких мест" в понимании модели и устраняете их точечно. Active-Prompt - это переход от кустарного подбора промптов к их data-driven оптимизации.

Попробуйте ENGRAM на своих данных

Нейросеть на ваших встречах, документах и переписке: отвечает со ссылкой на источник. Это ваша вторая память на базе ИИ. Данные хранятся в России, старт бесплатный.

Зарегистрироваться бесплатно