Few-Shot промптинг: как научить нейросеть за 5 примеров¶

Даже мощные языковые модели иногда спотыкаются на сложных задачах, если просто попросить их что-то сделать. Zero-shot промптинг - это когда вы даете модели инструкцию без примеров. Но для нетривиальных заданий этого часто недостаточно. Здесь на помощь приходит техника Few-Shot промптинга. Ее суть в том, чтобы дать модели несколько готовых примеров решения аналогичной задачи прямо в запросе. Эти примеры служат контекстом и инструкцией, «объясняя» модели, какой ответ и в каком формате от нее ждут. Исследования, такие как работа Touvron et al. (2023), показывают, что эта способность к обучению «на лету» проявляется у моделей, достигших определенного масштаба.

Как работает Few-Shot промптинг: примеры¶

Представьте, что вам нужно, чтобы модель правильно использовала в предложении новое, выдуманное слово. Вместо долгих объяснений можно показать ей один готовый шаблон.

Промпт:

A "whatpu" is a small, furry animal native to Tanzania. An example of a sentence that uses
the word whatpu is:
We were traveling in Africa and we saw these very cute whatpus.
To do a "farduddle" means to jump up and down really fast. An example of a sentence that uses
the word farduddle is:

Ответ модели:

When we won the game, we all started to farduddle in celebration.

Это пример 1-shot промптинга (один пример). Для более сложных задач - классификации текста, извлечения сущностей, перефразирования - количество примеров можно увеличивать (3-shot, 5-shot, 10-shot). Практика показывает, что даже несколько примеров радикально повышают качество и точность ответа модели, будь то GPT-4, GigaChat или YandexGPT.

Ключевые выводы по составлению примеров¶

Исследование Min et al. (2022) дает важные практические советы по подготовке демонстраций для few-shot промптинга: 1. Важны и распределение входных данных, и пространство меток. Даже если метки в примерах будут присвоены случайно или неверно, их наличие часто лучше, чем полное отсутствие. 2. Формат критически важен. Модель копирует не только логику, но и оформление ответа. Сохраняйте единый стиль в примерах. 3. Случайные метки лучше брать из реального распределения. Если в задаче 90% позитивных и 10% негативных отзывов, то и в примерах соотношение должно быть примерно таким, а не 50/50.

Проверим первый пункт на примере классификации тональности со случайными, перепутанными метками.

Промпт:

This is awesome! // Negative
This is bad! // Positive
Wow that movie was rad! // Positive
What a horrible show! //

Ответ модели:

Negative

Модель выдала верный ответ («Negative» для фразы «What a horrible show!»), несмотря на то что в примерах метки «Positive» и «Negative» были намеренно перепутаны. Она уловила сам принцип сопоставления текста и метки. Современные модели стали достаточно устойчивы даже к неупорядоченным форматам, но для надежности в продакшн-задачах лучше придерживаться четкой и последовательной схемы.

Ограничения и границы метода¶

Few-shot промптинг - мощный, но не серебряная пуля. Он может давать сбои на задачах, требующих многошаговых логических или арифметических рассуждений. Рассмотрим известную проблему с суммой нечетных чисел.

Промпт:

The odd numbers in this group add up to an even number: 15, 32, 5, 13, 82, 7, 1.
A:

Ответ модели (GPT-3.5):

Yes, the odd numbers in this group add up to 107, which is an even number.

Модель ошибается (107 - нечетное число) и демонстрирует ложную убежденность. Попробуем применить few-shot, добавив несколько примеров с правильными ответами.

Промпт:

The odd numbers in this group add up to an even number: 4, 8, 9, 15, 12, 2, 1.
A: The answer is False.
The odd numbers in this group add up to an even number: 17,  10, 19, 4, 8, 12, 24.
A: The answer is True.
The odd numbers in this group add up to an even number: 16,  11, 14, 4, 8, 13, 24.
A: The answer is True.
The odd numbers in this group add up to an even number: 17,  9, 10, 12, 13, 4, 2.
A: The answer is False.
The odd numbers in this group add up to an even number: 15, 32, 5, 13, 82, 7, 1.
A:

Ответ модели:

The answer is True.

И снова ошибка. Few-shot примеры не помогли, потому что модель не демонстрирует процесс рассуждения - только готовые ответы. Для таких задач требуется более продвинутая техника, например, Chain-of-Thought (CoT) промптинг, где в примерах показывается пошаговая логика решения. Если few-shot промптинг не срабатывает, это сигнал, что либо задача слишком сложна для контекстного обучения, либо модель нуждается в тонкой настройке (fine-tuning) на конкретных данных. В российском контексте это актуально для задач в юриспруденции, технической документации или финансовой отчетности, где важна абсолютная точность и сложная логика.

Попробуйте ENGRAM на своих данных

Нейросеть на ваших встречах, документах и переписке: отвечает со ссылкой на источник. Это ваша вторая память на базе ИИ. Данные хранятся в России, старт бесплатный.

Зарегистрироваться бесплатно