Как вы заставляете ИИ отвечать правильно? Хвалите, просите вежливо… или ругаете?
Исследование ученых из Университета Пенсильвании показало: нейросети лучше справляются с задачами, когда им грубят.
Да, вы не ослышались! ChatGPT-4o и подобные модели лучше работают, когда их провоцируют.
В рамках эксперимента учёные создали датасет из 50 вопросов с множественным выбором (математика, наука, история). Каждый вопрос переформулировали в 5 вариантах (очень вежливый, вежливый, нейтральный, грубый, очень грубый) – от «Будьте так любезны, ответьте» до «Эй, тупица, реши это!».
Пример промпта из исследования (грубый вариант):
«Бедное создание, ты вообще знаешь, как это решить?»
И модель отвечает точнее, чем на:
«Не могли бы вы быть так любезны и решить следующий вопрос?»
Результат:
точность ответов выросла с 80,8% (вежливые запросы) до 84,8% (грубые). Тон влияет: модели чуть точнее отвечали на более «агрессивные» формулировки, чем на очень вежливые.
Авторы предупреждают, что это не призыв к токсичности, а сигнал о том, что языковые модели чувствительны к формулировкам.
Возможно, грубые запросы упрощают задачу для модели, убирая лишние «вежливые» слои. Технически модель больше ориентируется на словесную форму, а не на эмоции.
Что же делать?
При работе с LLM не всё определяется только «что спросить», но и как спросить – формулировка, тон и контекст влияют на результат. Даже вежливость не всегда плюс с точки зрения точности модели.
Хочу поделиться личным наблюдением (лайфхаком)
Иногда промпты, написанные заглавными буквами (CAPS LOCK), особенно в эмоционально настойчивом стиле, вызывают у моделей более «внимательное» и чёткое выполнение. Это, вероятно, связано с тем, что заглавные буквы выделяют текст и сигнализируют модели о важности запроса.
А вы пробовали «ругать» нейросеть? Помогает ли это?
Поделитесь опытом в комментариях!