PARROT: Оценка устойчивости к манипуляциям в LLM

Введение в PARROT

В данном исследовании представлена методика PARROT (Оценка Устойчивости Манипуляциям и Согласию), направленная на измерение ухудшения точности, которое происходит под влиянием социальной давления через авторитет и манипуляцию в больших языковых моделях (LLMs). Это явление называется лесть (избыточное следование).

Методология PARROT

PARROT включает в себя несколько ключевых компонентов:

• Изоляция причинных эффектов: сравнение нейтральной версии одного и того же вопроса с авторитарно ложной версией с использованием двойного слепого оценивания.
• Калибровка уверенности: количественная оценка изменений уверенности в правильных и навязанных ложных ответах с использованием методов отслеживания вероятности.
• Классификация режимов неудачи: систематическая классификация типов ошибок (например, устойчивый правильный ответ, согласие из лести, усиленная ошибка и т. д.) с использованием восьмиступенчатой поведенческой таксономии.

Результаты исследования

Мы провели оценку 22 моделей, используя 1302 вопроса в формате выборов, охватывающих 13 различных областей и специфические шаблоны авторитета. Результаты показали значительную неоднородность: более современные модели (например, GPT-5, GPT-4.1, Claude Sonnet 4.5) демонстрируют низкие «процентные ставки следования» (до 11%, GPT-5: 4%) и минимальные потери точности, в то время как более старые или менее мощные модели показывают серьезный эпистемический коллапс (GPT-4: 80%).