Умеют ли LLM воздержаться от неверной ссылки

Суды в США наказывают юристов за ссылки на несуществующие решения и на решения, которые не подтверждают приведенный тезис: публичный трекер насчитывает 2203 таких дела, из них 1264 за 2026 год, и в 933 реальное решение процитировано для тезиса, которого оно не поддерживает. Автор проверяет, умеют ли модели отказаться от ответа, когда верного источника нет. Основа - набор CaseHOLD: фрагмент решения американского суда, где пропущено краткое изложение позиции цитируемого дела, и пять вариантов этой позиции, один верный и четыре самых похожих из других цитат. В условии с отказом добавлен шестой вариант «ни одна из позиций не подходит», а в 1670 из 5314 тестовых вопросов (31%) верная позиция заменена похожей позицией из другого дела, так что правильным становится шестой вариант.

Сравниваются четыре модели System One - Jev, pplx-decider, d1-ultra и GPT-6 Luna Decisions, которые построены на LLM, но вместо текста возвращают вероятность для каждого варианта, - и шесть генеративных LLM пяти производителей, от Gemini 3.8 Flash до GPT-4o-mini, с одним и тем же заданием и температурой 0. Ошибки считаются раздельно: выбор позиции, когда верной нет, и отказ, когда верная есть. Проверены три способа совместить модели двух типов, в том числе прием ответа только при согласии обеих; пороги подобраны на 30% вопросов, результаты приведены на остальных 3720. Наконец, локальную Qwen3-8B дообучили на 10 000 примеров только по вероятностям Jev, без разметки.

На исходном тесте pplx-decider и Gemini 3.8 Flash совпадают по точности (88,1% и 88,2%), но первая обходится примерно в 55 раз дешевле. Когда верной позиции нет, генеративные модели все равно выбирают одну из предложенных в 37,8-85,6% случаев, модели System One - в 30,1-60,8%. Самая осторожная, Jev, при этом отказывается в 26,2% вопросов, где верный ответ был, у генеративных моделей таких отказов меньше 8%. Gemini 3.8 Flash сама по себе дает неверную ссылку в 18,4% вопросов; если принимать ее ответ только при согласии pplx-decider, доля падает до 9,4%, а на ручную проверку уходит 12,7% вопросов против 3,0%. Qwen3-8B, обученная на вероятностях Jev, повторяет ее точность (63,8% против 63,9%) и откалибрована лучше учителя: ошибка калибровки 0,025.

Ограничения автор называет сам. Отсутствие позиции смоделировано одним способом, заменой на чужую позицию, а на практике решение может быть отменено, относиться к другой юрисдикции или не существовать. CaseHOLD собран из опубликованных решений до 2021 года, и модели могли видеть их при обучении. Во сколько раз неверная ссылка хуже лишней проверки, неизвестно, поэтому соотношения 1, 5 и 10 в расчетах условны. Проверены только американское прецедентное право на английском и по одному промпту на тип модели. Для аналитики судов и правовых сервисов вывод работы практический: рядом с точностью сообщать долю ссылок на неподходящее решение и долю лишних отказов, потому что эти ошибки стоят по-разному, а выбор между ними, по мнению автора, принадлежит юристу, который пользуется системой.