Где в LLM хранятся правовые факторы

Фактор-ориентированный подход к прецедентам (системы HYPO и CATO) описывает дело через типовые обстоятельства, значимые для исхода, и сравнивает дела по ним. CATO задает для споров о коммерческой тайне 26 факторов, каждый говорит в пользу истца или ответчика: F6 - истец принимал меры защиты информации, F16 - информацию можно получить обратной разработкой, F25 - ответчик действительно получил ее так. Авторы спрашивают, можно ли найти внутри LLM сигналы, соответствующие этим факторам. Корпус собран из эпизодов в 2-4 предложения: 6992 эпизода с одним из факторов (от 217 до 324 на фактор) и 901 без факторов, с разными отраслями, видами информации и стилем изложения. Тексты сгенерировала одна модель, разметила другая, спорные случаи разрешила третья; при выборочной проверке 220 эпизодов человек согласился с разметкой в 98,6% случаев.

Активации трех открытых моделей - Qwen3-1.7B, Qwen3-8B и Gemma-2 2B - снимаются на трех глубинах (примерно четверть, половина и три четверти слоев) и усредняются по токенам эпизода, веса моделей не меняются. На первый вопрос, читается ли фактор из активаций, отвечает линейный классификатор по всему вектору. Для второго, сосредоточен ли сигнал в немногих местах, используются опубликованные разреженные автокодировщики (SAE), которые раскладывают активации на десятки тысяч признаков: отбираются один или пять признаков, лучше всего отделяющих эпизоды с фактором от остальных, и на них обучается маленький классификатор. Для сравнения взяты пять случайных признаков и классификатор TF-IDF по словам и парам слов. Качество измеряется AUC на отдельной тестовой части корпуса из 3961 эпизода.

Классификатор по всему вектору распознает каждый из 26 факторов во всех трех моделях с AUC 0,998-1,000. На среднем слое пять случайных признаков дают в среднем 0,534-0,578, близко к случайному ранжированию, один отобранный признак - 0,944-0,954, пять отобранных - 0,986-0,988, почти как весь вектор. Если брать для каждого фактора лучший слой, AUC одного признака не ниже 0,86, медиана 0,961-0,972. Авторы приводят 78 координат «слой - номер признака», по одной на фактор в каждой модели. Некоторые признаки общие для связанных факторов: в Qwen3-1.7B один и тот же признак лучше всего предсказывает и F16, и F25, то есть возможность обратной разработки и ее факт. При повторных выборках отобранные пятерки признаков совпадают не всегда, но качество и веса классификаторов сохраняются.

Ограничения авторы называют сами и считают работу проверкой концепции. Эпизоды короткие, синтетические, на английском и только об американской коммерческой тайне; в реальных делах факторы встречаются вместе, а факты оспариваются, и проверка на текстах решений еще впереди. Классификатор TF-IDF по словам на этом корпусе тоже почти безошибочен, поэтому результат показывает, что факторы читаются из активаций, но не отделяет их от формулировок; часть эпизодов с фактором и без него различается и длиной. Модели небольшие, от 1,7 до 8 млрд параметров. Для аналитики судов работа предлагает способ проверять, различает ли модель юридически значимые обстоятельства дела, а не только выдает ли верный ответ: по найденным признакам можно искать факты, которые модель путает или пропускает, но для этого нужны эксперименты на реальных делах, которые авторы планируют.