Автор проверяет, что делают языковые модели, когда верной позиции суда нет среди предложенных вариантов. В тесте CaseHOLD из 5314 вопросов в 1670 верную позицию заменили похожей из другого дела и добавили вариант «ни одна не подходит». Шесть генеративных LLM в таких вопросах все равно выбирают позицию в 38-86% случаев, самая осторожная из четырех моделей System One, которые возвращают вероятность для каждого варианта, - в 30%. Если принимать ответ лучшей генеративной модели только при согласии модели System One, неверных ссылок становится вдвое меньше. Автор предлагает оценивать правовые ИИ-сервисы по числу неверных ссылок, а не только по точности.
Система предсказательной аналитики.
Lexometrica переводит интуицию юриста в измеримую математическую вероятность. Мы трансформируем судебное представительство из субъективного искусства в прогнозируемую науку путем реверс-инжиниринга судебных актов и многошагового консенсуса LLM.
R&D PHASE / 202601 - Проблема
90%
судебных стратегий опираются на субъективный опыт и интуицию.
Исторически правовая позиция строится на субъективном мнении в условиях информационного «черного ящика». Юристы тонут в неструктурированном шуме документов, игнорируя жесткие метрики и поведенческие паттерны судей. Мы заменяем слепоту к контексту и статистический фатализм алгоритмически выверенной стратегией и расчетом вероятности победы.
02 - Архитектура
Архитектура объективности.
Трехуровневый консенсус для исключения галлюцинаций. Тяжелая работа по извлечению данных обеспечивается распределенной микросервисной архитектурой, а оркестрация моделей вынесена в надежное API-ядро.
01
Parsing Cluster
Go / Distributed02
Judicial Pattern Recognition
Multi-Model Consensus Pipeline03
Litigation Risk Assessment
Statistical Modeling (Hard Metrics)03 - Основатель
Инженерия права.
Проект создан senior-разработчиком и архитектором с редким сплавом компетенций: фундаментальным бэкграундом в юриспруденции и многолетним опытом проектирования высоконагруженных систем. Главный принцип системы: судебный исход предсказуем, если построить правильный data-конвейер.
Lexometrica - и есть этот конвейер.
System Architecture
Judicial Practice
HighLoad Systems
Legal Bench
04 - Журнал
Журнал.
Обзоры новых работ по legal AI и предиктивной аналитике судов, исследования Lexometrica.
Оспаривание сделок банкрота: код правил и LLM
Авторы строят нейросимволическую модель статьи 42 Закона о банкротстве Нидерландов, по которой управляющий оспаривает сделки должника, ущемляющие кредиторов. Структура нормы записана вручную на языке Catala, а оценочные понятия - добровольность сделки, ущерб кредиторам, осведомленность сторон - решают LLM с поиском по 846 решениям голландских судов. Разбивка решений на разделы почти совпала с ручной (точность 0,98, полнота 0,97 на 100 решениях). На десяти сложных делах модель верно определила исход в 6-7 случаях, хуже всего ей давалась осведомленность сторон, а число найденных решений на итоговые цифры заметно не влияло.
Где в LLM хранятся правовые факторы
Авторы проверяют, есть ли во внутренних представлениях языковых моделей сигналы, соответствующие 26 факторам CATO - типовым обстоятельствам споров о коммерческой тайне. На 7893 коротких синтетических эпизодах в моделях Qwen3-1.7B, Qwen3-8B и Gemma-2 2B линейный классификатор по активациям распознает каждый фактор с AUC 0,998-1,000, а одного признака разреженного автокодировщика хватает для AUC от 0,86 до 1,00. Для каждого фактора в каждой модели указаны слой и номер признака, всего 78 координат. Почти так же точен и простой классификатор по словам, а на текстах реальных решений метод еще не проверяли.