Court-Ready: оценка LLM на праве Индии

Работа: Are LLMs Court-Ready? Evaluating Frontier Models on Indian Legal Reasoning строит индийский набор из 6 218 тестовых вопросов экзаменов CLAT, судебной службы Дели и экзамена Advocate-on-Record Верховного суда Индии, а также 35 развернутых заданий со слепой проверкой пятью сертифицированными Advocate-on-Record. Gemini 2.5 Pro превысил средние результаты лучших экзаменуемых в тестах: на 7,6 балла в CLAT UG и на 25,3 в DHJS. В развернутых работах модель осталась ниже человеческих у каждого из пяти проверяющих; отмечены ошибки в дисциплине цитирования, процессуальных требованиях и структуре документа. Для Lexometrica это подтверждение, что тестов и точности вывода недостаточно: нужны отдельные оценки процедуры, релевантности источников и структуры IRAC.