Magis-Bench: оценка LLM на задачах магистратов

Работа: Magis-Bench: Evaluating LLMs on Magistrate-Level Legal Tasks проверяет модели на заданиях бразильских конкурсов на должности судей. Набор включает 74 задания из восьми экзаменов 2023-2025 годов, в том числе практические упражнения, где нужно составить полное гражданское или уголовное решение: определить вопросы, применить нормы к фактам, разрешить требования и оформить резолютивную часть. Оценены 23 модели, проверку выполняли четыре независимые фронтирные модели; опубликованы набор, ответы моделей и код оценки. Ограничение: основной проверяющий остается моделью, поэтому возможны общие для моделей смещения. Для Lexometrica это ближайший формат к предсказательной аналитике судов: задачи с полным решением и раздельная оценка рассуждения и итоговой резолютивной части.