Эксперты ИРИ протестировали использование ChatGPT в сфере юриспруденции и нормотворчества
В течение 3 месяцев эксперты АНО «ИРИ» тестировали ChatGPT на предмет его возможного применения в аналитических и юридико-прикладных целях. С примерами текстов, сгенерированных нейросетью можно ознакомиться здесь.
Нейросеть исследовалась «из коробки», то есть без каких-либо дополнительных настроек и технических интеграций с иными сервисами.
Проанализированы возможности ChatGPT, например, при подготовке кратких аналитических справок, ответов на открытые правовые вопросы («юридическая консультация»), концептуальных документов по регулированию, текстов и тезисов выступлений на заданную тему, формирование прогнозов.
Экспертная оценка эффективности применения нейросети дана исходя из степени доработки подготовленного ChatGPT ответа/документа для приведения его в соответствие со стандартами работы, включая проверку на соответствие фактам и нормам права, а также затрачиваемых на доработку усилий.
Высокую эффективность ChatGPT показал в задачах, не требующих детального фактологического обоснования: подготовка концепций регулирования, текстов выступления, прогнозов.
Среднюю эффективность нейросеть продемонстрировала в вопросах, требующих фактического обоснования выводов или их подкрепления ссылками на конкретные нормы: подготовка аналитических материалов, тестирование, подготовка кратких инструкций, разрешение кейсов.
В решении задач, требующих наибольшей конкретики, таких как подготовка ответов на правовые вопросы, подготовка методических рекомендаций и подборок судебной практики, ChatGPT показал низкую эффективность.
Подробные результаты приведены в таблице в исследовании по ссылке.
Преимущества
Опыт использования ChatGPT позволяет определить следующие преимущества от его использования:
-
оптимизация времени на набор текста за счёт генеративных возможностей чата (возможность сгенерировать объёмный текст);
-
получение направлений для более детальной аналитики (своего рода аналог поиска информации – проверка кейсов, примеров нормотворчества и иных фактических данных, представленных в ответе на запрос);
-
помощь в генерации идей (формирование отправной точки для создание концепций и иных проектных документов).
Риски
В ходе исследования ChatGPT были выявлены следующие риски:
-
генерация недостоверной или неточной информации – все ответы чата требуют фактчекинга;
-
неполнота информации – чат может в ответе на запрос может не упомянуть какие-либо важные для формирования объективной оценке факты, что приводит к искажению понимания ситуации.
Примеры
Использование генеративного ИИ в юридической практике может привести к курьёзам. Например, в судебном процессе в окружном суде Нью-Йорка юрист признался, что использовал ChatGPT, когда представил суду подборку кейсов, которых в реальности не существовало. Судья из Техаса обязал всех представителей воздержаться от использования подготовленной ИИ информацией или проверять её достоверность. На недостоверность сгенерированной нейросетью информации указывает и Еврокомиссия в рекомендациях для своих сотрудников.
ChatGPT – чат-бот для генерации текста, разработанный компанией OpenAI – стал одной из самых обсуждаемых технологий последнего времени. Хотя, начиная с июня 2023 года популярность бота начала снижаться, до этого момента сервис демонстрировал взрывной рост популярности – число ежемесячных посещений сайта ChatGPT до сих пор превышает 1,5 млрд. В феврале 2023 года ChatGPT стал самым быстрорастущим приложением в истории, достигнув показателя в 100 млн активных пользователей в месяц. Популярность чат-бота способствовала привлечению внимания не только профильных ИТ-специалистов и обычных пользователей, но и исследователей и экспертов широкого круга отраслей.
