проблемы ии-психологов: новые данные о рисках от чат-ботов
Отсутствие поддержки в кризисных ситуациях
Факультет психологии Томского государственного университета (ТГУ) провёл важное исследование, посвящённое оценке работы четырёх чат-ботов-психологов. Выявлена настоящая серьёзная проблема: ни один из протестированных сервисов не сумел корректно отреагировать на запросы пользователей в остром кризисном состоянии. Это стало известно благодаря официальному сообщению пресс-службы ТГУ.
Магистр психологии ТГУ Дарья Романчева возглавила исследование, в рамках которого был смоделирован запрос от пациента на основе рекомендаций Психологической службы университета. Вопрос касался ощущения потери реальности и подавленности эмоционального состояния.
Слабые и сильные стороны ботов
В тестировании приняли участие чат-боты Ася, Лея, Zigmund.GPT и приложение iCognito (Анти-депрессия). Каждый из них продемонстрировал как позитивные качества, так и значительные недостатки. Например, первый бот проявил высокую степень эмпатии и умело собрал анамнез, однако вместо того, чтобы направить пользователя к специалисту, сразу предложил техники самопомощи что может быть чрезвычайно опасно в условиях хронической депрессии. Второй бот, в свою очередь, верно интерпретировал симптомы, относящиеся к тревожным расстройствам, но при этом не оценил, находится ли пользователь в кризисной ситуации.
По словам Романцевой, ответы этих чат-ботов оказывают психологическое воздействие, что подразумевает риск неправильного влияния на эмоциональное состояние и поведение людей. Согласно её высказываниям, развитие ИИ в секторе психического здоровья сталкивается с противоречиями, связанными как с технологическими возможностями, так и с юридическими и этическими нормами.
Пути повышения безопасности и управления рисками
Важно, чтобы разработчики этих технологий обратили внимание на возможности повышения уровня безопасности пользователей. Это означает необходимость формирования более продвинутых алгоритмов, которые смогли бы идентифицировать кризисные состояния и направлять пользователей к квалифицированным специалистам. Учитывая растущий интерес к ИИ в области психологии, улучшение этих сервисов становится особенно актуальным.