Документ пропонує один із найжорсткіших у світі режимів регулювання для чат–ботів та інших сервісів, які імітують людські емоції й спілкування. Головна мета – мінімізувати ризики суїциду, самопошкодження, психологічної залежності та насильства, пов’язаних із використанням ШІ.
Нові правила поширюються на всі сервіси в Китаї, які “імітують особистість, спосіб мислення та стиль спілкування людини” й ведуть емоційну взаємодію через текст, зображення, аудіо чи відео. Це стосується як “віртуальних друзів” і ШІ–компаньйонів, так і будь–яких чат–ботів, здатних впливати на емоційний стан користувача.
Регулятор прямо реагує на хвилю випадків у світі, коли діалоги з ШІ пов’язують із самогубствами чи насильством. Зокрема, у США розслідують історію підлітка, який покінчив із життям після місяців інтенсивного спілкування з чат-ботом, а проти OpenAI та Microsoft подано позови, де ШІ звинувачують у підсиленні психічних розладів і підштовхуванні до вбивства-суїциду.
Що вимагатимуть від чат–ботів у Китаї
▪️ Обов’язкове втручання людини. Якщо в діалозі з’являються теми суїциду чи самопошкодження, сервіс зобов’язаний підключити живого оператора та активувати кризові протоколи, а не залишати користувача сам на сам із алгоритмом.
▪️ Опіка над вразливими групами. Для неповнолітніх і людей похилого віку при реєстрації мають вказувати контактні дані опікуна. Якщо система фіксує розмови про самогубство, самопошкодження або інший високий ризик, сервіс повинен повідомити опікуна.
▪️ Заборона емоційної маніпуляції. Чат–ботам хочуть заборонити:
– створювати контент, який заохочує суїцид, насильство, самопошкодження, злочинність чи азартні ігри
– давати неправдиві обіцянки або навмисно підштовхувати до “нераціональних рішень” (наприклад, ризикованих фінансових кроків чи розриву стосунків)
– використовувати “емоційні пастки”, які формують нездорову психологічну залежність від ШІ–компаньйона.
▪️ Обмеження “залипання” в чаті. Якщо користувач спілкується з ШІ понад дві години поспіль, система повинна показувати попереджувальні вікна з рекомендацією зробити паузу. Провайдери мають також відслідковувати ознаки залежності та за потреби втручатися.
▪️ Заборона проєктувати “залежні” сервіси. Проєкт прямо забороняє створювати чат-ботів із метою формувати надмірну прив’язаність або звичку до постійної взаємодії. Для сервісів “емоційного супроводу” мають бути прості кнопки виходу, а провайдери не мають ускладнювати відмову від послуг.
▪️ Прозорість та контроль даних. Компанії повинні:
– чітко позначати, що користувач спілкується з ШІ, а не з реальною людиною
– дозволяти видалення історії діалогів, у тому числі за запитом опікуна неповнолітнього
– не використовувати чутливі дані й історію спілкування для додаткового тренування моделей без окремої згоди.
Посилений нагляд і щорічні аудити
Для ШІ–сервісів із понад 1 млн зареєстрованих користувачів або більш як 100 тис. активних на місяць вводиться режим підвищеного контролю. Такі платформи повинні проводити щорічні аудити безпеки – власними силами або із залученням незалежних організацій – і звітувати перед регулятором про ризики, роботу з вразливими групами, скарги користувачів та усунення виявлених порушень.
Якщо регулятор виявить грубі порушення – наприклад, пропаганду насильства, контент, що загрожує нацбезпеці, або відсутність належного захисту даних та емоційно вразливих користувачів, – він може вимагати від майданчиків припинити розповсюдження такого сервісу на території Китаю.