ОК запустили нейросеть для борьбы с агрессивными комментариями

Социальная сеть Одноклассники запустила технологию на базе нейросетей для борьбы с агрессивными высказываниями и разжиганием розни в публичных комментариях. Нейросеть будет оценивать тексты и изображения в комментариях на наличие токсичного содержания, после чего выдавать оценку модераторам для проверки.

Запуск технологии стал очередным шагом в развитии комфортной среды для общения в ОК.

Новый алгоритм позволит создать уважительную среду для общения внутри социальной сети. Нейросеть будет автоматически анализировать уровень агрессии в комментариях, далее оценка от алгоритма будет доступна модераторам соцсети. Технология уже работает на всех платформах. В десктопной версии соцсети пользователи, которые получили временный запрет, при попытке оставить комментарий увидят сообщение с объяснениями и ссылкой на подробности о работе нового алгоритма. В ближайшее время эта функция появится и в приложениях на iOS и Android.

Все призывы к разжиганию ненависти и ксенофобии по отношению к любой нации или другой группе людей, в том числе с использованием нецензурной лексики, а также угрозы другим пользователям будут блокироваться. При анализе изображений в комментариях алгоритм определит наличие шокирующего содержания и актов насилия, которые после проверки тоже будут удалены. Технология запущена в рамках глобального построения безопасности VK.

Пользователи, которые нарушают правила соцсети и выражают свое мнение враждебно по отношению к другим, получат временный запрет на комментирование любого контента в ОК. При попытке оставить комментарий соцсеть покажет уведомление и ссылку на правила поведения. Кроме того, авторы комментариев могут получить временный «отдых» от дискуссий, если на их высказывания поступает много жалоб и система определила их как токсичные и агрессивные.

ОК заботятся о безопасности пользователей: в феврале 2022 года соцсеть запустила Центр безопасности сообщений, в котором собраны правила безопасного и корректного общения в соцсети, а также способы защиты от нежелательного контента в личных переписках.