Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор в скором времени может запустить усовершенствованную систему поиска незаконного контента в Сети, в основу которой ляжет искусственный интеллект (ИИ). Система, получившая имя «Окулус», должна повысить эффективность обнаружения экстремистских и порнографических материалов в изображениях и видео.

Разработкой «Окулус» будет заниматься Главный радиочастотный центр (ГРЧЦ), который в настоящее время подведомственен РКН. Эксперты же опасаются, что введение систему в эксплуатацию может замедлить работу веб-ресурсов.

Согласно информации, которую сотрудники издания «КоммерсантЪ» нашли на портале госзакупок, «Окулус» планируют запустить в 2022 году. Стоимость опубликованного ГРЧЦ тендера на разработку технического задания составила 15 миллионов рублей.

Системе доверят задачу выявления следующего контента: пропаганда наркотиков, порнография, экстремистские материалы, призывы к самоубийству и массовым беспорядкам. Ранее этот поиск в изображениях и видеозаписях происходил вручную, а в следующем году этим уже будет заниматься «Окулус». Ожидается, что работы завершат до 17 декабря.

Аналитики считают, что контент в текстовом виде значительно уступает фото- и видеоматериалам по воздействию на сознание пользователей Сети. Поэтому «Окулус» будет решать проблему постинга противоправных изображений и видеозаписей, которые могут потенциально навредить подросткам.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

ИИ может склонировать JS-зловреда 10 тыс. раз и добиться FUD в 88% случаев

Проведенное в Palo Alto Networks исследование показало, что ИИ-модель можно заставить многократно обфусцировать вредоносный код JavaScript и в итоге получить семпл, не детектируемый антивирусами (FUD, fully undetectable).

Речь идет об онлайн-помощниках, авторы которых вводят ограничения во избежание злоупотреблений ИИ-технологиями — в отличие от создателей «злых» аналогов (WormGPT, FraudGPT и т. п.), заточенных под нужды киберкриминала.

Разработанный в Palo Alto алгоритм использует большую языковую модель (БЯМ, LLM) для пошаговой трансформации кода с сохранением его функциональности. При его тестировании на реальных образцах JavaScript-зловредов кастомный классификатор на основе модели глубокого обучения выдал вердикт «безвредный» в 88% случаев.

Опытным путем было установлено, что уровень детектирования снижается по мере увеличения количества итераций (в ходе экспериментов LLM создавала по 10 тыс. вариантов вредоноса). Примечательно, что привносимые изменения выглядели более естественно в сравнении с результатами готовых инструментов вроде obfuscator.io.

Для проведения исследования был также создан набор подсказок для выполнения различных преобразований, таких как переименование переменной, разделение строк, добавление мусора, удаление ненужных пробелов, альтернативная реализация функции.

Финальные варианты обфусцированных JavaScript были ради интереса загружены на VirusTotal. Их не смог распознать ни один антивирус; повторение проверок через четыре дня дало тот же эффект.

 

Результаты исследования помогли экспертам усовершенствовать свой инструмент детектирования JavaScript. Полученные с помощью LLM образцы были добавлены в тренировочный набор данных для модели машинного обучения; их использование позволило повысить результативность классификатора на 10%.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru