Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

В паблик выложена коллекция документов PDF общим объемом около 8 Тбайт, созданная сотрудниками NASA JPL (Jet Propulsion Laboratory). Ресурс можно использовать для поиска вредоносов, спрятанных в файлах, а также багов в реализациях PDF-технологии.

Работы по составлению репрезентативной выборки были проведены совместно с НКО PDF Association в рамках программы SafeDocs, запущенной DARPA. За неполных два года JPL удалось собрать 8 млн файлов и дополнить их метаданными.

Для начала команда изучила каталог публичного репозитория Common Crawl, чтобы выявить PDF, пригодные для включения в коллекцию. В июле и августе 2021 года таким образом было отобрано около 8 млн кандидатов, из которых 2 млн. оказались усеченной копией.

Дело в том, что на Common Crawl действуют ограничения на загрузку: вес файлов не должен превышать 1 Мбайт. Полноценные копии пришлось добывать самостоятельно, используя специальный софт и URL, зафиксированные в репозитории.

Различные метаданные, такие как программа, с помощью которой создавался PDF, извлекались и приобщались к коллекции. Для определения местоположения сервера с сайтом-источником использовалась общедоступная программа геолокации.

Итоговый объем получился впечатляющим — 8 Тбайт. Новая коллекция размещена на серверах AWS, образцы можно скачать в виде ZIP-файлов.

Спецификации PDF замысловаты и объемны (1000 страниц англоязычного текста, содержащего 70 ссылок на другие нормативные документы), и в реализациях нередко встречаются опасные огрехи. Так, открытый юзером PDF-файл с зашифрованными данными можно использовать для эксфильтрации, возможна и подмена содержимого, от которой не спасает даже цифровая подпись. Использование PDF-формата также позволяет надежно скрыть вредоносный код от антивирусных сканеров.

В платформе Security Vision улучшили визуализацию и администрирование

Security Vision начала год с нового релиза своей платформы. В обновлении разработчики сосредоточились на прикладных вещах: улучшили визуализацию данных, расширили журналирование и упростили работу с экспортом, импортом и административными настройками.

Аналитика и визуализация

В виджете «Карта» появилась тепловая карта. Она позволяет наглядно показывать интенсивность, частоту и количество событий — например, кибератак или инцидентов — в разрезе ИТ-объектов.

В виджете «Последовательность (Timeline)» добавили настраиваемые формы отображения параметров, используемых при выводе данных. Это упрощает анализ цепочек событий и работу с временными срезами.

 

Журналирование и контроль действий

Журнал аудита стал подробнее. Теперь в нём фиксируются события включения и отключения коннекторов, а также расширена информация о действиях, выполняемых с сервисом коннекторов.

Кроме того, в аудит добавлены записи об остановке и удалении запущенных рабочих процессов, а также о создании отчётов, что повышает прозрачность операций и упрощает разбор спорных ситуаций.

Экспорт, импорт и администрирование

При формировании пакета экспорта теперь можно выбрать все связанные с исходной сущностью объекты только для вставки, без замены при импорте. Это особенно удобно при передаче крупных и связанных наборов данных.

В системных настройках очистки истории появилась возможность удалять записи о выполненных операциях импорта и экспорта системных сущностей, что помогает поддерживать порядок в журнале событий.

Обновления интерфейса

В релизе доработан интерфейс формы настроек журнала аудита, переработан раздел «Профиль пользователя», а также обновлены представления для внутрипортальных уведомлений.

Работа с JSON

В блоке преобразований для работы с JSON унифицированы списки вариантов в поле «Название свойства» — теперь они соответствуют вариантам выборки в поле «Значение свойства». Это касается операций добавления, объединения, удаления и поиска по JPath и XPath.

Security Vision продолжает развивать платформу, делая акцент на удобстве повседневной работы, прозрачности процессов и более наглядной аналитике.

RSS: Новости на портале Anti-Malware.ru