Специалисты Техасского и Оклахомского университетов разработали новый вектор атаки, базирующийся на вычислении клавиш, которые нажимает собеседник во время видеозвонка. По словам исследователей, метод сработает и в случае с трансляциями на YouTube или Twitch, требуется лишь одно условие — веб-камера должна захватывать верхнюю часть тела стримера.
Таким образом, эксперты берут за основу движения тела собеседника на другом конце видеозвонка. Соотнося их с видеопотоком, исследователи, по их словам, могут вычислять нажимаемые клавиши.
«Поскольку аппаратное обеспечение для захвата видео встроено практически во все современные девайсы (смартфоны, ноутбуки, планшеты), опасность утечки информации через визуальные каналы стала более реальна. Цель злоумышленников в этом случае — взять за основу язык тела, соотнести его с видеопотоком и вычислить, что жертва набирает на клавиатуре», — пишут специалисты в отчёте (PDF).
Чтобы максимально автоматизировать процесс и добиться более точных результатов, соответствующие кадры можно «скормить» специальному фреймворку, который действует по следующему алгоритму:
- Предварительная обработка, в процессе которой удаляется фон и видео конвертируется в оттенки серого. Далее акцент идёт на руки и лицо жертвы и подключается модель FaceBoxes.
- Детектирование нажатий клавиш. Здесь алгоритм использует индекс структурного сходства (SSIM, structure similarity), чтобы определить движения тела между последовательными кадрами, когда человек набирал определённый текст.
- Предугадывание слов. На этом этапе выделяются специальные кадры, когда собеседник набирал текст, а затем они используются для вычисления конкретного текста с помощью специального алгоритма.
Исследователи заявили, что тестировали этот фреймворк на 20 собеседниках (9 женщинах, 11 мужчинах), при этом использовался даже разных софт для видеозвонков: Zoom, Hangouts и Skype. Сначала эксперты задействовали управляемое окружение, а затем — уже произвольное. В последнем случае удалось точно определить 91,1% вводимых имён пользователей и 95,5% адресов электронной почты.
