Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

В рунете по суду забанили два сервиса по подделке документов для налоговой

Московский суд удовлетворил ходатайство прокуратуры о признании запрещенной информации о возможности получения налоговых вычетов по НДС путем подделки документов и счел это основанием для блокировки сайтов.

Иск был подан по результатам прокурорской проверки, которая показала, что предлагаемые владельцами двух сайтов услуги по «налоговой оптимизации» на самом деле сводятся к созданию фальшивок, удостоверяющих право плательщика НДС на вычет.

Согласно материалам дела, с которыми ознакомилось РИА Новости, создаваемые по заказу документы содержат сведения об «искусственных, не совершенных реально хозяйственных операциях, что влечет неуплату налогов и причинение ущерба бюджету РФ в значительном размере».

Как оказалось, доменные имена обоих сайтов, попавших в поле зрения регулятора, были зарегистрированы за рубежом — на Виргинских островах и в Ирландии.

Суд признал, что распространение в Сети данных о средствах и способах совершения налоговых правонарушений / преступлений недопустимо. Выявленные нарушители будут внесены в единый реестр ресурсов с запрещенной информацией, который ведет Роскомнадзор.

В 2025 году с подачи РКН соцсети и мессенджеры удалили 1289 тыс. единиц запрещенного контента — против 810,5 тыс. в 2024-м. По числу блокировок лидировала категория наркотиков, по темпам прироста — средства обхода регуляторных ограничений.

RSS: Новости на портале Anti-Malware.ru