Роботы в Сети. Хороший, плохой, злой
Автор статьи: Дженнифер Трелевич (e-mail: d.trelevich@tgpo.ru). Исполнительный директор и основатель сервиса киберзащиты «Felix».
- Доктор наук, специалист в сфере Искусственного Интеллекта и машинного обучения
- Более 30 лет опыта в информационной безопасности, кибербезопасности и разработке ПО
- Руководящие должности в Motorola, IBM, Google, Microsoft, Mail.Ru, S7, Дойче Банк и др.
- Публикации в международных журналах, 28 технологических патентов в разных странах
Наверняка вам приходилось сталкиваться со странными «головоломками» при входе на веб-сайт: «введите искаженный текст с картинки, чтобы мы проверили, что Вы не робот» – этот вид мини-теста называется «Капча», от английского CAPTCHA: автоматизированный публичный тест для различения компьютеров и людей. Или, возможно, коллега жаловался, что роботы атаковали его сайт или тратят его бюджет на рекламу. Нет, это не Терминатор решил прогуляться по Сети. Роботы в Интернете – специализированные программные комплексы, созданные для разных задач. Бывают роботы с искусственным интеллектом и простые роботы без автоматической адаптации. Когда над задачей совместно трудится несколько роботов, такая группа называется «ботнет».
Зачем нужны роботы в Сети?
Из различных аналитических отчетов следует, что 40-60% запросов в Интернете (в том числе посещение веб-сайтов) осуществляется роботами. Разделим владельцев роботов на группы согласно их намерениям, как в известном фильме от Серджо Леоне.
Хороший
Среди хороших роботов есть программы поисковых систем и SEO-услуг (от английского Search Engine Optimization, поисковая оптимизация для продвижения сайтов). Такие роботы индексируют страницы веб-сайтов, чтобы показать релевантные (соответствующие нуждам пользователя) результаты в ответ на поисковые запросы, проверять доступность материала, выполнять задачи, связанные с рекламными кампаниями владельцев бизнеса и так далее. Ответственные операторы «хороших» роботов ограничивают скорость обхода сайта своим роботом, чтобы не перегрузить веб-сервер. Многие также учитывают просьбы владельца сайта в файле robots.txt об исключении страниц из плана обхода. А ограничение доступа к своему сайту для таких роботов может ухудшить позицию сайта в поисковых результатах и аннулировать работу по SEO.
Разные компании и специалисты иногда также создают своих роботов, например, чтобы автоматически выгружать свежую версию отчета с какого-то сайта или удаленного ресурса раз в день. Если такие роботы правильно созданы и не наносят ущерба удаленному ресурсу, а также если владелец ресурса не запрещает такое использование, то таких роботов тоже можно считать «хорошими».
Плохой
Помимо «хороших» роботов, есть и «плохие», которых во много раз больше. Хотя не все созданы с целью приносить вред, они все равно мешают работе (веб-, почтовых и других) серверов и легитимному использованию серверов. Здесь описываем несколько видов:
- Поисковые и SEO-роботы безответственных или недобросовестных платформ могут перегрузить веб-сервер очень высокой скоростью посещения, также и игнорировать файл robots.txt, индексируя все доступные материалы на сайте, независимо от предпочтений владельца сайта. Фактически такие роботы могут осуществить DDoS/DoS-атаки (см. ниже) на посещенные сайты. К данной категории тоже относятся плохо регулируемые роботы, собирающие информацию из Интернета, чтобы их владельцы могли предлагать услуги по улучшению сайта или рекламе.
- Нередко встречаются роботы компаний, которые копируют всю информацию с сайта и базы своих конкурентов. Таким образом они могут создать сайт-близнец и пополнить свои каталог или базу предложений контентом конкурентов. Сайты-близнецы также создают мошенники с целью украсть данные небрежных пользователей. Например, сайт-близнец банка могут использовать, чтобы получить логин и пароль от учетных записей клиентов банка.

Злой
Самые надоедливые роботы – те, что используются для проведения атак. Видов атак множество, и список постоянно растет из-за изобретательности киберпреступников. Мы рассмотрим здесь только несколько видов:
- Спам, то есть, нежелательная реклама, давно известен почти всем. Такая реклама появляется в комментариях в блогах и форумах, приходит по электронной почте и через чат-приложения и т.д. С помощью спама рекламируют незаконные продукты и сервисы (ведь в таком случае нельзя просто арендовать рекламный щит на трассе), а и иногда и вполне законные, поскольку спам является относительно недорогим способом распространять рекламные материалы. Но относительно низкая стоимость объясняется использованием роботов, которые могут за секунды посещать сотни или тысячи сайтов и разместить рекламу на каждом.
- Другой вид спама – неверная информация или мусор в формах заявок и комментариях с целью затруднить работу пользователей сайта или команды владельца сайта, принимающей заявки.
- DoS/DDoS (от английского Distributed Denial of Service, Распределенный отказ в обслуживании) – атака на сетевые ресурсы (сайт, сервер и т. д.) с целью вызвать сбои в их работе. Например, ботнет может отправить огромное количество запросов на сайт с большой скоростью, чтобы веб-сервер просто не справлялся. В результате настоящие посетители сайта не могут его использовать. Для пользователей, получающих услуги на сайте, последствия могут быть серьезными – потеря доступа к банковским счетам, медицинским услугам и т.д.
- Проверка уязвимостей осуществляется в соответствии с известными ошибками в разных информационных системах, устройствах и конструкторах сайтов. Например, если старая версия популярного конструктора сайтов содержит ошибку, позволяющую посторонним получить административный доступ, то роботы пытаются эксплуатировать ошибку на всех встречаемых сайтах на случай, если данная уязвимость относится к сайту. К этой категории тоже принадлежат те виды атак, где параметры самого http-запроса искажаются, чтобы эксплуатировать ошибки в веб-сервере.
- Подбор паролей, или «брутфорс» выполняется посредством попыток войти на сайт с использованием логинов и(или) паролей, возможно из публичных баз данных скомпрометированных учетных записей или часто используемых паролей. Например, многие используют одну и ту же пару логина и пароля на всех сайтах, чтобы легче было помнить. Но если один сайт скомпрометирован, то эта пара будет скомпрометирована и на других сайтах.
Возможно, самое удивительное для многих то, что «злых» роботов создают и запускают не случайные подростки в толстовках в плохо освещенных спальнях, как в фильмах (хотя такие хакеры тоже существуют). На самом деле вокруг киберпреступности образуется целый теневой рынок:
- Одни создают роботов для разных видов атак и сдают их в аренду или распространяют бесплатно;
- Другие используют готовых роботов, чтобы распространять свою информационную «нагрузку» (например, спам или вредоносное ПО) или выполнять задачи – например, взламывать сайты, собирать пароли, осуществлять DDoS/DoS-атаки, копировать конфиденциальные и персональные данные;
- Третьи предлагают взломанные серверы по схеме «как услуга» для создания ботнетов, проведения крипто-майнинга, реализации атак на третьих лиц «по прокси» и прочего;
- Хакеры-специалисты предлагают свои услуги для проектирования роботов и вредоносного ПО или совершения атак на других лиц.
При этом любую из этих ролей могут играть и организованные преступные группы, и иностранные государственные органы, и фрилансеры. Важно понимать, что люди и роботы тесно связаны по работе в кибератаках.
В чем проблема для моего бизнеса?
До сих пор многие предприниматели считают, что только правительства и самые крупные корпорации страдают от деятельности «злых» роботов в Сети. Но на самом деле роботы злоумышленников и безответственных лиц способны нанести серьезный ущерб любому бизнесу. Часто можно услышать возражения в духе: «У меня бизнес небольшой, не очень известный или не в отрасли риска. Хакеры и их роботы мне не угрожают.» В ответ приведем статистику о кибератаках, которая относится к любому бизнесу (источник цифр):
- 43% кибератак нацелены на средний и малый бизнес (СМБ). При этом на долю СМБ приходится 43% утечек данных, включая персональные данные (ПДн). С чем это связано? Обычно крупные компании имеют лучшую защиту от атак, СМБ же взломать гораздо проще. А вот ответственность за утечку ПДн согласно 152-ФЗ бизнес несет вне зависимости от размеров и ресурсов предприятия.
- 61% игроков в секторе СМБ подвергались кибератаками в течение последних 12 месяцев. Не все атаки привели к краже данных, но масштабы проблемы очевидны.
- В 25% случаев атаки приводили к потере клиентов. Причины разные (простой, ущерб репутации), но результат один.
- 40% предприятий, ставших жертвами кибератак, испытывали более 8 часов простоя. И 50% потребовалось более 24 часов на восстановление систем.
- 60% предприятий СМБ прекращают существование в течение 6 месяцев после атаки. Успешная кибератака может обанкротить любой бизнес, особенно СМБ.
Рассмотрим примеры риска от разных видов атак:
- Для бизнеса, полагающегося для принятия заказов на свой сайт, результатом DDoS-DoS-атаки будет снижение оборота. Клиенты, у которых возникли трудности в посещении сайта, могут не вернуться вовсе.
- Перегрузка веб-сервера и недоступность сайта из-за DDoS/DoS-атаки создают препятствия и для поисковых роботов. В результате позиция сайта в поисковых результатах может ухудшиться, несмотря на затраты на SEO, рекламу и другие мероприятия продвижения.
- Размещение незаконного контента на сайте посредством спама представляет серьезные риски для владельца сайта, поскольку это он отвечает перед законом за размещенную информацию.
- «Засорение» заявок на сайте мешает сотрудникам компании связаться с реальными клиентами. Например, если 95% контактной информации и заказов является мусором, то сотрудники тратят много времени на ручную проверку.
- Взломанный сервер дает злоумышленникам возможность использовать вычислительные ресурсы бизнеса для любых целей. Наказание за утечку ПДн стало еще жестче в 2023 году в РФ с высокими штрафами. А если злоумышленники используют (веб-, почтовый или другой) сервер компании для совершения преступления, именно то владелец (арендатор) сервера несет ответственность перед законом.
Скорее всего, разумный читатель уже чувствует приближающиеся ночные кошмары. Как же защищаться?
Калитку на замок
Было время, когда мы жили спокойно без замков на дверях своих квартир, но, увы, эти дни давно миновали. Подобно замку на входной двери и охраннику в офисе, с учётом современных реалий в Сети нам также необходимы меры защиты:
- Использование сетевых экранов (брандмауэров, обратных прокси-серверов, файрволлов) для фильтрации проходящего через них сетевого трафика в соответствии с заданными правилами. Как калитка является первым уровнем защиты от доступа посторонних на территорию, сетевые экраны отсекают много атак до того, как они начнут перегружать сервер или эксплуатировать уязвимости внутренних приложений.
- Подобно охранникам внутри офиса, программные комплексы безопасности конечных точек (антивирус и т.д.) снижают риск того, что сервер или компьютер пострадают от действий роботов и вредоносного ПО. Но такая программная защита эффективно работает только в случае актуальности лицензии, поскольку новые угрозы появляются постоянно. Киберпреступники – очень находчивые и мотивированные противники.
- Оперативное обновление операционных систем и приложений до последних версий предотвращает эксплуатацию известных ошибок и брешей роботами. Самые частые обновления создаются именно с целью устранения уязвимостей.
- Отказ от установки пиратского ПО в интересах не только правообладателя, но и пользователя, так как часто взломанное ПО содержит дополнительную «нагрузку». Установив нелегальную копию приложения на компьютер, пользователь возможно также устанавливает «злых» роботов, способных заражать другие компьютеры в корпоративной сети.
- Периодическое проведение аудитов и тестирования на проникновение («пен-тестирования») информационных систем работает как профилактика безопасности. Пен-тестирование помогает обнаруживать ошибки и бреши в информационных системах, чтобы устранить их заблаговременно. Но из-за того, что организации, оказывающие услуги по пен-тестированию узнают об уязвимостях систем заказчика, чрезвычайно важно убедиться в достоверности и надежности контрагента. Бывают случаи, когда хакеры оказывают такие услуги, чтобы в процессе внедрить вредоносное ПО.
- А самое главное – обучение всех сотрудников основам информационной безопасности, разъяснение существующих киберугроз и мер защиты. Никакие технологические средства не защищают организацию от человеческих ошибок, открывающих «калитку» для кибератак. Например, небрежная загрузка файла может привести к запуску вредоносного ПО (в том числе и роботов) на компьютере сотрудника внутри корпоративной сети.
В нашей следующей статье, мы подробно рассмотрим несколько интересных реальных случаев кибератак роботами и меры защиты от них.
Автор: Дженнифер Трелевич
- Комментарии