Прожорливый бот YandexSomething донимает пользователей. Компания SmartWeb, владеющая проектами-каталогами UAProm.net и RUProm.net, вынуждена была забанить сумасшедшего робота "Яндекса", который...
Прожорливый бот YandexSomething донимает пользователей. Компания SmartWeb, владеющая проектами-каталогами UAProm.net и RUProm.net, вынуждена была забанить сумасшедшего робота "Яндекса", который...
| Ноутбуки | Нетбуки | Флешки | О магазине | Доставка | Оплата | Гарантия | FAQ | Контакты | Среда, 18 декабря 2024 |
|
|
|
|
Компания SmartWeb, владеющая проектами-каталогами UAProm.net и RUProm.net, вынуждена была забанить сумасшедшего робота "Яндекса", который выкачивал десятки страниц в секунду.
"Сегодня наш сервер переполнил количество соединений с СУБД из-за излишней прожорливости YandexSomething-бота", - сообщается в блоге компании 15 июня. Далее говорится, что в этот день между 20 и 21 часами робопаук выкачал 19238 страниц на серверах uaprom.net и ruprom.net, доходя до 12 страниц в секунду. В твиттере той же компании говорится уже про 20-30 запросов в секунду.
Бот YandexSomething описывается в разных источниках как робот, "индексирующий новостные потоки партнеров Яндекс-Новостей". Однако, судя по обсуждениям в форумах, он донимает не только новостные сайты.
В связи с высокой нагрузкой владельцы сайтов RUProm.net и UAProm.net забанили этого бешеного бота через robots.txt. Но сегодня они выяснили, что это приводит к мстительному эффекту - "Яндекс" вообще перестал индексировать их сайт. Пришлось заменить полный запрет бота (Disallow) на уменьшение частоты доступа (Crawl-delay).
Стоит заметить, что уже не первый случай сумасшествия поисковых пауков. В начале мая хостинг-компания "Мастерхост" перестала пускать роботов "Яндекса" на сайты своих клиентов, так как эти роботы тоже производили эффект DoS-атаки. Представители робота отмазались весьма стандартно: Александр Садовский заявил, что это связано всего лишь с переносом обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту "Мастерхоста" несложной - дескать, это она ошиблась, а вовсе не "Яндекс".
Ровно те же аргументы использовала в 2006 году Webalta, чей робот создавал перегрузки у провайдеров. Представители поисковика тоже говорили тогда, что во всем виноваты вебмастера, которые не легли под робота именно в той позе, которую захотел робот в этот день.
Читайте также:
Интересные предложения:
Привлекательные цены — от $18,50 !
Внешние жесткие диски: основные параметры, классификация, быстродействие
На сегодняшний день внешние жесткие диски получили огромную популярность. Преимущества подобных устройств очевидны: их можно легко подключить к любому ноутбуку или настольному ПК, нет необходимости в дополнительном программном обеспечении. По сравнению с другими способами хранения и переноса информации (DVD-диски, USB-накопители) внешние винчестеры гораздо более удобны и практичны. При этом не...
Рекомендации по выбору и покупке принтеров
Вам вдруг понадобилось купить принтер, но вы не знаете, какой именно вам нужен? Нет проблем - сейчас попробуем разобраться и с этим вопросом. Как обычно, вначале честно спрашиваем себя - а зачем он нам? Это поможет определиться с типом принтера. Офисное использование, домашнее, копирование, печать фотографий - для всего этого есть более или менее подходящие устройства. И чтобы узнать, что...
Обзор четырехъядерных процессоров Intel Core i7 и сборка компьютеров на базе Core i7
Несмотря на то, что продажи процессоров Intel Core i7 и материнских плат для них начались только 17 ноября, серьезные тестовые лаборатории близко познакомились с ними еще в начале месяца. Мы же сегодня поговорим о сборке компьютера на базе Core i7, апгрейде уже имеющихся систем, совместимости программного обеспечения и о том, как рекордная производительность новых процессоров может пригодиться...
Новые системы защиты ноутбуков от кражи
За минувший год произошло немало скандалов, связанных с потерями и кражами ноутбуков. Хакерам не составляет особого труда получать доступ к хранящейся там информации. Однако производители компьютеров развернули соревнование по совершенствованию противоугонных систем. В 2008 году сотни ноутбуков пропадали у военных, сотрудников секретных служб, высокопоставленных чиновников и бизнесменов. Самый...
"В России не Linux, а Windows была бесплатной операционной системой" Принято считать, что программное обеспечение с открытым кодом обладает как минимум одним преимуществом: оно бесплатно. Действительность сложнее. Linux, операционная система с открытым кодом, в руках IBM представляет собой инструмент конкурентной борьбы с Windows. Платить за использование Linux придется, и не факт, что это...
