Бот яндекса

В скором времени, с началом лета боты Яндекса предстанут перед нами в новой «одежке».

А именно они сменят вид своего представления в User-Agent. Компания Яндекс хочет добиться этим того, что все роботы будут приведены к одному виду представления, что позволит сделать значения User-Agent в логах более развернутым и информативным.

Исходя из этого, можно будет с легкостью понимать какой именно бот прошелся по страницам вашего сайта и какой именно бот помог загнать страницу в топ или наоборот, помочь странице оттуда выпасть.

Список новых представлений в User-Agent:
Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.

Как видно, все предыдущие буковки типа «D», «I» и так далее, сменятся на английские слова. На мой взгляд это хороший ход, теперь все боты будут «читаемыми». Хотя теперь пропадут выражения типа «бот дятел», «бот I» и так далее.

Желаю всем летом увидеть в логах своего веб сервера или виртуального хоста, побольше записей про бот с User-Agent’ом Mozilla/5.0 (compatible; YandexBot/3.0)

Яндекс - чудит!

Яндекс, Яндекс, Яндекс….. Как он уже «дорог», наш «дорогой», «любимый», русскоязычный и близкий нам по менталитету поисковик. Не то, что буржуйский Google.

Хоть большинство Яндексовских фич и нагло спиж**о у оного. К чему я тут ругаю всеми любимую ПС? Да к тому, что они снова придумали какой-то фильтр. Фильтр, направленный на отсеивание в выдаче и в отказе от индексации генерированного контента, предназначенного для роботов этой самой ПС.

До того как он был введен или скорее до того, как о нем было официально заявлено представителями Яндекса, у меня уже было предчувствие, что что-то тут не так и Яндекс что-то введет. Дорвеи стали выпадать, боты стали странно себя вести, в индекс не лезли даже проверенные способы. Уже два «полуапа», да именно так я бы их назвал, ибо толку от них нету никакого, ничего не «влазит», ничего не «выпадает», я слежу за своей новой пачкой. И наблюдаю странную картину поведения поисковых ботов Яндекса.

После аддурла приходит сразу же «бот дятел» (D). Кстати про ботов я писал давно вот тут . Стучит на морду и на robots.txt

Далее приходит Индексатор и стучит на тот же robot.txt и на opensearch.xml (OpenSearch — это коллекция технологий, которая позволяет получать поисковые данные, с сайтов и поисковых систем в удобном формате для публикации и агрегации.)

Затем боты затихают, после ломятся только на файл роботс и на опенсерч, через пару дней пришел индексатор картинок и начал жадно «жрать» все имеющиеся картинки. Но повторю что толку от этого – ноль, может быть пока.

Остается только ждать и придумывать новые уловки, уже есть пару в голове.

Выпал один дор из долгоживущих, выпал целиком и в индекс не вернулся, остальные живут. Похоже на «стук».

Пока  я тут разглагольствовал, мой товарищ inlanger выложил в паблик написанный им же генератор текста для дорвеев, методом переводов на разные языки.

Офигенно рад

Ё, братья и сестры. Проснувшись после вчерашнего корпоратива, я был несказанно удивлен и рад тому что увидел в логах посещения доров. Дор который начал лезть в гугл, продолжает это делать, более того на него приходил Яндекс бот индексатор и прошелся по пару, тройке страниц. По тому же дору, который не был в индексе гугла, начал гулять индексирующий бот гугла и хавать страницы, за раз прошел наверное по 20-30 страницам, что не может не радовать. Значит кое-что действует. Если честно в последнее время я что-то обленился и пора ударить себя по затылку и сказать "А ну работать негр..." xD . Видимо так и сделаю, после того как сегодня схожу на День Независимости. Да у нас сегодня День Независимости. Файлообменниками еще не занимался, но уже готов. Позже е сли все будет нормально, вылажу стату, а может и нет.

Кстати видел на Серче тему про то. что облако тегов может влиять на то, что яндекс выкинет вас из индекса. Но я думаю не такое облако тегов как на блогах и разных сайтах. Думаю кому надо, тот понял о чем я

Выбор VPS

Вот загорелся я недавно мыслёй взять VPS/VDS. Естественно под дорвеи и прочие дела связанные с этим. Так как человек я практичный и люблю качество и надежность, то поиск этого самого заветного VPS длиться уже довольно долго. То McHost не работает(закрыта регистрация), то нашел полностью удовлетворяющий меня сервер на Sweb.ru но потом оказалось что доры там запрещены. Изначально я старался найти хост в Европе. Привлекали тарифы и планы у Зарубежных компаний в Америке. Канаде и прочей далекости, но все упиралось в оплату, можно платить либо Мастеркард, либо Виза, либо Пайпал. Но найдя человека, моего хорошего друга, который сможет мне помочь с оплатой ПайПала я нашел хост в Америке. Дата центр в Атланте. Тариф около 20 $, как раз попал на акцию «двойная память». Изначально на тарифе было 256 Мб, а при акции всех 512 (пиковая 768) + 1/10 от процессора Xeon 3.0, 10 Gb пространства 250 Gb трафа, панель Plesk 9 с лицензией на 30 доменов, саппорт вроде ничего хоть и англоязычный. У них запрещено порно, спам, боты и так далее, про доры ни слова. Поюзаю надеюсь не блокнут, под Остапа пойдет. Но это про жизненное.

Вчера сделал два дорвея, на рушных доменах, платных хостингах. Совершенно новый дизайн и новая тактика генерации, по всем правилам СЕО xD. Некоторым очень понравились сами дорвеи, а некоторые даже не заметили что это дорвеи. Что к лучшему, главное что бы ПС тоже так подумали. Зааддурил, ждем результатов, по логам боты уже были, очень интересно прошелся бот Рамблера, он прошел по каждой странице каждого дора, то есть по двум тысячам страниц.

Следим за итогами.

Бот яндекса

Сегодня хочу немного написать про ботов яндекса. Все мы их любим-не любим, но ждем их с нетерпением у себя на сайте для поднятияколичества проиндексированных страниц. Возможно кто-то и не задумывается наж этим(что очень зря), по статистике посещения ботов или знания о том какие боты приходили и где они ходили можно судить, как обстоят дела с вашим сайтом(дором). Как я недавно писал после "Аддурила" в ПС своего блога, бот яндекса пришел ко мне быстро и в индекс попала первая страница. есть у меня конечно мысли что это было связано с Ап'ом выдачи Яндекса, но кто его знает. Увидить, каие быоты приходили к вам на сайт можно в логах доступа, которые хранятся на сервере(хосте вашего сайта). Если вы хоститесь на бесплатном хосте то возможно увидить эти логи вам нес уждено, а жаль. если на платном но вы не знаете где искать логи. спросите у саппорат вашего хоста. обычно логи лежат в одноименных папках типа "logs", "log", "access-logs" и так далее.

Перейдем к списку всевозможных ботов, а они могут быть следующие:

• Yandex/1.01.001 (compatible; Win16; I) — главнй индексирующий роботЯндекса
• Yandex/1.01.001 (compatible; Win16; P) — бот индексирующий картинки и изображения
• Yandex/1.01.001 (compatible; Win16; H) — бот определяющий зеркала сайтов
• Yandex/1.02.000 (compatible; Win16; F) — бот который индексирует "фавиконы"
• Yandex/1.03.003 (compatible; Win16; D) — вот тот самый заветный бот который обращается к вашему сайту при добавлении его через аддурилку «Добавить URL»
• Yandex/1.03.000 (compatible; Win16; M) — бот, обращающийся при открытии страницы по ссылке «Найденные слова»
• YaDirectBot/1.0 (compatible; Win16; I) —бот индексирующий страницы сайтов которые учавствуют в РСЯ
• YandexBlog/0.99.101 (compatible; DOS3.30,B) – бот который индексирует карты XML для поиска в блогах
• YandexSomething/1.0 – бот индексирующий новостные потоки яндекс новостей
• Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр.

У ботов всегда меняющиеся IP адреса поэтому знать их невозможно. Помимо ботов у Яндекса есть еже этакие "пингеры" которые проверют разные там доступности сайта. Вот они:

• Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «пингер» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
• Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «пингера» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
• Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «пингер» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
• Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «пингер» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.

Вот собственно ив се. Ведите статистику, анализируйте данные, это помогает во многом.