Сегодня хочу немного написать про ботов яндекса. Все мы их любим-не любим, но ждем их с нетерпением у себя на сайте для поднятияколичества проиндексированных страниц. Возможно кто-то и не задумывается наж этим(что очень зря), по статистике посещения ботов или знания о том какие боты приходили и где они ходили можно судить, как обстоят дела с вашим сайтом(дором). Как я недавно писал после "Аддурила" в ПС своего блога, бот яндекса пришел ко мне быстро и в индекс попала первая страница. есть у меня конечно мысли что это было связано с Ап'ом выдачи Яндекса, но кто его знает. Увидить, каие быоты приходили к вам на сайт можно в логах доступа, которые хранятся на сервере(хосте вашего сайта). Если вы хоститесь на бесплатном хосте то возможно увидить эти логи вам нес уждено, а жаль. если на платном но вы не знаете где искать логи. спросите у саппорат вашего хоста. обычно логи лежат в одноименных папках типа "logs", "log", "access-logs" и так далее.

Перейдем к списку всевозможных ботов, а они могут быть следующие:

• Yandex/1.01.001 (compatible; Win16; I) — главнй индексирующий роботЯндекса
• Yandex/1.01.001 (compatible; Win16; P) — бот индексирующий картинки и изображения
• Yandex/1.01.001 (compatible; Win16; H) — бот определяющий зеркала сайтов
• Yandex/1.02.000 (compatible; Win16; F) — бот который индексирует "фавиконы"
• Yandex/1.03.003 (compatible; Win16; D) — вот тот самый заветный бот который обращается к вашему сайту при добавлении его через аддурилку «Добавить URL»
• Yandex/1.03.000 (compatible; Win16; M) — бот, обращающийся при открытии страницы по ссылке «Найденные слова»
• YaDirectBot/1.0 (compatible; Win16; I) —бот индексирующий страницы сайтов которые учавствуют в РСЯ
• YandexBlog/0.99.101 (compatible; DOS3.30,B) – бот который индексирует карты XML для поиска в блогах
• YandexSomething/1.0 – бот индексирующий новостные потоки яндекс новостей
• Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр.

У ботов всегда меняющиеся IP адреса поэтому знать их невозможно. Помимо ботов у Яндекса есть еже этакие "пингеры" которые проверют разные там доступности сайта. Вот они:

• Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «пингер» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
• Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «пингера» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
• Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «пингер» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
• Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «пингер» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.

Вот собственно ив се. Ведите статистику, анализируйте данные, это помогает во многом.

Ну что же, поехали, с сего момента по посту или более в сутки. Начинаем размышления. Сегодня они будут про то, как же сделать беспалевные переходы с дора на целевой фид партнера. А так же мои мысли по поводу нытья в сторону кривого Ред Батона и бла бла...

Поисковики они ведь не дурные и тупым редиректом их не обмануть. Недавно(буквально сегодня) Уважаемый Сеоштейн описал как он по пьяне нам спалил тему про мега кнопку "ВХОД" ведущую не сразу на фид партнерки а на внутряк, а там типа выбор какую девушку хочется и далее уже переход на партнерку. У меня же есть идея вот такая, возможно она уже спалена давно но я что-то не слыхал. Вопсчем почему бы не заюзать Мод Реврайт ? Делаем кнопку "ВХОД" или как хотите назовите ее, далее с нее ссылка на внутряк, а оттуда с помощью мод реврайт редирект или переход на фид партнерки. Да возможно поисковики проанализируют начальный домен и конечный и просекут переход, а возможно и нет. Если ссыкатно (с), то можно поизвращаться с мод реврайтом на еще один внутряк а оттуда на фид. вобщем можно понапридумывать пирамиды хеопса, дабы запутать робота.

Теперь по поводу нытья про РБ. Просто надоело читать темы и посты в блоге что РБ галимо делает под яшу, и ообще алгоритм просекли.... Обьясните мне как можно просечь алгоритм рандомизации? У вас каждый раз разный контент, разные ключи, разные шаблоны..... Разные макросы и так далее... Конечно если вы юзаете все однотипное для сотни дорвеев, то бог вам в помощь с хаванием страниц. Так что не вините РБ. Как говорится плохому танцору.... делайте выводы сами. я для себя сделал.

На этом мой треп окончен, ждите продолжения...

P.S. Сегодня ночью еду на семинар Яндекса, приеду обязательно отпишусь...

Ну вот собственно и переехал блог из скучного гугловского в вордпресовский на свой домен. Со всякими Сеошными и красивыми плагинами. Плагины на самом деле очень полезны, делают всякие такие фишки, которые любят ПС. После заливки блога и окончательной настройки всего. я конечно же добавил его в аддурилки. так же всунул карту в гугл и рамблер. в итоге буквально через час Яша уже был на пароге. В логах засвечен бот
Yandex/1.03.003 (compatible; Win16; D)

Это уже хорошо. так же приходил бот яндексовских блогов. В общем берусь за дело серьездно. Сегодня начал шурстить просторы инета в поисках нормального VPS наткнулся на пару контор, руки чешутся а денег жалко... как всегда, но думаю все таки возьму.

С Днем рождения меня епт !

UP: Только что увидел что 3 часа назад, то есть уже в 20.00 яндекс савал и всунул главную страницу в индекс http://seo-viper.ru/4d5f8b/WBISRg4WHxxQWVNRHBcXQ04YBVhcFgAHSlNeC0QTQ1wNFQNZGU9ZFVRFGUYRHwRbEVoUV19YEEBZXUYPWRNcVF8FWwMEH1EIQQxFUFkJ/ Это наводит на размышления =) хорошие. То же самое сделал и Гугл http://seo-viper.ru/4d5f8b/WBISRg4WHxJGQBlTC1YCWgRPB1lVShYDWUJVXAhAUF1AXRcLVVVcDF9CRVheSgBZTBcNRl0XSxRNHx1HXhJUCkMDCRtCUEAAQxlFQQ==/

После тестирования и исправления ошибок и недочетов(трошки было). А так же при содействии моего хорошего друга "inlanger'a" и его помощи по части аякса ик расоты, "парсер уникального контента" был доработан и ему присвоен статус v1.1b .
Что умеет:
+ парсит контент по заданному ключевику
+ проверяет его на "уникальность" в яше
+ складывает контент по файлам bad.txt и good.txt
+ юзает красивый аякс интерфейс + может складывать контент в указанные файлы

Что НЕ умеет:
+ парсить инглишь, работает только с русским контентом, нам же под яшу
+ интелектуально выдирать контент, это значит что как выдернул так и все на этом
+ идеально определять "уникальность" контента

!!! Внимание: для работы требуется установленная библиотека CURL для PHP

Скриншотик для сугреву

Собственно все так же получить его можно за символических 5 WMZ. Скрипт не панацея и после него еще нужно будет поработать с тем контентом что он напарсил =).

Ну вот дело было вечером, делать было нечего. Решил написать парсер "уникального" контента , так как не нашел ничего для себя в гугле. Написан на PHP, так что нужен хост или локальный сервак(типа денвер). Так что же он из себя представляет.

Что умеет:
+ парсит контент по заданному ключевику
+ проверяет его на "уникальность" в яше
+ складывает контент по файлам bad.txt и good.txt

Что НЕ умеет:
+ парсить инглишь, работает только с русским контентом, нам же под яшу
+ интелектуально выдирать контент, это значит что как выдернул так и все на этом
+ идеально определять "уникальность" контента

Парсер чисто под дорвеи поэтому не надейтесь что он супер мега текст напарсит.

Как бэ отдам за символическую цену, чисто за труды и на мороженное xD за 5 WMZ (торг) =)))

Ну и соответственно в коментах пишим че-нить.