Бот яндекса

В скором времени, с началом лета боты Яндекса предстанут перед нами в новой «одежке».

А именно они сменят вид своего представления в User-Agent. Компания Яндекс хочет добиться этим того, что все роботы будут приведены к одному виду представления, что позволит сделать значения User-Agent в логах более развернутым и информативным.

Исходя из этого, можно будет с легкостью понимать какой именно бот прошелся по страницам вашего сайта и какой именно бот помог загнать страницу в топ или наоборот, помочь странице оттуда выпасть.

Список новых представлений в User-Agent:
Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.

Как видно, все предыдущие буковки типа «D», «I» и так далее, сменятся на английские слова. На мой взгляд это хороший ход, теперь все боты будут «читаемыми». Хотя теперь пропадут выражения типа «бот дятел», «бот I» и так далее.

Желаю всем летом увидеть в логах своего веб сервера или виртуального хоста, побольше записей про бот с User-Agent’ом Mozilla/5.0 (compatible; YandexBot/3.0)

Яндекс - чудит!

Яндекс, Яндекс, Яндекс….. Как он уже «дорог», наш «дорогой», «любимый», русскоязычный и близкий нам по менталитету поисковик. Не то, что буржуйский Google.

Хоть большинство Яндексовских фич и нагло спиж**о у оного. К чему я тут ругаю всеми любимую ПС? Да к тому, что они снова придумали какой-то фильтр. Фильтр, направленный на отсеивание в выдаче и в отказе от индексации генерированного контента, предназначенного для роботов этой самой ПС.

До того как он был введен или скорее до того, как о нем было официально заявлено представителями Яндекса, у меня уже было предчувствие, что что-то тут не так и Яндекс что-то введет. Дорвеи стали выпадать, боты стали странно себя вести, в индекс не лезли даже проверенные способы. Уже два «полуапа», да именно так я бы их назвал, ибо толку от них нету никакого, ничего не «влазит», ничего не «выпадает», я слежу за своей новой пачкой. И наблюдаю странную картину поведения поисковых ботов Яндекса.

После аддурла приходит сразу же «бот дятел» (D). Кстати про ботов я писал давно вот тут . Стучит на морду и на robots.txt

Далее приходит Индексатор и стучит на тот же robot.txt и на opensearch.xml (OpenSearch — это коллекция технологий, которая позволяет получать поисковые данные, с сайтов и поисковых систем в удобном формате для публикации и агрегации.)

Затем боты затихают, после ломятся только на файл роботс и на опенсерч, через пару дней пришел индексатор картинок и начал жадно «жрать» все имеющиеся картинки. Но повторю что толку от этого – ноль, может быть пока.

Остается только ждать и придумывать новые уловки, уже есть пару в голове.

Выпал один дор из долгоживущих, выпал целиком и в индекс не вернулся, остальные живут. Похоже на «стук».

Пока  я тут разглагольствовал, мой товарищ inlanger выложил в паблик написанный им же генератор текста для дорвеев, методом переводов на разные языки.

Береги здоровье!

За полночь. В смартфоне слышен звук пришедшей СМС. Она от Промопарка . Открываю, очередной текст «Изменение поисковой выдачи Яндекса. Желаем удачного Апдейта!». На серче уже как пару часов видел тему про апдейт. На сеобуджете, так же предсказывали его в этот день. Но я не верил…

В конце дня наблюдал как бот Яндекса под именем I нещадно жрал страницы дорвеев, одну за одной. Как прокаженный или оголодавший, после чумы…. И вот он наступил, долгожданный АП! Тот АП, который я ждал с грасными глазами…. В тот, который я верил и надеялся….

Подвижки есть, но не большие, один из доров заскочил в индекс на ~800 паг. Второй на ~350. В индексацию пошел еще один. Два из пяти все еще только по мордам в индексе.

Предугадываю что там медленно из-за того. Что не использовал всемогущего быстробота.

Бот просто напросто не успевает сожрать все страницы к индексу. Но это часть эксперимента. Траф тоже немного прет и исключительно по релевантным запросам и из ПС Yandex.

Приоткрывая занавес таинственной тематики, хочу сказать, что конверта нету. Из-за того, что партнерка основана на проценте от продаж товара. Но еще не вечер. Жду еще одного Апа, думаю он должен прояснить картину.

Пару дней уже размышляю по поводу поднятия сетки саттелитов и заработка на них. Но это еще только домыслы и раздумья.

P.S. я не пил и не курил, просто настроение такое

UPD: К утру выдача изменилась, но только в плюс. Один дор почти полностью в индексе, второй до ~750 страниц догнал, остальные по ~35 страниц. Траф есть.

Жду Апа

Итак, “ПослеАпье”. Я не успел соорудить свои мега доры до Апа, который был 22 числа и пришлось ждать очередного. И вот он случился сегодня ночью).  Яндекс конечно радует с одной стороны скоростью индексирования, скоро как гугл будет. Разместил пагу, через пару часов она в индексе) но пока наверное до этого еще далеко, хотя где-то читал что Яндекс признан одной из быстроразвивающихся ПС. Ну конечно, все идеи крадутся прямиком у гугла.

Что-то я отвлекся. Так вот Значит подоспели доры только к Апу, который был сегодня ночью. Из пяти штук, были схаваны 2 дора, по разному кол-ву страниц и на них уже есть малый траф. До этого яндексовский бот I жрал страницы именно этих двух доров. А остальными почему-то брезговал, только гугл кушал их. Но сегодня полазил по логам и вижу, что и Яндекс посмотрев на «Отца Гугла» решил полакомиться остальными и кушает их до сих пор. Что бы не спугнуть.

Так что пока судить не о чем не могу, жду еще Апов.

Выбирай направление

Я довольно долго думал перед написанием поста, о его будущем содержании и вообще по теме. Решил, что пост будет разбит на несколько частей, в которых будут оговорены близкие по смыслу и тематики, но в то же время отдаленные темы.

Итак начнем. После того как прошел Апдейт выдачи Яндекса 14 августа, из индекса выпала вся пачка доров в количестве пяти штук, общим объемом (в индексе) около 4 000 страниц. Это было довольно неожиданно, так как выпали они не сразу, а как то странно попозже. Изначально они влетели и дали траф. Продержались они 4 Ап'а от начала попадания морды в индекс. Это я считаю не очень плохо, так как себя окупили и принесли даже больше. Такие события надвинули на мою голову думы, которые породили идеи, уже воплощенные в жизнь.

Продолжаем. Очередная пачка доров из 5 штук, на рушных доменах, на собственной VPS создана и залита 15 числа этого месяца. В итоге сегодня я обнаружил что морды всех пяти уже в индексе Яндекса. Пройдясь по логам сервера обнаружил вот такую картину:

87.250.241.68 - - [15/Aug/2009:13:17:54 +0400] "HEAD / HTTP/1.1" 200 - "-" "Yandex/1.03.003 (compatible; Win16; D)"

Сразу же пришел бот по команде «Аддурилки». 16 числа никто не приходил.

77.88.22.224 - - [17/Aug/2009:23:13:27 +0400] "GET / HTTP/1.1" 200 1397 "-" "Yandex/1.01.001 (compatible; Win16; I)"

И вуаля 17 числа бот индексатор наведался на главную страницу. И потом еще заглянул очень много раз 18 числа

77.88.22.224 - - [18/Aug/2009:12:58:23 +0400] "GET / HTTP/1.1" 200 1397 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Когда точно произошло попадание в индекс, судить не могу, но факт, что прошло совсем немного времени, около 2-3 суток, не может не радовать. Сразу скажу, дополнительных привлечений быстробота не было. Сейчас самым главным остается то. На сколько долго просидит морда в индексе. Либо она доживет и переживет АП, либо она выпадет до АП'а.

Недавно на серче наткнулся на тему «Куда девать домены после бана (выпадение из индекса) Яндексом». Ответа три:

1 – использовать по Гугл и другие ПС

2 – выкинуть и забыть

3 – можно попытаться использовать их еще раз.

Остановлюсь на последнем варианте. Когда я был на конференции Яндекса, то одна очень милая девушка рассказала о том, как происходит «амнистия» сайта после бана. Все довольно просто, домену дается лишь один шанс вылезти из бана. Для этого нужно обновить контент или «исправиться» в зависимости от того, за что вас посадили в бан.

Так вот как это относится к дорвеям. А очень просто, решение довольно простое, нудное и возможно лишнее. После бана, проверяем, при добавлении в аддурилка добавляется домен или она ругается. Далее сносим весь дор, вешаем на домен заглушку, можно натолкать ее уникальным контентом. И ждем пару Апов. Далее опять проверяем добавляется ли домен в аддурилку, если да то можно заново вешать назад дор, только совершенно иного содержания, а не тот же самый и далее все как обычно. Возможно кропотливо и лишне, но если кому жалко отдавать домен после первого бана, могут попробовать на досуге так поизвращаться.

P.S. Тема – если Вы сидите в пустой комнате и рядом никого нету, то это еще не значит что Вы один и за Вами никто не следит!

Офигенно рад

Ё, братья и сестры. Проснувшись после вчерашнего корпоратива, я был несказанно удивлен и рад тому что увидел в логах посещения доров. Дор который начал лезть в гугл, продолжает это делать, более того на него приходил Яндекс бот индексатор и прошелся по пару, тройке страниц. По тому же дору, который не был в индексе гугла, начал гулять индексирующий бот гугла и хавать страницы, за раз прошел наверное по 20-30 страницам, что не может не радовать. Значит кое-что действует. Если честно в последнее время я что-то обленился и пора ударить себя по затылку и сказать "А ну работать негр..." xD . Видимо так и сделаю, после того как сегодня схожу на День Независимости. Да у нас сегодня День Независимости. Файлообменниками еще не занимался, но уже готов. Позже е сли все будет нормально, вылажу стату, а может и нет.

Кстати видел на Серче тему про то. что облако тегов может влиять на то, что яндекс выкинет вас из индекса. Но я думаю не такое облако тегов как на блогах и разных сайтах. Думаю кому надо, тот понял о чем я

Yandex АП выдачи

Что ж, сегодня ночью Апнулась выдача Яшки. Если честно результатов ноль. Мой блог влез только двумя страницами в индекс, доры же, остались на месте, а значит, не влезли вообще. Но АП еще идет, хотя я не верю, что доры вскочат в выдачу и в индекс. Буду ждать еще одного АПа, если ничего не вылезет, значит нужно менять тактику, хотя доры хорошо вскочили в Раму. Трафик на Остапа идет, но я по-прежнему не знаю, откуда он. Сегодня поставлю счетчики на дорвеи, дабы знать, откуда же все таки идет траф и есть ли смысл делать доры под Рамблер.

Недавно я писал что нашел партнерку для слива трафик-бэка SmartBucs. С Остапа на нее ушло порядка 25 уников но не одной СМС так и не было. Конверта ноль. Вот решил попытать в качестве трафобэка другую партнерку - http://alphacash.biz/ возможно будет толк в этом. Вроде где-то на серче видел что люди юзают и отзывы не плохие, что ж посмотрим.

Так же в погоне за Апом почитывал блог Яндекс Вебмастеров и на ткнулся на их вчерашний пост на тему «Поиска контента для взрослых». Написали, что они изменили алгоритм выдачи, что бы сократить нерелевантную выдачу по запросу. Иными словами если вы ищите «ролики» то в выдаче будут ролики, но не порно ролики или что-то связанное с порно. Такая выдача теперь есть почти везде у Яндекса. И в выдаче картинок, и в выдаче контента, и в видео. Комментировали они это все тем, что они ограничивают выдачу таким образом, как родители не хотели бы показывать своим детям порно материалы раньше времени их готовности к ним. Во завернул, надеюсь понятно. Таким образом, сказали специалисты Яндекса, человек который ищет материалы для взрослых, пользуется определенной терминологией поиска. Меня это наводит на мысли что теперь ключевики нужно подбирать более специализированные и узкие по тематике. Иначе попадая в выдачу не по своей теме, я думаю есть вероятность быстрее быть забаненным Яндексом, если конечно вы есть в выдаче. Чего я у себя пока не наблюдаю.

P.S. Ссылка по теме клац

Где же ты АП выдачи?

Продолжение эксперимента над дорами идет гладко, вот уже и второй дор полностью был захаван Рамблером. Довольно не плохой резуьтат. Так же недавно, а буквально два дня назд, оба дора посетил Бот Индексатор Яндекса. И оставил после себя след в логах Ред Баттона

26.06.2009 14:49^Yandex/1.01.001 (compatible; Win16; I)^217.170.79.100^^/

Видел на серче тему про АП Яндекса 27, но что-то не заметно его, мое мнение - либо он еще не прошел, либо он слабый и еще не раскрутился. Во всяком случае сужу я про АП о том как мой блог попадет в выдачу. Ибо поддержка яндекса уверила что он уже проиндексирован и выйдет в выдачу при первом АП'е. остается ждать. Гугл доры не глотает, хотя бот приходит на них.

Взял себе VPS как уже писал у буржуев в Америке. Пока еще не настроил толком поэтому ничего туда не вешал. Общение с сапортом прям "веселье", менталитет отличается. Или я туплю или они )))

И на последок раз все статы выкладывают, то и я наверное покажусь, траф я хз откуда так как помимо доров еще гнал способом одним, поэтому хз.

Ну вот собственно ив се, вчера отмечал совместно два дня Рождения. Мое и Моей девушки, поэтому бошка трохи не в той калее.

Стата остапа

Бот яндекса

Сегодня хочу немного написать про ботов яндекса. Все мы их любим-не любим, но ждем их с нетерпением у себя на сайте для поднятияколичества проиндексированных страниц. Возможно кто-то и не задумывается наж этим(что очень зря), по статистике посещения ботов или знания о том какие боты приходили и где они ходили можно судить, как обстоят дела с вашим сайтом(дором). Как я недавно писал после "Аддурила" в ПС своего блога, бот яндекса пришел ко мне быстро и в индекс попала первая страница. есть у меня конечно мысли что это было связано с Ап'ом выдачи Яндекса, но кто его знает. Увидить, каие быоты приходили к вам на сайт можно в логах доступа, которые хранятся на сервере(хосте вашего сайта). Если вы хоститесь на бесплатном хосте то возможно увидить эти логи вам нес уждено, а жаль. если на платном но вы не знаете где искать логи. спросите у саппорат вашего хоста. обычно логи лежат в одноименных папках типа "logs", "log", "access-logs" и так далее.

Перейдем к списку всевозможных ботов, а они могут быть следующие:

• Yandex/1.01.001 (compatible; Win16; I) — главнй индексирующий роботЯндекса
• Yandex/1.01.001 (compatible; Win16; P) — бот индексирующий картинки и изображения
• Yandex/1.01.001 (compatible; Win16; H) — бот определяющий зеркала сайтов
• Yandex/1.02.000 (compatible; Win16; F) — бот который индексирует "фавиконы"
• Yandex/1.03.003 (compatible; Win16; D) — вот тот самый заветный бот который обращается к вашему сайту при добавлении его через аддурилку «Добавить URL»
• Yandex/1.03.000 (compatible; Win16; M) — бот, обращающийся при открытии страницы по ссылке «Найденные слова»
• YaDirectBot/1.0 (compatible; Win16; I) —бот индексирующий страницы сайтов которые учавствуют в РСЯ
• YandexBlog/0.99.101 (compatible; DOS3.30,B) – бот который индексирует карты XML для поиска в блогах
• YandexSomething/1.0 – бот индексирующий новостные потоки яндекс новостей
• Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр.

У ботов всегда меняющиеся IP адреса поэтому знать их невозможно. Помимо ботов у Яндекса есть еже этакие "пингеры" которые проверют разные там доступности сайта. Вот они:

• Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «пингер» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
• Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «пингера» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
• Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «пингер» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
• Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «пингер» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.

Вот собственно ив се. Ведите статистику, анализируйте данные, это помогает во многом.