Яндекс, Яндекс, Яндекс….. Как он уже «дорог», наш «дорогой», «любимый», русскоязычный и близкий нам по менталитету поисковик. Не то, что буржуйский Google. Читать далее »
Posts Tagged ‘боты’

Офигенно рад
Ё, братья и сестры. Проснувшись после вчерашнего корпоратива, я был несказанно удивлен и рад тому что увидел в логах посещения доров. Дор который начал лезть в гугл, продолжает это делать, более того на него приходил Яндекс бот индексатор и прошелся по пару, тройке страниц. По тому же дору, который не был в индексе гугла, начал гулять индексирующий бот гугла и хавать страницы, за раз прошел наверное по 20-30 страницам, что не может не радовать. Значит кое-что действует. Если честно в последнее время я что-то обленился и пора ударить себя по затылку и сказать "А ну работать негр..." xD . Видимо так и сделаю, после того как сегодня схожу на День Независимости. Да у нас сегодня День Независимости. Файлообменниками еще не занимался, но уже готов. Позже е сли все будет нормально, вылажу стату, а может и нет.
Кстати видел на Серче тему про то. что облако тегов может влиять на то, что яндекс выкинет вас из индекса. Но я думаю не такое облако тегов как на блогах и разных сайтах. Думаю кому надо, тот понял о чем я

Выбор VPS
Вот загорелся я недавно мыслёй взять VPS/VDS. Естественно под дорвеи и прочие дела связанные с этим. Так как человек я практичный и люблю качество и надежность, то поиск этого самого заветного VPS длиться уже довольно долго. То McHost не работает(закрыта регистрация), то нашел полностью удовлетворяющий меня сервер на Sweb.ru но потом оказалось что доры там запрещены. Изначально я старался найти хост в Европе. Привлекали тарифы и планы у Зарубежных компаний в Америке. Канаде и прочей далекости, но все упиралось в оплату, можно платить либо Мастеркард, либо Виза, либо Пайпал. Но найдя человека, моего хорошего друга, который сможет мне помочь с оплатой ПайПала я нашел хост в Америке. Дата центр в Атланте. Тариф около 20 $, как раз попал на акцию «двойная память». Изначально на тарифе было 256 Мб, а при акции всех 512 (пиковая 768) + 1/10 от процессора Xeon 3.0, 10 Gb пространства 250 Gb трафа, панель Plesk 9 с лицензией на 30 доменов, саппорт вроде ничего хоть и англоязычный. У них запрещено порно, спам, боты и так далее, про доры ни слова. Поюзаю надеюсь не блокнут, под Остапа пойдет. Но это про жизненное.
Вчера сделал два дорвея, на рушных доменах, платных хостингах. Совершенно новый дизайн и новая тактика генерации, по всем правилам СЕО xD. Некоторым очень понравились сами дорвеи, а некоторые даже не заметили что это дорвеи. Что к лучшему, главное что бы ПС тоже так подумали. Зааддурил, ждем результатов, по логам боты уже были, очень интересно прошелся бот Рамблера, он прошел по каждой странице каждого дора, то есть по двум тысячам страниц.
Следим за итогами.

Бот яндекса
Сегодня хочу немного написать про ботов яндекса. Все мы их любим-не любим, но ждем их с нетерпением у себя на сайте для поднятияколичества проиндексированных страниц. Возможно кто-то и не задумывается наж этим(что очень зря), по статистике посещения ботов или знания о том какие боты приходили и где они ходили можно судить, как обстоят дела с вашим сайтом(дором). Как я недавно писал после "Аддурила" в ПС своего блога, бот яндекса пришел ко мне быстро и в индекс попала первая страница. есть у меня конечно мысли что это было связано с Ап'ом выдачи Яндекса, но кто его знает. Увидить, каие быоты приходили к вам на сайт можно в логах доступа, которые хранятся на сервере(хосте вашего сайта). Если вы хоститесь на бесплатном хосте то возможно увидить эти логи вам нес уждено, а жаль. если на платном но вы не знаете где искать логи. спросите у саппорат вашего хоста. обычно логи лежат в одноименных папках типа "logs", "log", "access-logs" и так далее.
Перейдем к списку всевозможных ботов, а они могут быть следующие:
- Yandex/1.01.001 (compatible; Win16; I) — главнй индексирующий роботЯндекса
- Yandex/1.01.001 (compatible; Win16; P) — бот индексирующий картинки и изображения
- Yandex/1.01.001 (compatible; Win16; H) — бот определяющий зеркала сайтов
- Yandex/1.02.000 (compatible; Win16; F) — бот который индексирует "фавиконы"
- Yandex/1.03.003 (compatible; Win16; D) — вот тот самый заветный бот который обращается к вашему сайту при добавлении его через аддурилку «Добавить URL»
- Yandex/1.03.000 (compatible; Win16; M) — бот, обращающийся при открытии страницы по ссылке «Найденные слова»
- YaDirectBot/1.0 (compatible; Win16; I) —бот индексирующий страницы сайтов которые учавствуют в РСЯ
- YandexBlog/0.99.101 (compatible; DOS3.30,B) – бот который индексирует карты XML для поиска в блогах
- YandexSomething/1.0 – бот индексирующий новостные потоки яндекс новостей
- Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр.
У ботов всегда меняющиеся IP адреса поэтому знать их невозможно. Помимо ботов у Яндекса есть еже этакие "пингеры" которые проверют разные там доступности сайта. Вот они:
- Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «пингер» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
- Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «пингера» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
- Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «пингер» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
- Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «пингер» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.
Вот собственно ив се. Ведите статистику, анализируйте данные, это помогает во многом.



