Бот яндекса

В скором времени, с началом лета боты Яндекса предстанут перед нами в новой «одежке».

А именно они сменят вид своего представления в User-Agent. Компания Яндекс хочет добиться этим того, что все роботы будут приведены к одному виду представления, что позволит сделать значения User-Agent в логах более развернутым и информативным.

Исходя из этого, можно будет с легкостью понимать какой именно бот прошелся по страницам вашего сайта и какой именно бот помог загнать страницу в топ или наоборот, помочь странице оттуда выпасть.

Список новых представлений в User-Agent:
Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.

Как видно, все предыдущие буковки типа «D», «I» и так далее, сменятся на английские слова. На мой взгляд это хороший ход, теперь все боты будут «читаемыми». Хотя теперь пропадут выражения типа «бот дятел», «бот I» и так далее.

Желаю всем летом увидеть в логах своего веб сервера или виртуального хоста, побольше записей про бот с User-Agent’ом Mozilla/5.0 (compatible; YandexBot/3.0)

Не проспи зарплату

Приветствую Вас мои подписчики, гости блога и те, кто отписался от фидбюрнера. Довольно долго я отсутствовал в блоге и сети соответственно, на то были свои причины и об этом я уже писал в предыдущем посте. За время моего отсутствия я смотрю ничего особенного не произошло в «Сео интернете». Яндекс все так же банит дорвеи, дорвейщики все так же стараются загнать свои детища в индекс ПС и заработать бабло на них. Так же вижу темы о ухудшении конверта и знакомые говорят, что СМС сейчас не рулят. Ну в общем как и написал выше, изменений никаких.До того как уйти в плавание на тройку-четверку недель я регнул 8 фришек на одном из хостов предлагающих бесплатный домен третьего уровня. Добавил их в аддурл с заглушкой на морде каждого сайта состоящего из копипаста и стянутого шаблона из выдачи ПС. После первого и второго Апа Яндекса они так и не попали в индекс, но каково было мое удивление, когда я находясь на отдыхе, решил проверить индексацию этих казалось бы обреченных заглушек и обнаружил что 6 из 8 попали в Индекс Яшки и сидят там уже порядка 6 Апов. И так делая вывод – копипаст рулит и не надо придумывать и выдумывать сотни новых алгоритмов генерации морфологически правильного контента для дорвеев.

Так же я в очередной раз сделал вывод, что зарабатывать на СМС партнерках не очень то и круто, нужно искать альтернативные места и способы заработка с помощью дорвеев. Они есть, я знаю и сам давно использую эти методы, заработок конечно на них не так велик, как в пиковые моменты посещения дора пользователями, но зато стабильность заработка перекрывает все минусы.

Как то недавно я писал что ухожу в бурж и фарму, но пока решил остановиться еще на чуть чуть в Рунете и попробовать подзаработать на фарме в нем. Хотя я больше чем уверен что наши люди не будут тратить деньги и заказывать виагру, сиалис и прочее через интернет, хотя как знать. Нужно попробовать, что бы увидеть. А пока еще один случай. Регнул я под аптеки РуФармы 5 доменов, чтобы отлежались. Не аддурил, но удивился когда обнаружил их проиндексированными Яндексом. Видимо регистраторы все таки передают инфу или ПС сами парсят ее. В общем попробую Руфарму, о результатах естественно будет написано.

R-Dorgen обзор

Ну вот собственно подошло время рассказать о проведенном эксперименте и соответственно написать обещанный обзор доргена R –Dorgen.

C момента последнего поста прошло 4 дня и соответственно именно столько почти не было апдейта выдачи Яндекса. В этот раз АП что-то задержался и я уже опять начал думать, что яндексоиды опять что-то придумали очередное, глобальное для убиения заработка «честных» вебмастеров. Но как-то нет, все прошло гладко, просто с опозданием.Хотя один странный факт, не касающийся дорвеев. Я написал предыдущий пост и через 9 часов он был в индексе Яшки, причем я никогда не пингую ПС и не толкаю посты ни в Bposter, ни в аналогичные быстроботные места. Но факт остается фактом. Вобщем я уже начал радоваться что Яндекс начал «работать» как Гугл в плане индексации и выдачи. Но наверное пока это еще мечты.

Итак, последняя созданная пачка дорвеев, повторю:

• на новом хостинге
• с персональным IP
• с новым шаблоном
• с новыми данными «Хуиз»
• на новом доргене R -Dorgen

частично, а именно 3 дорвея из двух, в этот АП оказались мордами в индексе. Два из них, пока не там. Были сгенерированы дорвеи с разным методом генерации текстовки(об этом позже по сути обзора доргена). Но попали в индекс и тот и другой способ генерации, что говорит о неважности метода генерации для данной пачки. В общем буду надеяться на следующий АП, который думаю не за горами. Пока в общем все хорошо, нету выпадение в «междуапье» и это уже о чем-то да говорит.

И так, начнем пожалуй уже.

R –Dorgen это десктопный(с автором можно поговорить на тему установки консольной версии на NIX сервер) генератор статических дорвеев написанный на языке Python

Он существует в двух видах: консольный и с GUI(Графический интерфейс).

На мой взгляд дорген очень хорош. В нем нет ничего лишнего и нету ничего недостающего. Может конечно найдутся эстеты и любители экстравагантностей, но на такие случаи думаю автор за умеренную цену. А может и за просто так включит какую-то функцию в новое обновление доргена.

Что же умеет этот чудо агрегат, а умеет он следующее:

• Пятью(5-ю) способами обрабатывать текстовку
• Имеет на своем борту на сегодняшний день 30 макросов для вставки в шаблон будущего дорвея(макросы периодически дорабатываются и добавляются с выходом обновления)
• Заливать сгенерированный дорвей на FTP сервер
• Генерировать «белые страницы», которые разбавляют дорвей чистыми сеошными страничками для вида его ПС, как хорошего сайта xD
• Парсить картинки с «Яндекс.Картинок» по заданному ключу и заданное кол-во, с последующей вставкой их в шаблон
• Создавать карты дорвеев, как html так и xml
• Работать в пакетном режиме
• Парсить видео с сервиса Youtube по заданному ключу и заданное кол-во. С последующей вставкой в шаблон
• Очищать контент от лишних символов
• Генерировать robots.txt в соответствии с шаблоном
• Создавать отдальный вид главной страницы(для этого нужно создавать отдельный шаблон для нее)
• Работать в скоростном режиме, это значит что дорген очень быстро генерирует страницы, даже с морфологией
• Архивировать созданный дорвей и удалять исходники
• Генерировать RSS для дорвея
• Сохранять все ссылки на страницы дорвея(что будет полезно елси вы массова аддурите дорвей в яндекс)

Ну и еще много чего по мелочи.

Дорген обладает следующими методами генерации текста:

• Цепи Маркова(может кто-то еще верит в их силу)
• Синонимизация(вместе с доргеном идет база синонимайза, но никто не мешает подсунуть свою или создать)
• Синонимизация + смена предложений местами
• Вставка текста без изменений
• Смена предложений местами в тексте без изменений

В своем эксперименте я использовал два метода: «синонимизация + смена предложений местами» и «смена предложений местами в тексте без изменений»

Так же дорген умеет вставлять кейворды хитрыми способами. Что лично я нигде не видел, по мойму все доргены тупо вклинивают кейворд в текст и все, могу ошибаться.

Методы вставки кейворда:

• Обычная вставка
• Соблюдая морфологию
• Соблюдая морфологию + разбивка кейворда на слова(если кейворд двухсловный)

А так же разной может быть структура ссылок на страницы дорвея:

• Кейворд.html
• Кейворд-случайное число.html
• Подпадка/кейврод.html

Ну все это хорошо и чудесно, но из описалова мало что может быть понятно, так что для наглядности заснял пару видео роликов, заодно кое что проверю. И так начнем с парсинга картинок:

Чтобы не делать видео большим и не ждать долго, я прервал парсинг.

Далее парсинг с Youtibe:

Парсинг прошел довольно быстро и в результате получен файл с хешами видео на ютубе, после чего они будут использованы при генерации дорвея.

И наконец генерация самого дорвея:

В общем дорген просто летает и на ура справляется со своими обязанностями, этакий мини комбайн, ничего лишнего, ничего недостающего.

На сайта автора можно найти тестовый дорвея + почитать ридми по доргену.

Советую брать тем кому действительно нужна простота и скорость. На сегодняшний день, дорген можно получить почти за даром, для этого нужно помочь автору вот в чем: нужно сверстать пару страничек для сайта(типа офф. Сайта доргена), думаю это хорошее предложение. Со всеми вопросами пишите автору доргена, его контакты можно найти на сайте(ссылка выше).

За сим позвольте откланяться, ваш iron-viper.

P.S. Что-то Алекса потянуло на лохотроны

Заговор Сеошника на Яндекс

Шло все хорошо и беззаботно, пока Яндекс не забанил золотожильные дорвеи, которые просидели в индексе 5 месяцев и принесли не плохой доход с минимум затрат. Все бы ничего, обыденное дело попадания дорвея в бан, но самое интересное впереди, нужно определить, почему именно они попали в бан, что поисковик счел за не кондицию и приклеил ярлычок «прямиком в котел»?! Вот в этом и заключаются самые сложные вопросы. Об этом и будет сегодняшний пост.И так, после того как Яндекс забанил дорвеи, я не сложил руки и начал делать(продолжать) сотворение дорвеев на свет божий. Но к моему удивлению и недоумению две пачки очередных дорвеев выпадали в междуапье. Стоило только мордам попасть в индекс, как через сутки они выпадали и больше уже не лезли. Я начал мозговать. Значит так, шаблон был одинаковый, ключи были разные, IP адрес был одинаковый, текст был одинаковый(перемешанный + генерация РБТ). Причем домены не попадали в бан аддурилки, они с успехом добавлялись в аддурилку и бот шастал по дорвеям, но Яндекс не считал нужным взять страницы в индекс. У меня уже наклевывались мысли по поводу бана по IP, слухи о котором развели уже много людей, но все же береженого бог бережет, подумал я и начал новый эксперимент. Проверил все свои забаненные дорвеи с помощью сервисов проверки сайтов на видимость их ПС и понеслось.

Был куплен новый хостинг + дополнительный IP адрес к нему, пачка доменов из пяти штук, спаршен текст, сделан переработанный шаблон(прям загляденье, сам бы повелся). Затем было сооружено 5 новеньких дорвейчиков новым доргеном  R –Dorgen 2.3. Обзор этого доргена будет в следующем посте(да простит меня автор этого агрегата, уж задолжал я ему с обзором). В итоге бот индексатор Яндекса уже побывал на дорах, но как всегда сволочь жрет только морду и роботс.txt, ну ничего скоро АП, посмотрим что будет.

Кстати зато рама, кушает неплохо доры и немного дает трафика.

Кстати доказано влияние бара в браузере. У меня стоит в лисе бар от mail.ru, после того как сделал доры, на следующий день логии апача были забиты ботами майл спутника(на заметку).

За сим откланяюсь.

С Уважением, Ваш iron-viper.

P.S. В очередной и последний раз сменил дизайн блога, мне он нравится.

Написание реггера на Питоне – познавательная статейка из цикла

Сопли шольников

Последнее время в сети начинается паника среди блек сеошников, но я думаю это скорее школьники волнуются. У которых все выпадает из индекса. На серче начали плодить темы по поводу конца дорвейства и черного сео. Сначала ОстапКэш заявил о своем уходе, после ужасная новость о покупке Яндексом какого-то там аццкого алгоритма, который даст начало концу всех саттелитов, рерайтов, дорвеев и прочей ереси в сети. По уму Яндекса не имеющую никакого отношения к полезной информации.Яндекс это комерчесская система, торговая площадка. Как хотите назовите, но это не СДЛ, это способ нажить побольше бабла, я всегда так думал и думать буду и никто меня не переубедит.

А тем временем ажиотаж по поводу закрытия Остапа спадает но я не перестаю любить Смартбакс он все еще на плаву и почти каждую неделю не перестает удивлять новыми лендингами. Конверт тоже не плох.

Довольно давно с ним работаю и пока, тьфу тьфу тьфу. Все идет пучком.

Кстати попробовал тут поюзать тизеры на BodyClick на одном белом проектике и вот вышла какая картина:

bodiclick 666

Даже не знаю, может не стоит там работать.))) Хотя там объемы маловаты, в таких системах нужно иметь парк софтопорталов и гнать оттуда траф. Вобщем тизеры не по мне.

Кстати inlanger тоже пробовал подзаработать на тизерах

Яндекс - чудит!

Яндекс, Яндекс, Яндекс….. Как он уже «дорог», наш «дорогой», «любимый», русскоязычный и близкий нам по менталитету поисковик. Не то, что буржуйский Google.

Хоть большинство Яндексовских фич и нагло спиж**о у оного. К чему я тут ругаю всеми любимую ПС? Да к тому, что они снова придумали какой-то фильтр. Фильтр, направленный на отсеивание в выдаче и в отказе от индексации генерированного контента, предназначенного для роботов этой самой ПС.

До того как он был введен или скорее до того, как о нем было официально заявлено представителями Яндекса, у меня уже было предчувствие, что что-то тут не так и Яндекс что-то введет. Дорвеи стали выпадать, боты стали странно себя вести, в индекс не лезли даже проверенные способы. Уже два «полуапа», да именно так я бы их назвал, ибо толку от них нету никакого, ничего не «влазит», ничего не «выпадает», я слежу за своей новой пачкой. И наблюдаю странную картину поведения поисковых ботов Яндекса.

После аддурла приходит сразу же «бот дятел» (D). Кстати про ботов я писал давно вот тут . Стучит на морду и на robots.txt

Далее приходит Индексатор и стучит на тот же robot.txt и на opensearch.xml (OpenSearch — это коллекция технологий, которая позволяет получать поисковые данные, с сайтов и поисковых систем в удобном формате для публикации и агрегации.)

Затем боты затихают, после ломятся только на файл роботс и на опенсерч, через пару дней пришел индексатор картинок и начал жадно «жрать» все имеющиеся картинки. Но повторю что толку от этого – ноль, может быть пока.

Остается только ждать и придумывать новые уловки, уже есть пару в голове.

Выпал один дор из долгоживущих, выпал целиком и в индекс не вернулся, остальные живут. Похоже на «стук».

Пока  я тут разглагольствовал, мой товарищ inlanger выложил в паблик написанный им же генератор текста для дорвеев, методом переводов на разные языки.

Сиськи - лучшая мотивация

«Алоха Гаваи» или привет всем!

Ну вот прошел очередной АП всеми любимой ПС Яндекс. Я успел сделать к нему маленькую, экспериментальную пачечку дорчиков. Но увы, Яшка их не захавал, вообще вышел какой-т на мой взгляд полу-недо-АП. Из старых, полностью выпал один дорчик тянущий баблосик на мой кошель, причем выпал сразу весь, остальные тьфу-тьфу-тьфу пока висят. У меня закралось подозрение что кто-то мог стукнуть на него. Но это лишь подозрение. Может еще выйдет из бана в следующие Апы, а пока ждем что бы в индекс попали новые. Хотя после аддурла приходил только бот D (Дятел), а бота I(индексатора), пока не видать а жаль, хотя он усиленно шуршит по старым сайтам, даже по тому что выпал из индекса.

Причем к посту «сиськи» ? Да просто так, они же всегда к месту! А вообще мотивация великая вещь. Нужно ставить себе цели и выполнять их. Ставить новые и выполнять. Причем не бездумно, а осознанно! В следующем посте напишу и покажу фотки того что я купил себе, это то о чем я мечтал и чем себя мотивировал.

Решил найти фришную панельку учета дорвеев(сайтов) для удобства ведения этого самого учета. Раньше я сидел на Site Control. Частенько бесплатная тупит, а покупать коммерческую ее версию, желания особого нет. Да и к тому же еще одна цель, написать свою панель. Но пока она не написана, то нужно же что-то юзать и вот один добрый человек подсказал мне вот эту панель на Маулнете http://seo-viper.ru/4d5f8b/WBISRg4WHwhQQltaAU1LRBROEFlXCRZJ/ , за что ему и огромное спасибо. С этой панелькой не сравнятся другие аналоги, видно люди делали для людей. Хотя скорее всего они используют статистику какую-то для себя, просто уверен в этом, но пока пусть будет она в арсенале.

На этом пока все, минипост окончен, с Вами был iron-viper.

Возвращение

Ну что, господа и дамы, уже почти два месяца прошло с момента последней публикации в блоге. На то было масса причин и самой главной была личная жизнь. Вдаваться в которую я  не буду. Так как до этого не смог, то С наступившим всех 2010 годом, с Рождеством!

Желаю всем удачных Апов, конверта и всего самого наилучшего в сфере СЕО, Black СЕО.

Но помимо этого и в личной жизни всего вам хорошего. Самое главное здоровья, счастья и любви! Остальное мы с вами, да и вы по отдельности заработаем и купим.

С нового года я решил изменить жизнь(на то были свои причины), а так же вместе с этим поменял и дизайн блога, долго мучился. Подбирал и вот что-то вышло, не айс но мне нравится, еще не все сделано, но руки просятся написать пост. Надеюсь читатели не все ушли от меня.

Теперь касательно дела. Я постараюсь писать больше и интереснее, «палить темы» и давать действительно дельные советы. Так же намечается глобальная работа по написанию «мегамашины», которая так же была заброшена в связи с тем же. С чем и был заброшен блог. Уже написано ТЗ на ее написание и мы с напарниками, в числе которых и известный некоторым inlanger.

Дела с дорвеями обстоят пока нормально, чудесная пачка доров начавшая свой путь 17 сентября, до сих пор висит в индексе и приносит денежку. Это не может не радовать. В скорых своих постах я частично раскрою секреты создания таких дорвеев. Кому будет интересно и кто будет внимательным, тот узнает и поймет.

На сей ноте завершаю изложение.

Кстати голосуйте в «опроснике» - справа в сайдбаре.

С Уважением, Ваш iron-viper.

Вот такой вот хаос

Довольно давно я не писал, довольно давно не мог собраться с мыслями и сесть за блог. Я открывал его, смотрел 5 минут и тут же закрывал. За время прошедшее с последнего поста произошло много всего что изменило мою жизнь, много событий, много происшествий, ажиотажа. Вся эта полумировая паника насчет пандемии гриппа А(H1N1). Если честно я  слегка в нее тоже впал, но более здраво относился к этому. Хоть и сам переболел ОРВИ, и было довольно неприятно с высокой температурой и всем этим хаосом в аптеках, поликлиниках, больницах. Люди в масках(глупо полагающие что они спасут, хотя может немого предостерегут). Лично мое мнение, панику подняли сами люди, и они же удерживали ее в состоянии напряжения. Как-то как только услышал про панику и расхват лекарств и марлевых повязок, то подумал вот можно сделать доры на эту тему, прикрутить туда СМС билинг или сливать на фарму. Но только подумал и сразу же убил в себе эти мысли, так как считаю что не стоит наживаться на чужом горе и несчастье. Хотя больше чем уверен, что нашлись такие умельцы, которые накосили бабла и чувствуют себя замечательно. Бог им судья.

Так же я переехал на новый сервер в Румынии. Доволен пока, все устраивает. Саппорт на английском балакает, но он по сути не нужен. Взял тариф за 10 $ и получил за это:

Burst Memory 1024 MB

Guaranteed Memory 512 MB

RAID10 Storage 20 GB

Traffic 500 GB

Root access / SSH Yes

Equal Share CPU Yes

IP Addresses 1

Switch Port 100Mbps per physical server node

Location USA (Atlanta) and Europe (Cluj-Napoca) available.(я как и писал, взял в румынии)

Из доп. услуг:

1 IP address, $1 / month

И еще купил вечную лицензию на панель ISP Manager Lite за 24$, вобщем все вообще пучком. Сам хост вот тут http://seo-viper.ru/4d5f8b/WBISRg4WHxJGQBldCk0KQBESSlVXCEo=/ кто-то просил помню на серче или в блоге что бы я потом поделился как на этом хосте, ну мне пока нормально.

Еще одно событие, в последний АП яндекса из пачки в пять доров один из них выпал из индекса, осталась только морда, связываю это со «снежинском», да и промопарк показывал 46% Апа, было прикольно смотреть на ползунок счетчика. Я уже сбился со счета, сколько Апов живет эта пачка и приносит не плохой доход, но точно помню, что вроде с 17 сентября, итого ровно 2 месяца до выпадения первого дора. Не плохо, я рад.

Еще я решил открыть один белый проект и заняться им серьезно, даже домен покупаю за ~50$ . что для меня дико, но что делать + опять же хост + наверное дизайн + раскрутка. Заниматься планирую с моим товарищем, с которым мы пишем мегамашину, кстати, все идет своим ходом.

Деньги. Покупка на Ebay

Пришла пора написать что-то в этом блоге. Время идет. Листья падают и гниют… Ничто не вечно, никто не вечен. К чему я это, да кто его знает, просто истины, просто размышления, просто мысли вслух…

Хотел написать пост на юбилейный 10 АП, который пережила пачка доров в количестве пяти штук, но что-то или АПы стали быстрыми или я стал медлительным и занятым. На сегодняшний день они благополучно прожили 13 Апдейтов, включая сегодняшний. Полностью сидят в индексе и имеют все тот же фиксированный траф в ~100 уников в день. 13 апдейтов равняются одному месяцу в календарном исчислении. И за этот месяц было куплено 6 товаров и мой доход составил 102 $. Не много, нимало. Как сказал мой один товарищ, за квартиру заплатить и на пиво.

За это время я очень сильно отдалился от заработка на дорвеях. Я писал скрипты, занимался всякой попутной ерундой. Но, я начал писать мегамашину, о кторой писал ранее,  на пару с одним товарищем, а так же с моим другом inlanger’ ом, который добровольно вызвался поучаствовать в проекте. На данный момент написан сыроватый парсер ключей вордстата, а так же моим товарищем «чистельщик» этих ключей по стоп словам. Но все еще сырое из-за недостатка времени, но работает. Мегамашина обещает быть крутой.

А еще я занялся покупками на Ebay. Замутил привязку PayPal к карте Visa + привязал все это к Ebay, кому будет интересно, могу потом поделиться опытом. Уже несколько дней пялюсь по вечерам в аукцион в поисках чего-то интересного. Сегодня вот решил купить себе игрушечный радиоуправляемый вертолет. Кто-то может подумать, что это для детей, ноя  всю жизнь, мечтал о такой вещи и теперь зарабатывая в Интернете не плохие деньги, я могу себе это позволить. Потом, как куплю, набабахаю фотоотчет.

Пока я тут писал про свою жизнь, inlanger придумал чета для мозиллы