R-Dorgen обзор

Ну вот собственно подошло время рассказать о проведенном эксперименте и соответственно написать обещанный обзор доргена R –Dorgen.

C момента последнего поста прошло 4 дня и соответственно именно столько почти не было апдейта выдачи Яндекса. В этот раз АП что-то задержался и я уже опять начал думать, что яндексоиды опять что-то придумали очередное, глобальное для убиения заработка «честных» вебмастеров. Но как-то нет, все прошло гладко, просто с опозданием.Хотя один странный факт, не касающийся дорвеев. Я написал предыдущий пост и через 9 часов он был в индексе Яшки, причем я никогда не пингую ПС и не толкаю посты ни в Bposter, ни в аналогичные быстроботные места. Но факт остается фактом. Вобщем я уже начал радоваться что Яндекс начал «работать» как Гугл в плане индексации и выдачи. Но наверное пока это еще мечты.

Итак, последняя созданная пачка дорвеев, повторю:

• на новом хостинге
• с персональным IP
• с новым шаблоном
• с новыми данными «Хуиз»
• на новом доргене R -Dorgen

частично, а именно 3 дорвея из двух, в этот АП оказались мордами в индексе. Два из них, пока не там. Были сгенерированы дорвеи с разным методом генерации текстовки(об этом позже по сути обзора доргена). Но попали в индекс и тот и другой способ генерации, что говорит о неважности метода генерации для данной пачки. В общем буду надеяться на следующий АП, который думаю не за горами. Пока в общем все хорошо, нету выпадение в «междуапье» и это уже о чем-то да говорит.

И так, начнем пожалуй уже.

R –Dorgen это десктопный(с автором можно поговорить на тему установки консольной версии на NIX сервер) генератор статических дорвеев написанный на языке Python

Он существует в двух видах: консольный и с GUI(Графический интерфейс).

На мой взгляд дорген очень хорош. В нем нет ничего лишнего и нету ничего недостающего. Может конечно найдутся эстеты и любители экстравагантностей, но на такие случаи думаю автор за умеренную цену. А может и за просто так включит какую-то функцию в новое обновление доргена.

Что же умеет этот чудо агрегат, а умеет он следующее:

• Пятью(5-ю) способами обрабатывать текстовку
• Имеет на своем борту на сегодняшний день 30 макросов для вставки в шаблон будущего дорвея(макросы периодически дорабатываются и добавляются с выходом обновления)
• Заливать сгенерированный дорвей на FTP сервер
• Генерировать «белые страницы», которые разбавляют дорвей чистыми сеошными страничками для вида его ПС, как хорошего сайта xD
• Парсить картинки с «Яндекс.Картинок» по заданному ключу и заданное кол-во, с последующей вставкой их в шаблон
• Создавать карты дорвеев, как html так и xml
• Работать в пакетном режиме
• Парсить видео с сервиса Youtube по заданному ключу и заданное кол-во. С последующей вставкой в шаблон
• Очищать контент от лишних символов
• Генерировать robots.txt в соответствии с шаблоном
• Создавать отдальный вид главной страницы(для этого нужно создавать отдельный шаблон для нее)
• Работать в скоростном режиме, это значит что дорген очень быстро генерирует страницы, даже с морфологией
• Архивировать созданный дорвей и удалять исходники
• Генерировать RSS для дорвея
• Сохранять все ссылки на страницы дорвея(что будет полезно елси вы массова аддурите дорвей в яндекс)

Ну и еще много чего по мелочи.

Дорген обладает следующими методами генерации текста:

• Цепи Маркова(может кто-то еще верит в их силу)
• Синонимизация(вместе с доргеном идет база синонимайза, но никто не мешает подсунуть свою или создать)
• Синонимизация + смена предложений местами
• Вставка текста без изменений
• Смена предложений местами в тексте без изменений

В своем эксперименте я использовал два метода: «синонимизация + смена предложений местами» и «смена предложений местами в тексте без изменений»

Так же дорген умеет вставлять кейворды хитрыми способами. Что лично я нигде не видел, по мойму все доргены тупо вклинивают кейворд в текст и все, могу ошибаться.

Методы вставки кейворда:

• Обычная вставка
• Соблюдая морфологию
• Соблюдая морфологию + разбивка кейворда на слова(если кейворд двухсловный)

А так же разной может быть структура ссылок на страницы дорвея:

• Кейворд.html
• Кейворд-случайное число.html
• Подпадка/кейврод.html

Ну все это хорошо и чудесно, но из описалова мало что может быть понятно, так что для наглядности заснял пару видео роликов, заодно кое что проверю. И так начнем с парсинга картинок:

Чтобы не делать видео большим и не ждать долго, я прервал парсинг.

Далее парсинг с Youtibe:

Парсинг прошел довольно быстро и в результате получен файл с хешами видео на ютубе, после чего они будут использованы при генерации дорвея.

И наконец генерация самого дорвея:

В общем дорген просто летает и на ура справляется со своими обязанностями, этакий мини комбайн, ничего лишнего, ничего недостающего.

На сайта автора можно найти тестовый дорвея + почитать ридми по доргену.

Советую брать тем кому действительно нужна простота и скорость. На сегодняшний день, дорген можно получить почти за даром, для этого нужно помочь автору вот в чем: нужно сверстать пару страничек для сайта(типа офф. Сайта доргена), думаю это хорошее предложение. Со всеми вопросами пишите автору доргена, его контакты можно найти на сайте(ссылка выше).

За сим позвольте откланяться, ваш iron-viper.

P.S. Что-то Алекса потянуло на лохотроны

Выбирай направление

Я довольно долго думал перед написанием поста, о его будущем содержании и вообще по теме. Решил, что пост будет разбит на несколько частей, в которых будут оговорены близкие по смыслу и тематики, но в то же время отдаленные темы.

Итак начнем. После того как прошел Апдейт выдачи Яндекса 14 августа, из индекса выпала вся пачка доров в количестве пяти штук, общим объемом (в индексе) около 4 000 страниц. Это было довольно неожиданно, так как выпали они не сразу, а как то странно попозже. Изначально они влетели и дали траф. Продержались они 4 Ап'а от начала попадания морды в индекс. Это я считаю не очень плохо, так как себя окупили и принесли даже больше. Такие события надвинули на мою голову думы, которые породили идеи, уже воплощенные в жизнь.

Продолжаем. Очередная пачка доров из 5 штук, на рушных доменах, на собственной VPS создана и залита 15 числа этого месяца. В итоге сегодня я обнаружил что морды всех пяти уже в индексе Яндекса. Пройдясь по логам сервера обнаружил вот такую картину:

87.250.241.68 - - [15/Aug/2009:13:17:54 +0400] "HEAD / HTTP/1.1" 200 - "-" "Yandex/1.03.003 (compatible; Win16; D)"

Сразу же пришел бот по команде «Аддурилки». 16 числа никто не приходил.

77.88.22.224 - - [17/Aug/2009:23:13:27 +0400] "GET / HTTP/1.1" 200 1397 "-" "Yandex/1.01.001 (compatible; Win16; I)"

И вуаля 17 числа бот индексатор наведался на главную страницу. И потом еще заглянул очень много раз 18 числа

77.88.22.224 - - [18/Aug/2009:12:58:23 +0400] "GET / HTTP/1.1" 200 1397 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Когда точно произошло попадание в индекс, судить не могу, но факт, что прошло совсем немного времени, около 2-3 суток, не может не радовать. Сразу скажу, дополнительных привлечений быстробота не было. Сейчас самым главным остается то. На сколько долго просидит морда в индексе. Либо она доживет и переживет АП, либо она выпадет до АП'а.

Недавно на серче наткнулся на тему «Куда девать домены после бана (выпадение из индекса) Яндексом». Ответа три:

1 – использовать по Гугл и другие ПС

2 – выкинуть и забыть

3 – можно попытаться использовать их еще раз.

Остановлюсь на последнем варианте. Когда я был на конференции Яндекса, то одна очень милая девушка рассказала о том, как происходит «амнистия» сайта после бана. Все довольно просто, домену дается лишь один шанс вылезти из бана. Для этого нужно обновить контент или «исправиться» в зависимости от того, за что вас посадили в бан.

Так вот как это относится к дорвеям. А очень просто, решение довольно простое, нудное и возможно лишнее. После бана, проверяем, при добавлении в аддурилка добавляется домен или она ругается. Далее сносим весь дор, вешаем на домен заглушку, можно натолкать ее уникальным контентом. И ждем пару Апов. Далее опять проверяем добавляется ли домен в аддурилку, если да то можно заново вешать назад дор, только совершенно иного содержания, а не тот же самый и далее все как обычно. Возможно кропотливо и лишне, но если кому жалко отдавать домен после первого бана, могут попробовать на досуге так поизвращаться.

P.S. Тема – если Вы сидите в пустой комнате и рядом никого нету, то это еще не значит что Вы один и за Вами никто не следит!

АП яндекса - очередной. удачный

Идет время, Ап’ы идут. И идут довольно не плохо. Сегодня был второй АП для пачки доров(секретных) которые в этот АП мордами все попали в Яндекс. Но не буду раскрывать секрет, поэтому комментарии тоже излишни. Меня это порадовало и дало толчок. Я уже писал в комментах к статье Жизненная истина о том, что решил попробовать фришные хосты. Ну вот на одном хосте висят до сих пор, это на народе) А на втором пачка в 10 штук были снесены на следующий день, после их регистрации. Обидно и жалко времени и трудов, но как говорится, на ошибках учатся. Нужно всегда делать шаги и анализировать их. Получив какую-то статистику можно иметь гораздо больше информации чем прочитать об этом в каком-то мануале.

Всем, наверное, известен сервис http://promopark.ru/ (ссылка рефка, вам ничего а мне хорошо), который помагает следить за апдейтами ПС. Вот и я сегодня решил в нем зарегистрироваться, раньше я юзал только баннерок от них, который висит слева в колонке блога. Но теперь решил стать пользователем системы с одной лишь целью. У них есть услуга СМС информатора об Апдейтах Яндекса(апдейтах выдачи) и Апдейтах ТИЦ и ПР. Второе мне в принципе посредственно, а вот первое очень даже нужная вещ. Услуга конечно не бесплатная но и стоит копейки. Одна СМС стоит всего 3 рубля, 10 СМС умножаем на 3 и получаем 30 рублей, что эквивалентно 1 доллару ив се это за 10 аппов. В общем довольно дешево и денег много не надо, но зато всегда в курсе событий.

Найди свою истину

Так как я в отпуске, то мне соответственно немного лень писать, работать и так далее, но деньги зарабатывать и иметь хочется. Поэтому начал пробовать новый способ попадания доров в Яндекс. Купил 5 рушных доменов, залил на ВПС, пошаманил, ждем АП’ов.

Сегодняшний пост будет маленькой историей-подтверждением жизненной истины с выводами.

Позавчера мне довелось, по случаю свободного времени, отпуска и хорошей погоды, отдыхать на природе. Шашлык, река, солнце, волейбол и пиво =)

Так вот есть у меня один друг, может даже скорее товарищ. Этого парня я знаю около двух – трех лет. Изначально он был нормальным таки товарищем. Но в последнее время он попал под покровительство одного человека, который дал ему работу, начал «спонсировать» в делах и помогать в разных ситуациях. Что изменило знакомого мне человека до неузнаваемости. Но это не важно, это жизненная ситуация и касаться ее и тем более выкладывать полные факты и доводы на всеобщий суд я не имею права. Так вот, вернемся к отдыху на природе. Этот товарищ хотел остаться на ночь, палатки, костер и так далее. Но он не учел всего и поэтому ближе к вечеру его стали кушать комары и стало прохладно, в добавок он был с девушкой. И следующие его действия (заметил их лишь я, так как все были в лапоть бухущие и веселились), он берет свою мобилку, делает звонок тому, кто его «покровительствует», затем пропадает на 10-20 минут и возвращается с теплыми вещами, пледом и так далее.

Меня в этот момент взяла такая гордость и меня прям перло от счастья и удовольствия, возможно, это плохо и не этично, но я был, честно говоря, рад, что человек этот поступил именно так. Но это была злая радость. Я злорадствовал, но это вскоре прошло и я еще раз, вынес из этой ситуации урок. А урок заключается в следующем: делай все сам, за тебя никто не будет ничего делать! Не жди помощи, так как это может длиться вечно. Добивайся всего сам и во-первых ты будешь рад этому, а во-вторых ты не будешь никому ничего должен и ты будешь знать что если тебе нужно будет что-то сделать, ты сделаешь это сам!

Возвращаясь к моей радости в ситуации с товарищем. Я радовался за то, что я всегда делаю все сам и всегда надеюсь только на себя, а мой товарищ оплошал. Думаю это полезные выводы, подтверждающие жизненные истины.

Работай!

Ну вот, и пришло для меня лето. Я ушел в отпуск на работе, правда он не очень большой(2 недели), но все же. Теперь есть время заняться заработком по серьезнее и поплотнее. Я начал замечать, что лень это очень плохая вещь, и она зачастую становится преградой перед достижением каких-то целей. Недавно я прочел блог Сеоштейна, подписчиком коего я являюсь, у него был пост про то. Что некоторые и я отношу себя к числу этих некоторых, по большей части думают, нежели делают. К примеру, думают как заработать, думают как сделать это правильнее, «курят» мануалы, форумы, блоги… Я конечно не говрю что это бесполезное дело и нужно забить, но нужно прислушаться к моим словам и начинать действовать. Я знаю даже тех людей, которые ставят цели, выполняют, упорствуют и добиваются дохода, приличного дохода в сутки и не парят свой мозг сложными анализами и размышлениями. Конечно, не без анализов и статистик я предлагаю делать заработок. Ведь анализ дает кучу инфы и приводит к нужным решениям, но иногда время на обдумывание зашкаливает за 70% от времени выполнения работы, что несет потери, на мой взгляд, сильные и не соответствующие цели. К примеру, зачем думать 2 недели как сделать дор, если можно просто сделать его и смотреть как он влетит или не влетит в выдачу. То есть мой призыв друзья – равномерно распределять время на обдумывание и работу, не лениться и не говорить себе «Ай сделаю завтра». За вас никто не будет делать. А деньги нужны именно вам. Ладно, хватит демогогии.

После Апов Яшки не один из двух доров не влетел в индекс, что думаю, говорит о бане. Хотя по одному из них активно ползает всеми любимый индексатор Яндекса. Так же доры активно кушаются гуглом и прочно сидят в Раме. После прочтения поста Сеоштейна я все атки поборол лень и поставил счетчики на доры от лайвинтернета. Что могу сказать. Траф идет, смс шлют. Наконец я дождался Сервера от RU-HOSTER.COM и завтра приступлю к настройке, куплю пару-тройку доменов и начну клепать доры.

Палю тему: делайте доры максимально похожими на нормальные сайты . Если дор не попал в Яндекс, не забывайте он не единственный поисковик, есть и другие. Я, к примеру, юзаю всю жизнь Гугл. Конвертируйте с умом.

Yandex АП выдачи

Что ж, сегодня ночью Апнулась выдача Яшки. Если честно результатов ноль. Мой блог влез только двумя страницами в индекс, доры же, остались на месте, а значит, не влезли вообще. Но АП еще идет, хотя я не верю, что доры вскочат в выдачу и в индекс. Буду ждать еще одного АПа, если ничего не вылезет, значит нужно менять тактику, хотя доры хорошо вскочили в Раму. Трафик на Остапа идет, но я по-прежнему не знаю, откуда он. Сегодня поставлю счетчики на дорвеи, дабы знать, откуда же все таки идет траф и есть ли смысл делать доры под Рамблер.

Недавно я писал что нашел партнерку для слива трафик-бэка SmartBucs. С Остапа на нее ушло порядка 25 уников но не одной СМС так и не было. Конверта ноль. Вот решил попытать в качестве трафобэка другую партнерку - http://alphacash.biz/ возможно будет толк в этом. Вроде где-то на серче видел что люди юзают и отзывы не плохие, что ж посмотрим.

Так же в погоне за Апом почитывал блог Яндекс Вебмастеров и на ткнулся на их вчерашний пост на тему «Поиска контента для взрослых». Написали, что они изменили алгоритм выдачи, что бы сократить нерелевантную выдачу по запросу. Иными словами если вы ищите «ролики» то в выдаче будут ролики, но не порно ролики или что-то связанное с порно. Такая выдача теперь есть почти везде у Яндекса. И в выдаче картинок, и в выдаче контента, и в видео. Комментировали они это все тем, что они ограничивают выдачу таким образом, как родители не хотели бы показывать своим детям порно материалы раньше времени их готовности к ним. Во завернул, надеюсь понятно. Таким образом, сказали специалисты Яндекса, человек который ищет материалы для взрослых, пользуется определенной терминологией поиска. Меня это наводит на мысли что теперь ключевики нужно подбирать более специализированные и узкие по тематике. Иначе попадая в выдачу не по своей теме, я думаю есть вероятность быстрее быть забаненным Яндексом, если конечно вы есть в выдаче. Чего я у себя пока не наблюдаю.

P.S. Ссылка по теме клац

Yandex семинар

Вечер понедельника. Делать почти нечего и мозги начинают понимать, как закипят завтра на работе. Немного запоздал я, но все же расскажу как съездил на семинар, который проводил Yandex.

Проходил он 19 июня в Минске. Мне было около 5 часов езды до туда, ехали кучей с оптимизаторами и другими личностями, приближенными к этому делу и не очень по работе. Ехать было довольно весело, но не в этом суть.

Семинар начался в 10.00 утра и длился до 18.00 с часовым перерывом на кофе-брейк. Хочу сказать что все было организовано на высшем уровне, оно и понятно не забегаловка же «дяди степы» проводила семинар.

Сначала представили Яндекс как что-то из истории, рассказали как он был образован, как развивался. Что этому способствовало и как двигалось вперед. Эта часть была довольно интересной. Далее пошло грузилово по поводу Яндекс директа. Ну оно и понятно ведь семинар был посвящен в основном ему «любимому». Надо же как-то раскрутить и втереть свой продукт и иметь с него деньги. В общем, чуть не уснул к обеду. Да и сам докладчик тоже не очень блистал энтузиазмом и сонно рассказывал как правильно юзать этот самый чудесный продукт.

Далее после кофе-брейка пошли темы поинтереснее, к примеру как подбирать ключевые слова. Как правильно составлять объявления(что немало важно для правильного составления контента в целом), представляли статистику и аналитику того как пользователь реагирует на то или иное словосочетание и как правильно применять речевые обороты дабы заставить юзера сделать то, что вам нужно или правильнее сказать с эстетической стороны, подтолкнуть его к тем действиям, которые выгодны вам.

Так же не обошлось об упоминании на протяжении всего семинара о том. Что Яндекс борется за права пользователя и заботиться о пользователе как конечном потребителе контента. Поэтому всякое «Г» не просочится в свет xD

Помимо обработки контента роботами. Существует обработка его же нормальными умными людьми. Я считаю такую проверку нужно заслужить. Хотя о недавних разговорах что дорвейный бизнес приходит к концу заставляет думать что все таки Яндекс делает прогресс.

Ясно дали понять, что они не приверженцы дублирующего контента. Вот так то. Прям так и хочется думать, что Яндекс теперь у нас будет уникализированный каталог ресурсов с лозунгом «Мы очистим Интернет от Говна!» (простите за нецензуру).

Кстати для меня было в открытие. Может для кого-то тоже пригодится. Но наличие ресурса в Яндекс каталоге, никак не влияет на ранжирование его в ПС. Возможно это старо как мир, ноя не знал.

И еще про бан доменов. Как сказали представители Яндекса, если домен забанен ПС, то его можно помиловать только один раз, повторный бан означает полную смерть и изгнание в поисковый АД.

Итак какие выводы можно вынести из всего мною увиденного и написанного:

• Контент должен быть уникальным(более менее)
• Картинки аналогично
• Ключи должны быть подобраны с умом
• Домены, попавшие в бан, можно выкидывать
• Яндекс офигенно коммерческий проект

Ну так вот кратенько, что смог вспомнить. Мне, честно этот семинар помог и дал пищу для размышления. Как я уже говорил анализ и статистика делают свое дело.

Бот яндекса

Сегодня хочу немного написать про ботов яндекса. Все мы их любим-не любим, но ждем их с нетерпением у себя на сайте для поднятияколичества проиндексированных страниц. Возможно кто-то и не задумывается наж этим(что очень зря), по статистике посещения ботов или знания о том какие боты приходили и где они ходили можно судить, как обстоят дела с вашим сайтом(дором). Как я недавно писал после "Аддурила" в ПС своего блога, бот яндекса пришел ко мне быстро и в индекс попала первая страница. есть у меня конечно мысли что это было связано с Ап'ом выдачи Яндекса, но кто его знает. Увидить, каие быоты приходили к вам на сайт можно в логах доступа, которые хранятся на сервере(хосте вашего сайта). Если вы хоститесь на бесплатном хосте то возможно увидить эти логи вам нес уждено, а жаль. если на платном но вы не знаете где искать логи. спросите у саппорат вашего хоста. обычно логи лежат в одноименных папках типа "logs", "log", "access-logs" и так далее.

Перейдем к списку всевозможных ботов, а они могут быть следующие:

• Yandex/1.01.001 (compatible; Win16; I) — главнй индексирующий роботЯндекса
• Yandex/1.01.001 (compatible; Win16; P) — бот индексирующий картинки и изображения
• Yandex/1.01.001 (compatible; Win16; H) — бот определяющий зеркала сайтов
• Yandex/1.02.000 (compatible; Win16; F) — бот который индексирует "фавиконы"
• Yandex/1.03.003 (compatible; Win16; D) — вот тот самый заветный бот который обращается к вашему сайту при добавлении его через аддурилку «Добавить URL»
• Yandex/1.03.000 (compatible; Win16; M) — бот, обращающийся при открытии страницы по ссылке «Найденные слова»
• YaDirectBot/1.0 (compatible; Win16; I) —бот индексирующий страницы сайтов которые учавствуют в РСЯ
• YandexBlog/0.99.101 (compatible; DOS3.30,B) – бот который индексирует карты XML для поиска в блогах
• YandexSomething/1.0 – бот индексирующий новостные потоки яндекс новостей
• Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр.

У ботов всегда меняющиеся IP адреса поэтому знать их невозможно. Помимо ботов у Яндекса есть еже этакие "пингеры" которые проверют разные там доступности сайта. Вот они:

• Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «пингер» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
• Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «пингера» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
• Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «пингер» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
• Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «пингер» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.

Вот собственно ив се. Ведите статистику, анализируйте данные, это помогает во многом.