Парсинг актуальных кейвордов
15 марта 2010, 00:11, posted by Zhenek | SEO методы, SEO статьи |

В своей работе каждый вебмастер постоянно сталкивается с проблемой парсинга актуальных кейвордов, кто-то покупает базы, а кто-то пользуется платными сервисами для этого. Сегодня я хочу рассказать, как можно собрать кеи самому, при этом используя только исключительно бесплатные методы и при этом напарсить действительно актуальные с точки зрения поисковика . Думаю наиболее интересно будет рассмотреть данный метод с точки зрения фармацевтической тематики. И так, для начала определимся с препаратом, который будем продавать.

Я взял его из списка ТОП50 самых продаваемых препаратов, опубликованых на форуме. это Zithromax. Не секрет, что практически каждый препарат имеет несколько названий, которые зависят от фирмы-производителя данного лекарственного средства, но при этом состав остается тем же. Для определения данных названий я пользуюсь вот этим ресурсом — http://www.medical-look.com/. На нем имеется очень много препаратов и, что особенно нужно для нас, под описанием каждого лекарства имеется список из «Generic name» и «Brand name(s)», если таковые имеются. Вбиваем в Гугл запрос «Zithromax» site:medical-look.com и получаем вот такой результат:

Переходим по полученному адресу и внизу страницы видим:

Это как раз то, что нам нужно. копируем полученные названия. Далее отправляемся в Гугловский сервис статистики поиска http://www.google.com/insights/search/ и вводим поочередно каждый кей из полученного списка.

Здесь мы получим сразу два нужных нам параметра: 1. Популярность по регионам.

2. Самые популярные и Набирающие популярность поисковые запросы.

Первый пункт нам нужен, чтобы определится с аудиторией поиска и языком, на котором наиболее часто ищут данное лекарство. В данном случае это США и соответственно Английский язык. Второй пункт уже для того, чтобы собрать Самые популярные запросы. Их мы копируем для дальнейшей работы. Теперь, когда основная подготовка завершена, мы идем в гугл и вбиваем первый запрос и устанавливаем в опциях пункт «Related searches».

Все релейтеды тщательно копируем в блокнот и производим эту процедуру для каждого из них. При желании эти действия можно легко автоматизировать. Но и это еще не все. Самые вкусные запросы таит выпадающий список, появляющийся при вводе запроса в строке поиска.

Это то, что ищут наиболее часто. Автоматизировав данный процесс, можно собрать базу действительно актуальных кейвордов без мусора и совершенно бесплатно. В качестве доказательства в конце статьи будет приложен небольшой бонус из кеев, собранных данным методом.теперь, в качестве заключительной части расскажу немножко об автоматизации даных действий на примере Agress-Parser’а.В качестве примеров мы попробуем напарсить бэки из альтависты и “related keywords” из dogpile.com.

Он очень прост в управлении и обладает всеми нужными функциями для работы. Я думаю не нужно расписывать его функции, они и так известны всем.

Теперь перейдем непосредственно к самой настройке. Для этого открываем в текстовом редакторе любой файл из папки “search” и начинаем править под наши нужды. Изначально он выглядит вот так:

Основные данные, которые нам понадобятся – это:

AbsoluteUrl- адрес по которому будет осуществлятся запрос

UntilTextAfter- ограничение поиска. С какого значения в коде и до какого будет осуществлятся поиск

{REQUEST} – макроподстановка вводимых вами значений для поиска

{system\topdomains.txt} – подстановка значений из файла topdomains.txt

{TEXT} – то, что нам нужно найти и сохранить

UntilNextLinkAfter- линк перехода на следующую страницу.

Для поиска бэков из альтависты он будет выглядеть вот так:

Url — http://www.altavista.com/

AbsoluteUrl — http://www.altavista.com/web/results?itag=ody&kgs=0&kls=0&q=link:{REQUEST}&stq={system\topdomains.txt}

UntilTextAfter-<span class=ngrn>{TEXT}</span>

UntilNextLinkAfter-</a> &nbsp;<a href=»{NEXTLINK}»>Next &gt;&gt;</a></b></td>

Pattern-{TEXT}

К сожалению ссылка для перехода на следующую страницу не всегда работает, но для данного ресурса мы проявим немного смекалки и в файл topdomains.txt вписываем построчно числа 10, 20, 30 и т.д. это будет параметр get запроса для последующих страниц. Чем больше проставить значений, тем глубже мы будем парсить. Я поставил значение до 5000.

Вот и все. Запускаем  парсер, вводим нужный url страницы и потрошим базу данных на предмет бэклинков. Чтобы избежать бана за частые запросы, не забываем использовать прокси. Они должны быть быстрыми и живыми.

С “related search” для dogpile.com дело обстоит немного сложнее.

Сначала нам нужно найти откуда брать данные, а затем проделать ту же самую операцию, что и для альтависты. Нужный адрес  после недолгих поисков я откопал  в яваскрипте, которым этот релейтед и выводился. Я не буду утомлять Вас повторением предыдущей операции и просто прикреплю готовое решение для этого поисковика.

Url — http://suggest.infospace.com/

AbsoluteUrl — http://suggest.infospace.com/QuerySuggest/SuggestServlet?prefix={REQUEST}

UntilTextAfter-,»{TEXT}»

UntilNextLinkAfter-

Pattern-{TEXT}

Полученный результат сохраняем в текстовый файл, затем чистим от мусора и загружаем для нового парсинга. Процедуру можно повторять несколько раз, но с каждым разом количество мусора будет возрастать. Я обычно прогоняю всего 2 -3 раза. Этого вполне достаточно.

По аналогии можно сделать для любого сайта, главное найти откуда получать необходимую информацию.

Для удобства все это можно скачать одним архивом. Так же прилагается небольшой бонус из кеев, за основу для них я взял кеи из раздела diabetes и распарсил zithromax:

настройки
diabetes
zithromax

Надеюсь данная статья пригодится многим. К сожалению на данный момент AGRESS-Parser  не может работать с ресурсами, требующими ввод графической защиты, но в скором времени автор обещал посмотреть возможность прикрутить ручной ввод капчи. Так же по заверениям автора данного продукта, программа со 100% вероятностью останется бесплатной.

Спасибо за внимание и удачной Всем работы!!! 🙂

Автор статьи: Bobboy.

14 комментариев
14 комментариев
  • комментарий by Maxim - 15.03.2010, 00:35

    Статья класс, только скажите как сделать чтоб в верху отображались «Related searches»
    или как сделать:
    вбиваем в гугл первый запрос и устанавливаем в опциях пункт «Related searches».
    Где эти опции ((( не нашел

  • комментарий by Maxim - 15.03.2010, 00:47

    выпадает только колесо визуальное и все а там всего 8 штук (((

  • комментарий by Bobboy - 15.03.2010, 01:03

    нужно язык поиска поставить английский и тогда появится «Related searches» в боковой вкладке. примерно вот такие параметры должны быть google.com/search?q=viagra&hl=en вот такая дискриминация ))

  • комментарий by lordtime - 15.03.2010, 01:27

    спалил мой любимый медикал лук 🙁
    и нахрена это все палить нубам забесплатно 🙁

  • комментарий by lordtime - 15.03.2010, 01:28

    никогда в жизни не понимал геростратов 🙁

  • комментарий by lissa - 15.03.2010, 02:35

    спасибо, очень актульно

  • комментарий by lissa - 15.03.2010, 02:39

    lordtime — настоящим нубам не поможет ничего, не переживайте. Осталось еще many many тем и нюансов, которые «не спалены».
    Зато у партнерки вес растет, судя по отзывам в рунете =)
    Еще раз респект автору, хорошо что в сео еще встречаются нежлобливые люди=)

  • комментарий by Bobboy - 15.03.2010, 08:53

    lordtime — ну извини 🙄 , но по другому никак. Это у матерых гуру есть средства, чтобы выкидывать их на платные базы. А для начинающих каждый сэкономленный цент ценится не меньше заработанного доллара. К тому же я затронул только верхушку айсберга и показал общую схему поиска. А дальше уже каждый сам решит, стоит ли тратить время или может лучше купить готовые.
    lissa — спасибо за отзыв. А нежлобливых людей в сео действительно мало, но они есть! когда то мне очень помог один человек, причем совершенно бескорыстно. Надеюсь и моя статья поможет кому то решить хотя бы проблему с поиском кеев. А то слишком много жлобов стало их продавать 🙂 .

  • комментарий by я вам вот что скажу - 15.03.2010, 10:01

    «Пали! — Зарабатывай!» 🙂 Люблю когда о простых вещах пишут конструктивно и без лишней путаницы. Отличная статья!

  • комментарий by holms - 15.03.2010, 13:45

    Bobboy респектище, статья действительно хорошая, техническая сторона раскрыта очень хорошо.
    Проблема хороших кеев одна из самых актуальных, а тут все по полочкам, и показан не просто парсинг а именно парсинг с иследованием ниши на предмет действительно хороших кеев.
    Это действительно можно назвать — Спалил тему! )

  • комментарий by john29 - 15.03.2010, 18:11

    Огромное спасибо, как раз сегодня хотел напарсить новые кеи и тут такая замечательная статья)) Будем пробовать)

  • комментарий by IFund - 15.03.2010, 20:07

    Обратил внимание, что в выпадающем списке в поиске гугла теперь не показывается количество запросов.
    Не могли бы вы подсказать, это нововведение гугла или просто где то нужно включить отображение этой информации?

  • комментарий by Bobboy - 15.03.2010, 20:27

    скорее опять что-то экспериментируют. они периодически усложняют нам жизнь 🙂

  • комментарий by doktor - 18.03.2010, 22:28

    Есть теория что если держать информацию в себе, то новой хорошей инфы не получишь… так сказать избыточный потенциал будет держать. Почему богатые люди жертвуют средства в разные фонды? Они снимают с себя избыточный потенциал. Это не значит что нужно теперь налево и направо всем все рассказывать, просто если ты например по аське расскажешь новому челу какие вещи, он тебе в итоге может принести инфы со своим свежим взглядом на тему, и твои пол часа окупаются в сотни раз.

Оставить комментарий

(обязательно)
(обязательно)
Введите свой email:

Разделы

Теги

Полезные сайты