SESpider — определение позиций сайта

Здравствуйте, уважаемые.
Сегодня я наконец добавил определение позиций в Yandex.XML (версия 0.6.12). В связи с этим для веб-мастеров открываются новые возможности по ускорению сбора позиций по проектам. Некоторые пользователи здесь возразят: «Yandex.XML врет! Он показывает неправильные позиции! При чем здесь волновой поиск?!»
Отвечаю по порядку. Да, выдача в Яндексе и XML немного отличается, но совсем немного.
А волновой поиск здесь очень даже к месту.
Чтобы быстро определить позиции по сотням фраз, которые находятся далеко за пределами топа, достаточно усвоить следующую инструкцию:

1. В дополнительных параметрах Yandex.ru (а не в Yandex.XML) прописываем параметр «xml=1»
2. Выбираем Yandex.ru и плоский поиск
3. Определяем позиции
4. Убираем из дополнительных параметров «xml=1»
5. Выбираем Yandex.ru и волновой поиск
6. Проводим повторный анализ

Yandex.XML — это своего рода артиллерийская подготовка перед точечными ударами основного сканера Yandex.ru. В результате мы имеем быстро собранные позиции с высокой точностью.

PS: Не забывайте, чтобы работать Yandex.XML ваш IP адрес должен быть зарегисрирован! Подробней о Yandex.XML

Сегодня выпущена новая версия программы SESpider 0.6.12

• Добавлен поисковик Yandex.XML (о нем отдельная история)
• Как уже сообщалось. исправлена ошибка «Сбой соединения» и определение проиндексированных страниц в Яндексе, возникавшая у украинских мастеров

Скачать программу SESpider v0.6.12

Здравствуйте, уважаемые.
Хотел внести ясность в умы некоторых пользователей, которые не понимают, чем программа может быть лучше сервиса по определению позиций сайта. Я попробую наиболее объективно вынести полюсы использования программы и сервиса.

Плюсы программы

• Определение позиций не раз в день, а сколько угодно
• Список ключевых фраз не ограничен
• Тонкая настройка поисковиков по регионам и другим параметрам
• Конфиденциальность проекта
• Возможность резервировать копии данных
• Возможность работать с данными в отсутствие Интернета

Плюсы сервисов

• Ежедневный мониторинг позиций
• Не требует сетевого трафика
• Возможность работать из разных частей планеты и работа в команде

Сервис для определения позиций — вещь, на самом деле, тоже хорошая. Я даже подумывал о подобном сервисе проверки позиций. Оба подхода имеют право на существование, только надо помнить об одном минусе таких сервисов — сегодня они есть, завтра вместе со всей вашей историей собранных позиций куда-то исчезают.

Здравствуйте, уважаемые.
В последнее время пользователи начали жаловаться на сбой соединения при определении позиций в Яндекске, а также съем количества проиндексированных страниц Яндексом.
При расследовании загадочных обстоятельств сбоя, я обнаружил, что этим недугом страдают только пользователи незалежной. Плотно пообщавшись с одним из украинских коллег, удалось найти и устранить ошибки определения позиций.
В отдельную версию оформлять не стал, но вы можете скачать еще раз версию SESpider v0.6.11a или обновление до новой версии SESpider. v0.6.11a

Для того, чтобы программа начала определять позиции в Яндексе необязательно обновлять программу, но необходимо в дополнительных параметрах этого поисковика прописать «lr=187» (регион Украина) или «lr=0» (без учета региона)

Здравствуйте, уважаемые.
Вчера в программе реализовал возможность настраивать большой перерыв в ходе определения позиций по большому количеству фраз. После чего принялся подбирать оптимальную конфигурацию. А побаловаться есть с чем — паузы между запросами (ПМЗ), число запросов в серии (ЗС), пауза между сериями (ПМС ^__^ ) и количество позиций на страницу (КПС).

Сегодня на работе попробовал поэкспериментировать с проектом на 130 ключевых фраз, определение позиций проводилось в Яндексе. До этого момента мы сканировали с паузой между запросами в 10 секунд, глубина — 100, потоков — 3, КПС — 10. Если ставили 8 секунд — неминуемо нарывались на CACPHA
С утра попробовал новую схему

Глубина = 100
потоков = 3
ПМЗ = 5 секунд
ЗС = 100
ПМС = 60 секунд
КПС = 10

Процесс шел довольно хорошо ¾ пути, потом началась CAPTCHA. Параметры можно выкидывать в мусорку.
Вечером немного облегчил задачу, поставив ПМС в 150 секунд (2,5 минуты). Тест был пройден.

Теперь попробуем подсчитать выгоду от условно-тонкой настройки:
Если усреднить число страниц на определение позиции фразы, то выходит около 3 страниц.
130 запросов x 3 страницы = 390 запросов (округлим до 401 ^_^ )
Было: (401 — 1)запросов x 10секунд = 4000 секунд на определение позиций по всему проекту.
Стало: (401 — 1)запросов x 5секунд + (401 — 1)запросов/100 * 150 секунд = 2000 + 600 = 2600.
На выходе имеем 1 — (2600/4000) = 0.35 = 35 % ускорения процесса проверки позиций... Неплохой прирост, будем экспериментировать дальше.

Итак, привожу итоговые настройки:

Глубина = 100
потоков = 3
ПМЗ = 5 секунд
ЗС = 100
ПМС = 150 секунд
КПС = 10

Сегодня выпущена новая версия программы SESpider 0.6.11
Отличие от старой:

• Добавлена возможность редактировать список поисковиков (Убирать/Возвращать в список)
• В настройках поисковика добавлена возможность настраивать задержку между сериями запросов. Подробнее о настройках в руководстве пользователя
• обнаружены и исправлены ошибки в определении позиций в поисковиках семейства Google
• обнаружены и исправлены ошибки в определении позиций в Rambler

Скачать программу SESpider v0.6.11

Эта инструкция для людей, наделённых рациональной «ленью» или просто занятых людей. Скажем, вам необходимо определить позиции вашего сайта, но ни времени, ни желания углубляться в подробности программы у вас нет. А позиции снять-то хочется.
На нашей кухне мы разработали рецепт определения позиций в семи пунктах
Читать полностью »

Сегодня выпущена новая версия программы SESpider 0.6.10
Отличие от старой:

• обнаружены ошибки в определении позиций сайта в Яндексе

Скачать программу SESpider v0.6.10

Чтобы пользователи программы были абсолютно уверены в результате работы программы, на странице «Проблемы сканирования позиций» будут писаться уведомления о проблемах в определении позиций, которые были обнаружены и будут исправлены в скором времени.

Читать полностью »

Сегодня выпущена новая версия программы SESpider 0.6.9
Отличие от старой:

• обнаружены ошибки в определении позиций сайта в Yandex
• обнаружены ошибки в определении позиций сайта в поисковиках семейства Google (вредоносные сайты не могли снять позиции ^_^ )
• добавлен поисковик Buki.Yandex.ru

Скачать программу SESpider v0.6.9