SESpider — определение позиций сайта

Приветствую всех ещё раз.
История эта началась еще с того момента, как Яндекс поменял алгоритмы и встроил новые механизмы определения позиций по регионам. На гребне этой волны я поспешил внедрить в программу удобную панель переключения регионов и географического положения.
На следующий же день через li я заметил всплеск интереса к программе — через поисковые системы набирали запрос «sespider». Следующий день был еще удивительней — трафик пошёл с почтовых систем. «Рекомендуют», — подумал Штирлиц.
Игры в разведчики закончились, когда на форуме мне скинули цитату из одной почтовой рассылки.

Сервисы Seolib.ru и SeSpider.ru уже добавили к своим возможностям сбор выдачи по разным регионам. Денис Иванов создал пользовательский яваскрипт для переключения регионов в один клик. В программе Site-Auditor можно использовать разные переменные для просмотра региональной выдачи. Ожидается доработка функционала и у других оптимизаторских программ.

Кто бы мог подумать, что о программе напишет редакция Ашманова?! Честно?... Я думал, что программу такие зубры SEO даже и не замечают.
А вот источник

Хотите бесплатно проверить позиции сайта? SESpider — попробуйте.
PS: обновил график посещаемости. На почве переполоха с алгоритмом Арзамас, программа получила небывалый до селе рост популярности.

Доброго всем времени.
С неких пор я стал получать письма пользователей о том, что в Yandex.XML по всем запросам программа стала выводить «возможно captcha». На самом деле не по всем запросам.
Если вы захотели определить позиции какого-то иноземного продукта, скажем некий Harvester, Yandex.XML выдаст нормальный результат. Если мы работаем с кириллицей, то почему-то запрос у нас окажется абсолютно пустой и никакой выдачи, естественно, нет. Вопрос: Yandex.XML посчитал, что он нарушает авторские права Кирилла и Мефодия и перестал обслуживать кириллицу?

В любом случае, в этой записи хочу уведомить всех пользователей, что я в курсе проблемы, но сделать ничего не могу. Ждем, когда XML направится или кто-то сведущий забежит в блог и подскажет пути решения.

Здравствуйте, уважаемые.
Последние недели наметился уверенный рост интереса к программе SESpider. Безусловно, до стандарта отрасли еще далеко, но положительную реакцию пользователей наблюдать можно всюду. Программа прошла восьмимесячный путь и останавливаться не собирается. С полной ответственностью заявляю, что программа в том виде, в каком она сейчас есть будет продолжать распространяться бесплатно.
Сегодня же хочу опубликовать пятимесячную статистику роста пользователей.

Спасибо всем, кто поддерживает программу морально и материально.

Здравствуйте, уважаемые.
Сегодня я наконец добавил определение позиций в Yandex.XML (версия 0.6.12). В связи с этим для веб-мастеров открываются новые возможности по ускорению сбора позиций по проектам. Некоторые пользователи здесь возразят: «Yandex.XML врет! Он показывает неправильные позиции! При чем здесь волновой поиск?!»
Отвечаю по порядку. Да, выдача в Яндексе и XML немного отличается, но совсем немного.
А волновой поиск здесь очень даже к месту.
Чтобы быстро определить позиции по сотням фраз, которые находятся далеко за пределами топа, достаточно усвоить следующую инструкцию:

1. В дополнительных параметрах Yandex.ru (а не в Yandex.XML) прописываем параметр «xml=1»
2. Выбираем Yandex.ru и плоский поиск
3. Определяем позиции
4. Убираем из дополнительных параметров «xml=1»
5. Выбираем Yandex.ru и волновой поиск
6. Проводим повторный анализ

Yandex.XML — это своего рода артиллерийская подготовка перед точечными ударами основного сканера Yandex.ru. В результате мы имеем быстро собранные позиции с высокой точностью.

PS: Не забывайте, чтобы работать Yandex.XML ваш IP адрес должен быть зарегисрирован! Подробней о Yandex.XML

Здравствуйте, уважаемые.
Хотел внести ясность в умы некоторых пользователей, которые не понимают, чем программа может быть лучше сервиса по определению позиций сайта. Я попробую наиболее объективно вынести полюсы использования программы и сервиса.

Плюсы программы

• Определение позиций не раз в день, а сколько угодно
• Список ключевых фраз не ограничен
• Тонкая настройка поисковиков по регионам и другим параметрам
• Конфиденциальность проекта
• Возможность резервировать копии данных
• Возможность работать с данными в отсутствие Интернета

Плюсы сервисов

• Ежедневный мониторинг позиций
• Не требует сетевого трафика
• Возможность работать из разных частей планеты и работа в команде

Сервис для определения позиций — вещь, на самом деле, тоже хорошая. Я даже подумывал о подобном сервисе проверки позиций. Оба подхода имеют право на существование, только надо помнить об одном минусе таких сервисов — сегодня они есть, завтра вместе со всей вашей историей собранных позиций куда-то исчезают.

Здравствуйте, уважаемые.
Вчера в программе реализовал возможность настраивать большой перерыв в ходе определения позиций по большому количеству фраз. После чего принялся подбирать оптимальную конфигурацию. А побаловаться есть с чем — паузы между запросами (ПМЗ), число запросов в серии (ЗС), пауза между сериями (ПМС ^__^ ) и количество позиций на страницу (КПС).

Сегодня на работе попробовал поэкспериментировать с проектом на 130 ключевых фраз, определение позиций проводилось в Яндексе. До этого момента мы сканировали с паузой между запросами в 10 секунд, глубина — 100, потоков — 3, КПС — 10. Если ставили 8 секунд — неминуемо нарывались на CACPHA
С утра попробовал новую схему

Глубина = 100
потоков = 3
ПМЗ = 5 секунд
ЗС = 100
ПМС = 60 секунд
КПС = 10

Процесс шел довольно хорошо ¾ пути, потом началась CAPTCHA. Параметры можно выкидывать в мусорку.
Вечером немного облегчил задачу, поставив ПМС в 150 секунд (2,5 минуты). Тест был пройден.

Теперь попробуем подсчитать выгоду от условно-тонкой настройки:
Если усреднить число страниц на определение позиции фразы, то выходит около 3 страниц.
130 запросов x 3 страницы = 390 запросов (округлим до 401 ^_^ )
Было: (401 — 1)запросов x 10секунд = 4000 секунд на определение позиций по всему проекту.
Стало: (401 — 1)запросов x 5секунд + (401 — 1)запросов/100 * 150 секунд = 2000 + 600 = 2600.
На выходе имеем 1 — (2600/4000) = 0.35 = 35 % ускорения процесса проверки позиций... Неплохой прирост, будем экспериментировать дальше.

Итак, привожу итоговые настройки:

Глубина = 100
потоков = 3
ПМЗ = 5 секунд
ЗС = 100
ПМС = 150 секунд
КПС = 10