Всем известен сервис для хороших роботов Яндекс.XML
1. Точность. Некоторые веб-мастера не пользуются им из-за боязни, что определение позиций Яндекс.XML отличается от позиций в основной выдаче Яндекс. На самом деле это давно уже неправда. С ничтожной погрешностью Яндекс.XML определяет позиции.
2. Скорость. Нет необходимости выставлять задержку между запросами, т.к. Яндекс.XML позволяет собрать за сутки до тысячи обращений к серверу.
К минусам можно отнести лимит на количество запросов к сервису, однако вы можете увеличить количество своих запросов, вступив в Рекламную сеть Яндекс!
Теперь непосредственно к настройке сервиса Яндекс.XML в программе Sespider.
1. Необходимо завести паспорт в системе Яндекс или, проще говоря, обзавестись почтой.
2. На странице настроек Яндекс.XML вам будет выдан персональный ключ и возможность настроить IP адрес, с которого будут сниматься позиции:

Убедитесь в том, что в поле IP адрес введено то же значение, что и в строчке "Ваш текущий IP-адрес: "
3. Открываем программу. Двойной клик на поисковик Яндекс (просто Яндекс, Яндекс (Москва), Яндекс (регион)).

В окне настроек поисковика есть несколько моментов:
а). Установить 50 позиций на страницу (это максимальное количество позиций, которые Яндекс.XML позволяет снимать за один запрос)
б). В строчку дополнительные параметры нужно ввести персональный ключ, описанный в пункте 2.
в). Поставить галочку в пункте «Использовать XML»
г). Выбрать географическое положение.
Теперь Яндекс.XML настроен на работу. За сутки вы можете снять 50 000 позиций. В умелых руках этого будет вполне достаточно. Не забывайте, что волновой поиск позволит вам сократить время и число запросов на определение позиций вашего сайта!