Медленно снимаются позиции Яндекс в KeyKollector почему и что делать?

Появилась задача сделать актуализацию большого семантического ядра.

Одна из задача снять актуальные позиции. Задача простая, заходим в KeyСollector4 нажимаем снять позиции Яндекс по топ-100

Задача запустилась. Решили посмотреть процесс и вот что увидели:

Выходит Яндекс снимает позиции в 20 раз медленнее Гугл. На такой скорости, на проект в 15000 ключей, может уйти около 12 часов работы. А это как-то не гуманно по сравнению с час двадцать на гугл.

Ранее, для ускорения парсинга, начали использовать съём позиций и парсинг выдачи через XMLRiver.

Он позволяет через формат Яндекс.XML получать реальную выдачу Яндекс или гугл.

Всё работало замечательно, пока яндекс не ввёл ограничения:

Новость от Яндекса https://webmaster.yandex.ru/blog/izmenenie-v-rabote-parametra-numdoc

Получается в гугле за 1 запрос вы получаете 100 результатов поиска, в Яндексе - 10. Со всеми вытекающими.

Даже если уменьшить сбор позиций до 50го места ситуация сильно не изменится.

На помощь приходит тот-же формат Яндекс.XML. Есть сервисы, которые с выдачей Яндекс через его-же апи.

Позволяет использовать сразу несколько потоков, что значительно ускоряет работу.

Например Xmlstock.com

Регистрируемся в сервисе и начинаем использовать его Яндекс.XML Proxy

Подключаем:

Покупателю / Яндекс.XML Proxy

Если у вас много сайтов, можно подключить свои аккаунты и получить бесплатный лимит по XML или даже продавать их.

Копируем ссылку:

Остаётся вставить данный урл в настройках KeyCollector4:

Настройки / Yandex / SERM

Выбираем Использоваться совместимый с Yandex.XML API сервис.

В настройках вставляем скопированный ранее URL

Поддержка рекомендует выставлять 10-15 потоков на 1 ip

Cохраняем.

На этом всё, теперь позиции поисковая выдача в Яндекс будут парситься быстрее чем Гугл.

Достоинства XMLStock:

• Стоимость дешевле через XMLRiver
• Выше скорость работы чем XMLRiver