Именно такие итерации делают сервисы, подобные нашему. Условно всю работу можно разделить на две части:
1. Формирование базы запросы;
2. Непосредственно сбор результатов для дальнейшей обработки.
На этапе формирования базы запросов для последующих анализов, такие сервисы собирают данные из
wordstat.yandex.ru, поисковых подсказок и других истоников, проверяют все технические характеристики запросов и добавляют собранные запросы во внутреннюю базу данных. Список критериев для отбора слов и объемы этих баз у всех сервисов отличаются.
После того, как список запросов (это десятки миллионов фраз) сформирован, сервера таких сервисов делают серии запросов к поисковым машинам, и сохраняют результаты выдачи. После сбора происходит обработка данных и подготовка их для использования в сервисе. Когда обработка завершена, пользователи получают возможность узнать, по каким из миллионов фраз, в выдаче или контекстной рекламе встречался конкретный сайт или страница.