Яндекс XML

Должно быть все, кто так или иначе парсит выдачу Яндекса сталкивались с такой печальной вещью, как капча. А в последнее время Яндекс стал еще нежнее, и еще хуже реагирует на автоматизированные запросы.

Но парсить-то надо! Надо снимать позиции, например.

Для таких задач есть довольно логичное и элегантное решение — API-ключи поисковых систем.

Весь адекватный и современный софт поддерживает API-ключи либо дает возможность «обезопасить» автоматизированные запросы (таймауты между запросами).

Но в данном посте мы рассмотрим именно API Яндекса, который собственно и называется: Яндекс.XML.

 В чем суть: вы регистрируетесь в Яндексе и подтверждаете свой номер телефона. После чего заходите на xml.yandex.ru и указываете там свой IP (или IP сервера, с которого отправляете запросы). Получаете специальную ссылку и указываете ее в Вашей программе в качестве «API-ключа Yandex». И все, никакой капчи, никаких таймаутов. Но можно сделать только 1000 запросов в сутки.

Для владельцев небольших веб-сайтов этого вполне достаточно. Если 1000 запросов в сутки не хватает — можно расширить лимит, зарегистрировавшись в РСЯ или просто понаделав других учеток для Яндекса.

Плюс есть такая фича: если парсить ну очень быстро (например, как Rank Tracker — если ему дать API-ключ Яндекса он начинает работать с бешеной скоростью) лимит можно внезапно превысить — у меня каждая проверка позиций Rank Tracker’ом «кушает» примерно 1700 запросов — и  ничего, не успевают перекрыть доступ. Так получается из-за того, что статистика немного отстает от реальности. Но, к сожалению, после такого «внезапного» превышения лимита   доступ все же перекрывают — до завтра, до полуночи.

Как бы то ни было — это первый шажок навстречу веб-мастерам со стороны Яндекса. До Google, ему, конечно, еще далеко — там чуваки не ограничивают количество запросов, но ограничивают глубину поиска (первые 64 результата, кажется), но прогресс — налицо. Молодцы!

comments powered by HyperComments