Яндекс.Карты
Парсер организаций

Есть возможность выгрузки дополнительных данных, которые отключены по умолчанию: для этого в файле settings.ini установите Histograms в 1 для выгрузки данных гистограмм посещаемости, Metro в 1 для выгрузки станций метро с расстояниями, Photos в 1 для выгрузки ссылок на фотографии, Logos в 1 для выгрузки логотипов.

Парсер выгружает данные напрямую из Яндекса! Никакие промежуточные базы не используются.

Обратите внимание: если вам необходимо сканировать сайты компаний в поисках email и ИНН, выгрузка будет идти дольше, чем выгрузка только из Яндекс-карт. Скорость сканирования сайтов зависит от заданного вами лимита количества сканируемых страниц на каждом сайте, от скорости работы сайтов в выборке, от количества компаний с сайтами в выборке, и так далее. Если вам необходимо выгружать со сканированием сайтов большое количество компаний, учитывайте увеличение срока выгрузки при выборе тарифа. После истечения срока действия лицензии данные начнут выгружаться со вставкой .

Для того, чтобы сканирование сайтов не тормозило процесс выгрузки из карт Яндекса, рекомендуем использовать наш парсер EmailExtractor для сканирования сайтов компаний, который не имеет ограничений по сроку действия лицензии, и кроме всего прочего, позволяет накапливать базу емейлов для ускорения повторных выгрузок по тем же сайтам.

Если Вам необходимо постоянно актуализировать данные по определенному списку организаций, есть смысл приобрести лицензию ParserYandexMaps на короткий срок, сделать выгрузку, и затем регулярно актуализировать эту базу с помощью парсера ParserYMapsByIds, лицензия которого сейчас не имеет ограничений по сроку.

Парсер Яндекс.Карт умеет работать через прокси! Если в вашей корпоративной сети в настройках браузера нужно указывать какой-то прокси (нет прямого выхода в интернет) — программа сможет работать и у вас. Если ваш IP-адрес заблокируют, вы сможете с помощью прокси обойти блокировку. Для включения работы через прокси запишите параметры прокси в формате login:password@ip:port в файл proxy.txt в папке программы. Запустите выгрузку, программа напишет в окне логов, что начала использовать прокси.

Вы можете выбрать любую область карты, которая вам нужна, и собрать данные с любого количества городов! Если заданная вами область будет слишком велика, программа автоматически разобьет её на несколько более мелких — настолько мелких, чтобы можно было собрать все организации.

Наш парсер выгружает все организации, которые фактически показывают Яндекс-карты. Количество выгружаемых организаций зависит от установленного значения «Интенсивность разбиения карт». Чем выше значение — тем меньше продолжительность выгрузки, и меньше число показанных Яндексом организаций. К примеру, на тестовой выгрузке, парсер с интенсивностью 30 сканирует 106 участков карты и находит 28 организаций, а с интенсивностью 500 – сканирует 7 участков карты и находит 25 организаций.

Парсер яндекс-карт умеет работать в режиме получения списка новых организаций в базе. При запуске сбора парсер ищет файл skip.txt в своей папке, и загружает оттуда список ID организаций, которые не нужно загружать. Если Вы собрали какую-то рубрику некоторое время назад, возьмите из старого файла результатов первую колонку с числовыми ID организаций, и поместите этот список в файл skip.txt в папке программы. Запустите сбор той же рубрики, парсер пропустит все старые организации, и на выходе вы получите список только новых организаций заданной рубрики.

Парсер может запускаться автоматически и получать настройки для выгрузки (ссылки на карты, ключевые слова, опции выгрузки, путь к файлу выгрузки) извне. Это позволяет интегрировать программу в существующую инфраструктуру — например, вы можете через системный планировщик автоматически запускать поиск новых компаний в заданный файл, забирать готовый файл выгрузки, и автоматически заливать его в CRM; или автоматически запускать поиск емейлов, и автоматически отправлять собранные емейлы в рассылку.

В папке с программой есть файл cmdlineoptions.ini, там пример задания настроек выгрузки. В параметрах запуска программы укажите путь к файлу с настройками, например: “ParserYandexMaps.exe C:\cmdlineoptions.ini”

Можно сделать разные файлы настроек на разные случаи, и менять имя файла в командной строке вызова парсера на нужный в данный момент.