1. Мы открыли доступ к ранее скрытому контенту.

    Вам доступно более 44 000 видео уроков, книг и программ без VIP статуса. Более подробно ЗДЕСЬ.
    Скрыть объявление

Архив [I-Soft Bizness]2gis-парсер

Тема в разделе "Неактивные складчины (архив)", создана пользователем BlackMan, 16 авг 2015.

0/5, Голосов: 0

  1. BlackMan

    BlackMan Модератор

    Сообщения:
    18.737
    Симпатии:
    26.302
    Модуль для сбора фирм с крупнейшего портала организаций 2gis.ru. 2гис – это огромный справочник предприятий содержащий более 2 миллионов фирм в 100 крупнейших городах России, Украины и Казахстана.
    Для сбора фирм осуществлен удобный функционал из админки каталога.


    Сбор осуществляется тремя возможными способами:
    - через API c с помощью ключа
    - напрямую с помощью клиентской библиотеки php Curl

    - напрямую с помощью клиентской библиотеки php Curl, через прокси-сервер

    При сборе последовательно указывается город, рубрика и подрубрика в каталоге 2gis.ru, после чего можно указать страну/город, область, категории собственного каталога организаций. Затем запустить процесс на стадии тестирования или импорта. Процесс отключается во время сбора, если сбор не обнаружит необходимого ответа при получении ссылок на профиле фирмы и количество фирм. Причиной откючения процесса может служить сбой в работе прокси-сервера, сбой на сайте 2гис, либо блокировка по ip. Режим блокировки можно обойти используя прокси.
    В настройках прокси указывается ip и порт, а также логин и пароль при использовании элитных прокси. Не рекомендуется использовать прокси, если у Вас есть все возможности собирать данные без него, так как это существенно нагрузит сервер, а сбои в работе прокси могут привести к неожиданным результатам: некоторые организации могут быть не собраны, либо собраны повторно. Вследствие этого если уж Вы используете прокси, то используйте элитные и проверенные прокси-сервера.


    Использование API более рационально. API предоставляют данные в значительно более легкой форме, что значительно меньше грузит систему. Тем не менее, ключ может часто блокироваться, что способно создать определенные неудобства, в тоже и Ваш IP также может попасть в черный список 2gis.ru и быть заблокирован.

    Движок:
    I-Soft Bizness
    Продажник:

     
Сохранить в соц. сетях:
Оценить эту тему:
/5,
Похожие темы
  1. BlackMan
    Ответов:
    1
    Просмотров:
    287
  2. InfoNews
    Ответов:
    3
    Просмотров:
    402
  3. BlackMan

    Завершено Парсер 2gis

    Ответов:
    0
    Просмотров:
    133
  4. Солнышко
    Ответов:
    0
    Просмотров:
    40
  5. Солнышко
    Ответов:
    0
    Просмотров:
    38
Загрузка...