1. Веб-сайт
9голосов

Отменить ограничение парсинга в 100 страниц, или научить парсинг парсить последовательно, с указанной страницы каталога.

Мы используем парсинг постоянно, раз в неделю выгружаем, в формате csv, одни и те же сайты, для обновления и дополнения товаров на нашем сайте. Ранее мы парсили товары из общей категории каталога где присутствуют все товары сайта, а раздел делился на 300 стр. Но потом вы поставили ограничение в 100 страниц, и наша работа превратилась в АД.
Для корректного обновления наших товаров нам нужны все позиции выгружаемого сайта, но выгрузить их не так просто из-за ограничения в 100 страниц. На данный момент существует один вариант выгрузки всех товаров - это спарсить все категории по отдельности, а потом совместить все csv документы в один и удалить дубликаты, что не есть простым и быстрым способом.

Предлагаю 3 варианта решения:
1. убрать ограничение и облегчить страдание контент редакторам.
2. сделать платное расширение на выгрузку более 100 страниц за раз.
3. научить парсинг учитывать последовательность страниц, чтоб можно было запускать его, например, со 101 страницы.

Это будет полезно не только для нас, а и для новых пользователей, которым нужна выгрузка в полном объеме. Спасибо.

Алена Бруева
Алена Бруева, официальный ответ
Здравствуйте! Спасибо за ваше пожелание, мы обязательно примем его к рассмотрению и постараемся облегчить работу нашим клиентам.
нет комментариев