Парсинг сайтов (магазины / справочники / каталоги)

derealty

Разрушитель (V)
Сообщения
22
Симпатии
24
Баллы
167
Соберу информацию с необходимых вам сайтов В РАЗУМНЫХ ПРЕДЕЛАХ* и отдам за баллы.
  • вы показываете мне сайт, который надо парсить
  • мы обговариваем объемы, и формат в котором я отдаю результат
  • я назначаю цену (в баллах форума) и срок исполнения заказа
  • отдаю результат
возможно постоянное (регулярное) сотрудничество

*Не надо питать напрасных иллюзий, я не смогу написать парсер, арендовать мощный сервер и накупить проксей, что бы собрать весь 2Гис или Яндекс Маркет, за 5 балов. Для этого есть специализированные компании, которые предоставляют такие услуги, за деньги. Это предложение для заказчиков, кому необходимо собрать до 1 000 000 страниц, с условием, что система защиты на сайте доноре устойчива к парсингу на ограниченном количестве ip.
 
Последнее редактирование:

derealty

Разрушитель (V)
Сообщения
22
Симпатии
24
Баллы
167
Другими словами вы можете сделать копию шаблона/стиля сайта или просто собрать некую информацию с сайта?

немного не то, я могу сохранить данные сайта в структурированном формате

Например есть сайт (сайт пример - из крайних заказов)
Код:
bristol.ru
это магазин алкоголя, клиент заказал собрать все товары, не знаю для каких целей, может сделать какой то каталог с отзывами или что то еще.

На выходе он получил файл с товарами и папку с изображениями (к сообщению прикрепляю семпл с 100 позициями) https://disk.yandex.ru/d/SsjhRuWlij9KXw

Примерно тоже самое могу предложить форумчанам, только вместо Бристоля сайты с необходимой им информацией (магазины / каталоги / справочники итд)
 

name

Продвинутый (IV)
Сообщения
27
Симпатии
18
Баллы
149
Скрытое содержимое. Вам нужно войти или зарегистрироваться.

Парсил данный сайт (использовал xpath в основном), но на парсинге характеристик застрял.
 

derealty

Разрушитель (V)
Сообщения
22
Симпатии
24
Баллы
167
***Скрытое содержимое***

Парсил данный сайт (использовал xpath в основном), но на парсинге характеристик застрял.
А какая в итоге нужна табличка на выходе?

1
Код:
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| название |   описание    |   цена   |     характеристика 1     |  характеристика 2  |        характеристика 2         |            характеристика 3            |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя - Щеточный | Напряжение, В - 20 | Напряжение аккумулятора, В - 20 | Нужно аккумуляторов 20V для работы - 1 |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+

2
Код:
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| название |   описание    |   цена   | Тип двигателя  | Напряжение, В | Напряжение аккумулятора, В | Нужно аккумуляторов 20V для работы |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| пила     | описание пилы | 1000 руб |  Щеточный      |            20 |                         20 |                                  1 |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+

3
Код:
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| название |   описание    |   цена   |                                                                ХАРАКТЕРИСТИКИ                                                                |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя / Щеточный Напряжение, В / 20 Напряжение аккумулятора, В / 20 Нужно аккумуляторов 20V для работы / 1 Тип аккумулятора / Li-Ion |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
 

name

Продвинутый (IV)
Сообщения
27
Симпатии
18
Баллы
149
А какая в итоге нужна табличка на выходе?

1
Код:
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| название |   описание    |   цена   |     характеристика 1     |  характеристика 2  |        характеристика 2         |            характеристика 3            |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя - Щеточный | Напряжение, В - 20 | Напряжение аккумулятора, В - 20 | Нужно аккумуляторов 20V для работы - 1 |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+

2
Код:
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| название |   описание    |   цена   | Тип двигателя  | Напряжение, В | Напряжение аккумулятора, В | Нужно аккумуляторов 20V для работы |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| пила     | описание пилы | 1000 руб |  Щеточный      |            20 |                         20 |                                  1 |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+

3
Код:
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| название |   описание    |   цена   |                                                                ХАРАКТЕРИСТИКИ                                                                |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя / Щеточный Напряжение, В / 20 Напряжение аккумулятора, В / 20 Нужно аккумуляторов 20V для работы / 1 Тип аккумулятора / Li-Ion |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
Извиняюсь не уточнил ранее, 2 версия таблицы
 

derealty

Разрушитель (V)
Сообщения
22
Симпатии
24
Баллы
167
Извиняюсь не уточнил ранее, 2 версия таблицы
Тогда бы я начал со сбора всех названий атрибутов, что бы потом собрать их значения:

Прошелся по всем страницам сайта и собрал бы так:
Код:
//td[@class='name']

у меня получилось 339 разных атрибутов https://pastebin.com/J1PRKjbb


то есть табличка будет содержать 339 колонок атрибутов (+ колонки название, описание, цена и те, которые вы посчитаете нужными).

Далее каждый атрибут мы собираем вот так:
Код:
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
те тут мы находим для колонки таблички "Максимальный крутящий момент, Нм" - значение с сайта.

для примера на этой странице
Скрытое содержимое. Вам нужно войти или зарегистрироваться.
xpath
Код:
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
даст значение "60"
 
Последнее редактирование:

name

Продвинутый (IV)
Сообщения
27
Симпатии
18
Баллы
149
Тогда бы я начал со сбора всех названий атрибутов, что бы потом собрать их значения:

Прошелся по всем страницам сайта и собрал бы так:
Код:
//td[@class='name']

у меня получилось 339 разных атрибутов https://pastebin.com/J1PRKjbb
-=Ограниченное содержимое=-

то есть табличка будет содержать 339 колонок атрибутов (+ колонки название, описание, цена и те, которые вы посчитаете нужными).

Далее каждый атрибут мы собираем вот так:
Код:
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
те тут мы находим для колонки таблички "Максимальный крутящий момент, Нм" - значение с сайта.

для примера на этой странице ***Скрытое содержимое*** xpath
Код:
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
даст значение "60"
Я почему-то начинаю получать значения из товаров с быстрого просмотра.
Код:
Код:
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
Выдает мне не 60, а 0 / 2.5

Обратился к таблице:
Код:
//*[@id="elementProperties"]//div//table//tbody//tr[td[1]//span[1]='Диаметр патрона, мм']//td[2]
Но, не могу получить значение.
 

derealty

Разрушитель (V)
Сообщения
22
Симпатии
24
Баллы
167
Я почему-то начинаю получать значения из товаров с быстрого просмотра.
Код:
Код:
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
Выдает мне не 60, а 0 / 2.5

Обратился к таблице:
Код:
//*[@id="elementProperties"]//div//table//tbody//tr[td[1]//span[1]='Диаметр патрона, мм']//td[2]
Но, не могу получить значение.
Резюмируя вашу проблему, у меня получилось собрать товар с атрибутами, но без вариаций, нет времени разбираться как в коде вариации меняют цены.

Могу посоветовать использовать какой-то десктопный софт (datacol / zennoposter / content downloader), я попробовать на datacol у меня тоже работает парсинг.
 

derealty

Разрушитель (V)
Сообщения
22
Симпатии
24
Баллы
167
Нужно обойти 7 тыс страниц с урлами "https://pokupki.market.yandex.ru/product/12141960/spec?cpa=1&" с маркета и собрать урлы с чпу на которые редиректит эта ссылка, возьметесь?

Добрый день!

"собрать урлы с чпу на которые редиректит эта ссылка"

входной урл
https://pokupki.market.yandex.ru/product/12141960/spec?cpa=1&

редирект
https://market.yandex.ru/product--u.../12141960/spec?cpa=1&=&pokupki=1&sku=12141960

список входных урлов даете вы?
 
Верх