Парсинг сайтов (магазины / справочники / каталоги)

  • Автор темы Автор темы derealty
  • Дата начала Дата начала
derealty

derealty

Разрушитель (V)
Сообщения
52
Реакции
36
Баллы
494
Соберу информацию с необходимых вам сайтов В РАЗУМНЫХ ПРЕДЕЛАХ* и отдам за баллы.
  • вы показываете мне сайт, который надо парсить
  • мы обговариваем объемы, и формат в котором я отдаю результат
  • я назначаю цену (в баллах форума) и срок исполнения заказа
  • отдаю результат
возможно постоянное (регулярное) сотрудничество

*Не надо питать напрасных иллюзий, я не смогу написать парсер, арендовать мощный сервер и накупить проксей, что бы собрать весь 2Гис или Яндекс Маркет, за 5 балов. Для этого есть специализированные компании, которые предоставляют такие услуги, за деньги. Это предложение для заказчиков, кому необходимо собрать до 1 000 000 страниц, с условием, что система защиты на сайте доноре устойчива к парсингу на ограниченном количестве ip.
 
Последнее редактирование:
За 0 Против
serGUCCI сказал(а):
Другими словами вы можете сделать копию шаблона/стиля сайта или просто собрать некую информацию с сайта?
Нажмите, чтобы раскрыть...

немного не то, я могу сохранить данные сайта в структурированном формате

Например есть сайт (сайт пример - из крайних заказов)
Код: 
bristol.ru
это магазин алкоголя, клиент заказал собрать все товары, не знаю для каких целей, может сделать какой то каталог с отзывами или что то еще.

На выходе он получил файл с товарами и папку с изображениями (к сообщению прикрепляю семпл с 100 позициями) https://disk.yandex.ru/d/SsjhRuWlij9KXw

Примерно тоже самое могу предложить форумчанам, только вместо Бристоля сайты с необходимой им информацией (магазины / каталоги / справочники итд)
 
Скрытое содержимое. Вам нужно войти или зарегистрироваться.

Парсил данный сайт (использовал xpath в основном), но на парсинге характеристик застрял.
 
name сказал(а):
***Скрытое содержимое***

Парсил данный сайт (использовал xpath в основном), но на парсинге характеристик застрял.
Нажмите, чтобы раскрыть...
А какая в итоге нужна табличка на выходе?

1
Код: 
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| название |   описание    |   цена   |     характеристика 1     |  характеристика 2  |        характеристика 2         |            характеристика 3            |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя - Щеточный | Напряжение, В - 20 | Напряжение аккумулятора, В - 20 | Нужно аккумуляторов 20V для работы - 1 |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+

2
Код: 
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| название |   описание    |   цена   | Тип двигателя  | Напряжение, В | Напряжение аккумулятора, В | Нужно аккумуляторов 20V для работы |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| пила     | описание пилы | 1000 руб |  Щеточный      |            20 |                         20 |                                  1 |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+

3
Код: 
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| название |   описание    |   цена   |                                                                ХАРАКТЕРИСТИКИ                                                                |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя / Щеточный Напряжение, В / 20 Напряжение аккумулятора, В / 20 Нужно аккумуляторов 20V для работы / 1 Тип аккумулятора / Li-Ion |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
 
derealty сказал(а):
А какая в итоге нужна табличка на выходе?

1
Код: 
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| название |   описание    |   цена   |     характеристика 1     |  характеристика 2  |        характеристика 2         |            характеристика 3            |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя - Щеточный | Напряжение, В - 20 | Напряжение аккумулятора, В - 20 | Нужно аккумуляторов 20V для работы - 1 |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+

2
Код: 
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| название |   описание    |   цена   | Тип двигателя  | Напряжение, В | Напряжение аккумулятора, В | Нужно аккумуляторов 20V для работы |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| пила     | описание пилы | 1000 руб |  Щеточный      |            20 |                         20 |                                  1 |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+

3
Код: 
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| название |   описание    |   цена   |                                                                ХАРАКТЕРИСТИКИ                                                                |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя / Щеточный Напряжение, В / 20 Напряжение аккумулятора, В / 20 Нужно аккумуляторов 20V для работы / 1 Тип аккумулятора / Li-Ion |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
Нажмите, чтобы раскрыть...
Извиняюсь не уточнил ранее, 2 версия таблицы
 
name сказал(а):
Извиняюсь не уточнил ранее, 2 версия таблицы
Нажмите, чтобы раскрыть...
Тогда бы я начал со сбора всех названий атрибутов, что бы потом собрать их значения:

Прошелся по всем страницам сайта и собрал бы так:
Код: 
//td[@class='name']

у меня получилось 339 разных атрибутов https://pastebin.com/J1PRKjbb


то есть табличка будет содержать 339 колонок атрибутов (+ колонки название, описание, цена и те, которые вы посчитаете нужными).

Далее каждый атрибут мы собираем вот так:
Код: 
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
те тут мы находим для колонки таблички "Максимальный крутящий момент, Нм" - значение с сайта.

для примера на этой странице
Скрытое содержимое. Вам нужно войти или зарегистрироваться.
xpath
Код: 
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
даст значение "60"
 
Последнее редактирование:
derealty сказал(а):
Тогда бы я начал со сбора всех названий атрибутов, что бы потом собрать их значения:

Прошелся по всем страницам сайта и собрал бы так:
Код: 
//td[@class='name']

у меня получилось 339 разных атрибутов https://pastebin.com/J1PRKjbb
-=Ограниченное содержимое=-

то есть табличка будет содержать 339 колонок атрибутов (+ колонки название, описание, цена и те, которые вы посчитаете нужными).

Далее каждый атрибут мы собираем вот так:
Код: 
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
те тут мы находим для колонки таблички "Максимальный крутящий момент, Нм" - значение с сайта.

для примера на этой странице ***Скрытое содержимое*** xpath
Код: 
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
даст значение "60"
Нажмите, чтобы раскрыть...
Я почему-то начинаю получать значения из товаров с быстрого просмотра.
Код:
Код: 
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
Выдает мне не 60, а 0 / 2.5

Обратился к таблице:
Код: 
//*[@id="elementProperties"]//div//table//tbody//tr[td[1]//span[1]='Диаметр патрона, мм']//td[2]
Но, не могу получить значение.
 
name сказал(а):
Я почему-то начинаю получать значения из товаров с быстрого просмотра.
Код:
Код: 
//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]
Выдает мне не 60, а 0 / 2.5

Обратился к таблице:
Код: 
//*[@id="elementProperties"]//div//table//tbody//tr[td[1]//span[1]='Диаметр патрона, мм']//td[2]
Но, не могу получить значение.
Нажмите, чтобы раскрыть...
Резюмируя вашу проблему, у меня получилось собрать товар с атрибутами, но без вариаций, нет времени разбираться как в коде вариации меняют цены.

Могу посоветовать использовать какой-то десктопный софт (datacol / zennoposter / content downloader), я попробовать на datacol у меня тоже работает парсинг.
 
dima911 сказал(а):
Нужно обойти 7 тыс страниц с урлами "https://pokupki.market.yandex.ru/product/12141960/spec?cpa=1&" с маркета и собрать урлы с чпу на которые редиректит эта ссылка, возьметесь?
Нажмите, чтобы раскрыть...

Добрый день!

"собрать урлы с чпу на которые редиректит эта ссылка"

входной урл
https://pokupki.market.yandex.ru/product/12141960/spec?cpa=1&

редирект
https://market.yandex.ru/product--u.../12141960/spec?cpa=1&=&pokupki=1&sku=12141960

список входных урлов даете вы?
 
Ух товарищ устал читать онлайн, а тут наткнулся на данную тему
Необходимо спарсить сайт ( онлайн книга )
Выходной фаил, один текстовый документ ( Даже TXT подойдет ), главное последовательность и разбиение по главам
wikichina.ru

«Китайская власть» - книга Николая Вавилова

«Китайская власть» - книга Николая Вавилова о политическом устройстве Китая
wikichina.ru wikichina.ru

Доступы
Скрытое содержимое. Вам нужно войти или зарегистрироваться.


Саму книжку выложу как релиз гденибудь

Оплата по баллам любая =)
 
Для ответа нужно войти/зарегистрироваться
Назад
Верх