Парсинг сайтов (магазины / справочники / каталоги)

[derealty]

Соберу информацию с необходимых вам сайтов В РАЗУМНЫХ ПРЕДЕЛАХ* и отдам за баллы.

• вы показываете мне сайт, который надо парсить
• мы обговариваем объемы, и формат в котором я отдаю результат
• я назначаю цену (в баллах форума) и срок исполнения заказа
• отдаю результат

возможно постоянное (регулярное) сотрудничество

*Не надо питать напрасных иллюзий, я не смогу написать парсер, арендовать мощный сервер и накупить проксей, что бы собрать весь 2Гис или Яндекс Маркет, за 5 балов. Для этого есть специализированные компании, которые предоставляют такие услуги, за деньги. Это предложение для заказчиков, кому необходимо собрать до 1 000 000 страниц, с условием, что система защиты на сайте доноре устойчива к парсингу на ограниченном количестве ip.

 

[serGUCCI]

вы показываете мне сайт, который надо парсить

Другими словами вы можете сделать копию шаблона/стиля сайта или просто собрать некую информацию с сайта?

 

[derealty]

Другими словами вы можете сделать копию шаблона/стиля сайта или просто собрать некую информацию с сайта?

немного не то, я могу сохранить данные сайта в структурированном формате

Например есть сайт (сайт пример - из крайних заказов)

bristol.ru

это магазин алкоголя, клиент заказал собрать все товары, не знаю для каких целей, может сделать какой то каталог с отзывами или что то еще.

На выходе он получил файл с товарами и папку с изображениями (к сообщению прикрепляю семпл с 100 позициями) https://disk.yandex.ru/d/SsjhRuWlij9KXw

Примерно тоже самое могу предложить форумчанам, только вместо Бристоля сайты с необходимой им информацией (магазины / каталоги / справочники итд)

 

[Sergiy]

Скрытое содержимое. Вам нужно войти или зарегистрироваться.

 

[derealty]

***Скрытое содержимое***

написал в личку

 

[name]

Скрытое содержимое. Вам нужно войти или зарегистрироваться.

Парсил данный сайт (использовал xpath в основном), но на парсинге характеристик застрял.

 

[derealty]

***Скрытое содержимое***

Парсил данный сайт (использовал xpath в основном), но на парсинге характеристик застрял.

А какая в итоге нужна табличка на выходе?

1

+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| название |   описание    |   цена   |     характеристика 1     |  характеристика 2  |        характеристика 2         |            характеристика 3            |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя - Щеточный | Напряжение, В - 20 | Напряжение аккумулятора, В - 20 | Нужно аккумуляторов 20V для работы - 1 |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+

2

+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| название |   описание    |   цена   | Тип двигателя  | Напряжение, В | Напряжение аккумулятора, В | Нужно аккумуляторов 20V для работы |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| пила     | описание пилы | 1000 руб |  Щеточный      |            20 |                         20 |                                  1 |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+

3

+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| название |   описание    |   цена   |                                                                ХАРАКТЕРИСТИКИ                                                                |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя / Щеточный Напряжение, В / 20 Напряжение аккумулятора, В / 20 Нужно аккумуляторов 20V для работы / 1 Тип аккумулятора / Li-Ion |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+

 

[name]

А какая в итоге нужна табличка на выходе?

1

+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| название |   описание    |   цена   |     характеристика 1     |  характеристика 2  |        характеристика 2         |            характеристика 3            |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя - Щеточный | Напряжение, В - 20 | Напряжение аккумулятора, В - 20 | Нужно аккумуляторов 20V для работы - 1 |
+----------+---------------+----------+--------------------------+--------------------+---------------------------------+----------------------------------------+

2

+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| название |   описание    |   цена   | Тип двигателя  | Напряжение, В | Напряжение аккумулятора, В | Нужно аккумуляторов 20V для работы |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+
| пила     | описание пилы | 1000 руб |  Щеточный      |            20 |                         20 |                                  1 |
+----------+---------------+----------+----------------+---------------+----------------------------+------------------------------------+

3

+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| название |   описание    |   цена   |                                                                ХАРАКТЕРИСТИКИ                                                                |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+
| пила     | описание пилы | 1000 руб | Тип двигателя / Щеточный Напряжение, В / 20 Напряжение аккумулятора, В / 20 Нужно аккумуляторов 20V для работы / 1 Тип аккумулятора / Li-Ion |
+----------+---------------+----------+----------------------------------------------------------------------------------------------------------------------------------------------+

Извиняюсь не уточнил ранее, 2 версия таблицы

 

[derealty]

Извиняюсь не уточнил ранее, 2 версия таблицы

Тогда бы я начал со сбора всех названий атрибутов, что бы потом собрать их значения:

Прошелся по всем страницам сайта и собрал бы так:

//td[@class='name']

у меня получилось 339 разных атрибутов https://pastebin.com/J1PRKjbb


то есть табличка будет содержать 339 колонок атрибутов (+ колонки название, описание, цена и те, которые вы посчитаете нужными).

Далее каждый атрибут мы собираем вот так:

//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]

те тут мы находим для колонки таблички "Максимальный крутящий момент, Нм" - значение с сайта.

для примера на этой странице

Скрытое содержимое. Вам нужно войти или зарегистрироваться.

xpath

//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]

даст значение "60"

 

[name]

Тогда бы я начал со сбора всех названий атрибутов, что бы потом собрать их значения:

Прошелся по всем страницам сайта и собрал бы так:

//td[@class='name']

у меня получилось 339 разных атрибутов https://pastebin.com/J1PRKjbb
-=Ограниченное содержимое=-

то есть табличка будет содержать 339 колонок атрибутов (+ колонки название, описание, цена и те, которые вы посчитаете нужными).

Далее каждый атрибут мы собираем вот так:

//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]

те тут мы находим для колонки таблички "Максимальный крутящий момент, Нм" - значение с сайта.

для примера на этой странице ***Скрытое содержимое*** xpath

//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]

даст значение "60"

Я почему-то начинаю получать значения из товаров с быстрого просмотра.
Код:

//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]

Выдает мне не 60, а 0 / 2.5

Обратился к таблице:

//*[@id="elementProperties"]//div//table//tbody//tr[td[1]//span[1]='Диаметр патрона, мм']//td[2]

Но, не могу получить значение.

 

[derealty]

Я почему-то начинаю получать значения из товаров с быстрого просмотра.
Код:

//tr[td[1]/span[1]='Максимальный крутящий момент, Нм']//td[2]

Выдает мне не 60, а 0 / 2.5

Обратился к таблице:

//*[@id="elementProperties"]//div//table//tbody//tr[td[1]//span[1]='Диаметр патрона, мм']//td[2]

Но, не могу получить значение.

Резюмируя вашу проблему, у меня получилось собрать товар с атрибутами, но без вариаций, нет времени разбираться как в коде вариации меняют цены.

Могу посоветовать использовать какой-то десктопный софт (datacol / zennoposter / content downloader), я попробовать на datacol у меня тоже работает парсинг.

 

[dima911]

Нужно обойти 7 тыс страниц с урлами "https://pokupki.market.yandex.ru/product/12141960/spec?cpa=1&" с маркета и собрать урлы с чпу на которые редиректит эта ссылка, возьметесь?

 

[derealty]

Нужно обойти 7 тыс страниц с урлами "https://pokupki.market.yandex.ru/product/12141960/spec?cpa=1&" с маркета и собрать урлы с чпу на которые редиректит эта ссылка, возьметесь?

Добрый день!

"собрать урлы с чпу на которые редиректит эта ссылка"

входной урл
https://pokupki.market.yandex.ru/product/12141960/spec?cpa=1&

редирект
https://market.yandex.ru/product--u.../12141960/spec?cpa=1&=&pokupki=1&sku=12141960

список входных урлов даете вы?

 

[Amaini]

Ух товарищ устал читать онлайн, а тут наткнулся на данную тему
Необходимо спарсить сайт ( онлайн книга )
Выходной фаил, один текстовый документ ( Даже TXT подойдет ), главное последовательность и разбиение по главам

«Китайская власть» - книга Николая Вавилова

«Китайская власть» - книга Николая Вавилова о политическом устройстве Китая

wikichina.ru

Доступы

Скрытое содержимое. Вам нужно войти или зарегистрироваться.

Саму книжку выложу как релиз гденибудь

Оплата по баллам любая =)

 

[byura]

можете выложить копию кода одной страницы в авторизованном виде
view-source:https://wikichina.ru/book/china-pow...onstitucii-bessrochnoe-pravlenie-si-czinpina/

 

[Amaini]

можете выложить копию кода одной страницы в авторизованном виде
view-source:https://wikichina.ru/book/china-pow...onstitucii-bessrochnoe-pravlenie-si-czinpina/

Скрытое содержимое. Вам нужно войти или зарегистрироваться.

 

[byura]

***Скрытое содержимое***

UPLOAD.EE - _____.zip - Download

_____.zip - Download. Upload.ee

www.upload.ee

Скрытое содержимое. Вам нужно войти или зарегистрироваться.

ловите
pdf
fb2
htm

 

[Amaini]

UPLOAD.EE - _____.zip - Download

_____.zip - Download. Upload.ee

www.upload.ee

***Скрытое содержимое***
ловите
pdf
fb2
htm

Большое спасибо, чуть подкоректирую и выложу в публичный доступ

 

[Amaini]

UPLOAD.EE - _____.zip - Download

_____.zip - Download. Upload.ee

www.upload.ee

***Скрытое содержимое***
ловите
pdf
fb2
htm

Коллега выложил
Рутрекер