Модуль Simple Pars 4.12 + Playwright (Beta)

  • Автор темы Автор темы dell2201
  • Дата начала Дата начала

dell2201

Разрушитель (V)
Сообщения
261
Реакции
181
Баллы
3 424
Opencart 3.7

Скрипт не обкатан, нужны тестеры с активностью на форуме, с Debian 12(Fastpanel) или Ubuntu 22(Hestia).
Халявы "для всех" не будет, только для активных участников этого форума, пишите в личку

Скрипт только для vps и dedic, не для хостингов
Проверен на сервере Debian 12(Fastpanel) или Ubuntu 22(Hestia)
Установочный скрипт написан для Debian 12 / Ubuntu 22.

Свободное место около 2Gb на диске, и свободное ОЗУ не менее 500 Mb.

Работает в один поток. Расход памяти 300-500 Mb

Всю ответственность за установку скрипта на сервере берете на себя. Рекомендую сделать полный бэкап сервера, перед установкой.

Данный скрипт добавляет поддержку в модуле Simple Pars - Playwright на Python. Selenium не понравился.
1.Playwright поддерживает в скрипте браузер: Chromium
2.Работает в режиме headless=true или false.
3.Поддержка прокси, заголовков и авторизации методом POST - синтаксис как в оригинальном модуле. Авторизация по htpasswd не поддерживается.
В проекте настраивается, что использовать - метод Curl multi или Playwright.
4.В модуль встроен vnc сервер и novnc клиент. При запуске vnc сервера в режиме Playwright, парсинг происходит как headlees=false, и при выключенном сервере vnc - headlees=true, встроен скрол по страницы и движение мышью.
5.Встроен в скрипт обход защиты от antibot.cloud.
6.Обход cloudflare не реализован,

ЧТО БУДЕТ УСТАНОВЛЕНО:

1.Playwright + Chromium браузер
2. X11 сервер + Fluxbox (графическая среда) + Xvfb (виртуальный X-сервер)
3. noVNC (доступ через браузер по порту 6080)
4. Виртуальное окружение Python

до установки, уже должен стоять активированный модуль Simple Pars 4.12.

Надо некоторое время, чтобы собрать модуль в установочный пакет, пока жду тестеров из участников сообщества, кто рискнет установить на сервер.

Не большое видео

 
Последнее редактирование:
Назад
Верх