Сбор данных без кода

Это стоит выяснить раньше, чем задумывать работу. Значение, прочитанное на сороковой странице, доступно сорок первому шагу, а после прогона от него остаётся строка в журнале, а не строка в файле.

Со снимками экрана иначе. Это настоящие файлы в папке, доступной только вашей учётной записи.

В сборщике шестнадцать видов шага, и четыре из них читают, а не действуют. Каждый идёт внутри браузера самого профиля, с его отпечатком, его печеньем и его прокси.

Пятый оставляет не текст, а свидетельство. Шаг снимка сохраняет страницу такой, какой она была.

• Извлечь текст

  Берёт первый подошедший селектору элемент и держит его текст, обрезанный по краям и до 4000 знаков.

• Для каждого элемента

  Прогоняет своё тело по каждому найденному элементу, по умолчанию десять раз и до тысячи.

• Свой JavaScript

  Выполняет ваш код в странице и держит то, что он вернул, с пределом в шестьдесят секунд.

• Ждать запроса

  Держит прогон, пока страница не попросит названный вами адрес, и опоздавший список читается после того, как он пришёл.

Сломанный селектор падает громко, и чинят его за минуту. Тихо работу заканчивает другое: один браузер, одна банка печенья и один адрес, читающие тысячу страниц в час.

Профиль на источник и прокси на профиль это то, ради чего продукт и существует, и ни один селектор этого не чинит.

Адреса вы приносите свои. ARMANOS не продаёт прокси и не держит своей сети выходов: магазин это перечень 8 поставщиков, а заказ там записанная заявка без оплаты.

Расписание принадлежит сценарию и называет профили, время и сколько идёт разом. Каждый день, по выбранным дням недели или раз в 1-24 часа, по вашему местному времени.

Срабатывает оно, только пока ARMANOS открыт. Слот, опоздавший больше чем на тридцать минут, переносится вперёд и считается пропущенным, а пропущенное не доигрывается.

Это сделано нарочно. Тридцать профилей, проснувшихся разом в час, когда они обычно не работают, это и есть всплеск, который сайт читает как робота.

Честный ответ про выгрузку такой: её делают расширения для сбора, а не мы. В каталоге внутри программы их два, оба работают мышью и оба сами пишут CSV.

Ставятся они в выбранный вами профиль, поэтому сбор идёт за отпечатком и адресом этого профиля.

Это чужая работа. Мы сохраняем их магазинный номер, чтобы страница видела то расширение, которое ожидает.

Правила идут раньше техники. Условия пользования, права на базу данных и закон о личных данных решают вопрос раньше, чем до него доберётся любой вид шага.

Одна площадка называет это прямо. LinkedIn просит один аккаунт на человека под настоящим именем и отдельно наказывает за автоматический сбор данных оттуда, поэтому мы говорим об этом вслух и не продаём ничего, что запрет обходит.

Там, где такого правила у сайта нет, задача снова становится инженерной.

Ничто в продукте не отвечает на проверку и ни к какой решающей службе не подключается. Отвечать на неё вам, в своём окне.

Прогон на ней тоже не останавливается. Шаг, ничего не нашедший, записывается как провалившийся, а следующие идут дальше по странице, которая всё ещё спрашивает.

Профилю, запущенному без окна, вопрос показать негде вовсе, поэтому работу, способную его поднять, запускают так, чтобы её было видно.