Данные из сайтов и PDF.С источником и историей.

Карта сайта сообщает адреса страниц. PDF хранит строки прайс-листа на разных страницах. Сервис вакансий возвращает свои названия полей. Если передать все это в автоматизацию как есть, следующий шаг придется писать заново под каждый источник.

Мы сделали отдельные инструменты под конкретные задачи. На выходе у них понятные поля, статус чтения и данные для продолжения работы. Инструменты мониторинга принимают сохраненный снимок при следующем запуске и возвращают изменения относительно него.

Представим, что сайт работодателя не ответил. Наивный монитор видит пустой список и объявляет все вакансии закрытыми. После восстановления сайта он создаст столько же «новых» вакансий. Получатель увидит шум вместо событий.

При ошибке чтения наш инструмент сохраняет прежнее состояние доски. Первое успешное чтение без вакансии только отмечает ее отсутствие. Событие о закрытии появляется после второго успешного наблюдения. Даже оно означает лишь отсутствие в источнике: система не утверждает, что сотрудника уже наняли.

Если из достаточно большой доски внезапно исчезает основная часть вакансий, отдельная защита останавливает массовое удаление. Такой результат требует проверки источника.

Та же проблема возникает с картой сайта. Вложенная карта может временно не открыться, а лимит обхода — закончиться раньше последнего файла. Это не доказательство удаления страниц.

Sitemap Diff разрешает события об удалении, только когда оба снимка полные и относятся к одному набору исходных карт и фильтров. Ошибки, конфликтующие дубли и ограничения обхода отражаются в сводке. Следующий процесс видит, насколько полны данные, прежде чем менять свой каталог.

Когда таблица попадает в учет или каталог, нужно понимать, откуда взялось значение. В записи сохраняются документ, страница, таблица и положение строки. Документ получает идентификатор по своему содержимому: у одинаковых файлов получается одинаковый идентификатор.

Числоподобные значения остаются строками. Так артикул с нулем в начале не превращается в другое число, а локальный разделитель не меняет сумму. При экспорте в CSV значения, похожие на формулы, экранируются для таблиц.

Для интеграции недостаточно удачного ответа. Сценарий должен различать недоступный источник, неподдерживаемый документ и достигнутый лимит. Инструменты возвращают эти состояния отдельно, чтобы вызывающий процесс мог остановиться или повторить нужный шаг.

У сетевого доступа есть границы: публичные адреса, ограниченные ответы и время ожидания. Снимки остаются у вызывающего сценария. Он сам определяет, когда запускать следующую проверку и какую версию считать исходной.