Автоматизация веб-поиска и исследований

Представим компанию, которой необходимо найти новых поставщиков определённого оборудования.

Сотрудник получает критерии: страна, тип продукции, технические характеристики, диапазон цен, условия поставки, наличие сертификатов и минимальный объём заказа. После этого начинается обычный интернет-поиск.

Он формулирует несколько запросов в поисковых системах, просматривает каталоги, сайты производителей, маркетплейсы, отраслевые площадки и публикации. На каждом сайте приходится искать нужный раздел, открывать карточки товаров, читать описание компании, изучать PDF-каталоги и выписывать сведения вручную.

Часть информации находится на главной странице, часть — в технической документации, часть — в PDF или таблицах. Цены могут отсутствовать или быть представлены в разных валютах. Одинаковая компания может встречаться сразу в нескольких источниках.

Найденные сведения сотрудник переносит в Excel: название компании, сайт, страна, продукция, цена, контакты и комментарии. Затем проверяет записи, удаляет дубли, уточняет спорные данные и сравнивает варианты.

После нескольких часов или дней работы появляется таблица или аналитическая записка. Но через месяц цены, ассортимент и условия могут измениться — и значительную часть исследования приходится повторять заново.

Типовой процесс выглядит так:

Пользователь задаёт системе не отдельный поисковый запрос, а бизнес-задачу. Например:

Найти производителей промышленного оборудования в странах ЕС.

Критерии:

• нужная категория оборудования
• определённые технические параметры
• наличие доставки
• цена или возможность запроса цены
• официальный сайт
• контактные данные

text-LLM-model может использовать эти требования для формирования поисковой стратегии: какие запросы выполнять, какие типы источников искать и какие данные необходимо извлекать.

Далее система автоматически выполняет веб-поиск и получает набор потенциально релевантных страниц. browser или python-script открывает сайты и извлекает их содержимое. Если необходимая информация находится в PDF, Word или другом документе, файл также включается в обработку.

text-LLM-model анализирует найденный контент и переводит неструктурированную информацию в заданную структуру. Например:

• Компания
• Страна
• Сайт
• Тип продукции
• Модель
• Характеристики
• Цена
• Валюта
• Минимальный заказ
• Условия поставки
• Контакты
• Источник

После этого python-script выполняет нормализацию: приводит валюты, названия стран, единицы измерения и другие значения к единому формату.

Результаты сохраняются в PostgreSQL вместе со ссылками на источники. Это важно: система должна хранить не только вывод, но и понимать, откуда был получен каждый факт.

Следующий этап — сопоставление результатов. Дубли удаляются, одинаковые компании объединяются, а найденные варианты проверяются по заданным критериям.

text-LLM-model может затем подготовить сравнительный анализ: какие варианты соответствуют требованиям, чем они отличаются и какие данные требуют дополнительной проверки.

Итог автоматически формируется в Excel, Word, PDF или другой удобный формат.

Человеку остаётся не выполнять десятки поисковых запросов и копировать информацию, а проверить уже собранный и структурированный результат.

Компания ищет поставщиков определённого оборудования.

Вместо нескольких дней ручного поиска pipeline может сформировать единую таблицу за несколько минут:

• Найдено: 47 компаний
• После дедупликации: 31
• Соответствуют всем критериям: 8
• Частично соответствуют: 12
• Требуют дополнительной проверки: 11

Для каждого результата сохраняются ссылки на исходные страницы и документы.

• поиск поставщиков и производителей;
• анализ конкурентов;
• мониторинг цен;
• поиск объектов недвижимости;
• подбор тендеров и закупок;
• поиск вакансий или специалистов;
• анализ рынка;
• сбор характеристик товаров;
• поиск контактных данных компаний;
• мониторинг отраслевых новостей;
• поиск нормативной и технической документации;
• сбор информации из каталогов;
• анализ научных и профессиональных публикаций;
• подготовка обзоров;
• регулярный мониторинг изменений на сайтах.

Особенно полезна автоматизация там, где исследование приходится выполнять постоянно.

Например:

Или:

В таком случае web research становится уже не разовым исследованием, а постоянно работающим информационным pipeline.

Для автоматического исследования важно не только найти информацию, но и сохранить возможность её проверить.

Pipeline может хранить:

• URL источника
• дату получения
• название страницы
• извлечённый фрагмент
• найденное значение
• уровень уверенности

Если один и тот же факт встречается в нескольких независимых источниках, система может учитывать это при проверке.

Если данные противоречат друг другу, вместо автоматического выбора одного значения pipeline может отметить запись: "требуется проверка".

То есть автоматизация не должна маскировать неопределённость. Она должна находить её и передавать человеку только те случаи, где действительно требуется решение.