SPAWN - система для сбора информации в сети Интернет Тип системы: серверное Windows-приложение. Подробности о системе доступны на сайте www.noolab.ru.
Краткое описание: Система для массированного сбора информации в сети Интернет (Интернет-паук). Предназначена для поисковых серверов, составителей каталогов и баз данных, проведения исследований. Выполняемые системой действия: программа-сборщик скачивает HTML (ASP, PHP и нек.др.) страницы с указанного списка сайтов, после чего из закачанных страниц выбирает ссылки на другие сайты, проверяет их соответствие установленным критериям (настройкам) и следует далее. Система гибко настраивается для оптимизации работы и минимизации объема закачиваемой информации. Собранная информация складируется в указанное место на диске, выбранная из страниц информация (в основном адреса) - записывается в базу данных. Поддерживается расписание работы, ограничение по пиковому трафику и некоторые другие параметры. Программа предназначена для установки на Windows-сервер для работы в фоновом режиме. В качестве базы данных используется MS SQL. Потенциально программа может запускаться с рабочей станции. |
