ПиМ: Сбор информации в Аvalanche PE #osint #razvedka

   Сбор информации в Аваланче осуществляется посредством модуля Sider, для использования которого несмотря на наличие автоматическая настройка как HTML-страниц и RSS-лент, в отдельных случаях необходимо знание HTML.
   Однако, если Вы знаете HTML, то Вам может быть будет достаточно связки Google Reader+Yahoo! Pipes\Feed43, не говоря уже о Skyur, который вообще автоматически формирует RSS-ленту из новостей (который, правда, имеет и существенный недостаток - приносит повторяющиеся результаты в случае, если лента обновляется реже чем он ходит на страницу источника). Итак, рассмотрим функциональность, стабильность работы, удобство и скорость работы приложения.

Функциональность

   Модуль Spider (выполненный в виде отдельного приложения, но автоматически передающий собранное в модуль просмотра и обработки Avalanche поддерживает 3 типа источников - HTML-страничку, RSS-ленту и метапоиск.

 Рис. 1

  Если с первыми двумя, в принципе, все понятно (добавлю лишь, что есть возможность извлекать т.н. "новости", которые представляют собой выделенную из текста страницы новость, что похоже на представление хорошо сформированной RSS-ленты в Google Reader), то на метапоиске остановимся чуть подробнее. Этот источник позволяет производить поиск сразу в 10 поисковиках, и при необходимости, добавлять еще (как именно подробно описано в официальной документации).

Рис. 2

   Обработка происходит после запуска паука вручную или в заданное время (возможен и периодический запуск), и во время ее есть 3 режима просмотра - Общая статистика (Рис. 1), Текущая статистика (Рис. 3 - предоставляющий данные whois источника) и Отчет по загрузке (Рис. 4), что балует нас указаниями ответов веб-сервера на запросы нашего паука.

Рис. 3

Рис. 4

Стабильность работы

   Во время работы с модулем Spider программа у меня вылетала минимум 3 раза (всякий раз появлялась форма с просьбой сообщить детали ошибки, и 1 раз висла). Оказывается, производитель "экономит на бета-тестерах" и у него нет QA службы (под данным ником скрывается А.И. Масалович). Впрочем, ни разу ничего не потерялось, программа на удивление стабильна в отношении хранения данных.

Удобство и скорость работы

   К сожалению, очень часто приходилось сверяться с документацией. Например, команды из пиктограммы + (Рис. 1) не продублированы в главном меню, а многие действия субьективно неинтуитивны. Впрочем, со скоростью все в порядке. Программа загружает все достаточно быстро и практически без подвисаний.
 
Остальные части обзора будут на следующей неделе, хорошего дня!