среда, 7 сентября 2011 г.

Поиск и мониторинг: Мониторинг Твиттера с экспортом в RSS #OSINT #razvedka

   Несмотря на то что мониторинг с помощью Google Alerts штука весьма удобная такое решение не является универсальным хотя бы потому, что Google банально не успевает индексировать все твиты. Я мониторю инциденты информационной безопасности с помощью Google Alerts с февраля 2011, и вижу что многих инцидентов появлявшихся в том или ином виде в Твиттере не хватает.

   Как же тогда мониторить Твиттер и при этом получать результаты в форме удобной для последующего хранения? Для этого Твиттер предоставляет инструмент "Advanced Search" к которому мы присовокупим знание API. Итак, что делает инструмент очевидно, а вот API в данном случае имеет функцию search.atom, т.е. по запросу http://search.twitter.com/search.atom?q=beer%20lang%3Aru получим все твиты в которых есть слово beer (включая хэш-тег #beer) но только на русском языке (к которому Twitter причисляет и украинский, и еще как минимум один среднеазиатский - кстати, у них что, кириллица?..). Посему волшебная фраза такая "http://search.twitter.com/search.atom?q" - а дальше ставим "=" и то что мы себе наконструировали с помощью Advanced Search (т.е. то что получаем после https://twitter.com/#!/search/ в адресной строке браузера после нажатия кнопки Search ).
   Экспорт в RSS позволяет элегантно перемещать твиты в нужные сервисы (в какой-нить новомодный personal information manager на основе веб-технологий к примеру) и самое главное - сохранять их там, для дальнейшего разбора, анализа, статистики и прочих замечательных вещей которые возможно сотворить с потоком релевантных (а о релевантности нужно заботиться с помощью Advanced Search, который поддерживает, в том числе, и логические операторы NOR, AND, OR) твитов.

Хорошего дня! 

Комментариев нет:

Отправить комментарий