Общие вопросы парсинга
Разведка по открытым источникам: топ-10 лучших инструментов OSINT
Все мы прекрасно знаем, как просто сегодня получить или собрать любую информацию. Это становится возможным благодаря специальным программным инструментам. В этой статье мы рассмотрим действенные инструменты разведки по открытым источникам — инструменты OSINT (Open Source Intelligence). Самое сложное в этом деле — это структурировать информацию, собранную с множества разных доступных интернет-страниц. Мы перебрали множество программ, […]
Все мы прекрасно знаем, как просто сегодня получить или собрать любую информацию. Это становится возможным благодаря специальным программным инструментам. В этой статье мы рассмотрим действенные инструменты разведки по открытым источникам — инструменты OSINT (Open Source Intelligence).
Самое сложное в этом деле — это структурировать информацию, собранную с множества разных доступных интернет-страниц. Мы перебрали множество программ, изучили характеристики и опции, отсеяли лишнее и представили для вас топ-10 лучших инструментов OSINT.
ИНТЕРНЕТ-МАГАЗИНЫ
ПРОИЗВОДИТЕЛИ
МЕДИЦИНСКИЕ КЛИНИКИ
РЕСТОРАНЫ И КАФЕ
Чаще всего эти инструменты применяются пен-тестерами для поиска возможных слабых мест в системе защиты информации. Но прежде чем перейти непосредственно к обзору, нужно сначала однозначно определить, что такое инструменты OSINT и как их следует применять на практике.
Что такое OSINT (Open Source Intelligence)?
Как мы уже говорили выше, OSINT расшифровывается как разведка по открытым источникам. Так можно получить актуальную информацию о компаниях, организациях и отдельных людях. Как правило, методы OSINT создаются на основе общедоступной информации, которая собирается, используется и распространяется с добровольного согласия людей и компаний.
Интернет — это огромный источник данных, и как таковой, он имеет свои преимущества и недостатки.Преимущество, например, в том, что каждый имеет свободный доступ к интернету и может пользоваться им до тех пор, пока он не будет ограничен организацией или законом. Недостатки тоже очевидны: любой злоумышленник может воспользоваться вашими данными.
Зачем нам нужны инструменты OSINT?
После того как мы узнали, что такое инструменты OSINT, возникает вопрос: зачем они нам нужны? Предположим, вам понадобилось что-то узнать в интернете. И у вас есть два варианта. Первый — самостоятельно собрать всю актуальную информацию и проанализировать её. Это долго, нудно и трудоемко. Второй вариант — использовать инструменты OSINT: они напрямую связаны с множеством веб-сайтов, и им нужно всего несколько секунд, чтобы проверить наличие или отсутствие нужных сведений.
Таким образом, программные инструменты OSINT экономят много времени, и пользователи получают необходимую информацию, не запоминая ее. А теперь перейдем к самому главному.
Топ-10 лучших инструментов OSINT
1. Google Dorks
Всем известно, что Google — самая популярная в мире поисковая система. Как технологический гигант, Google не является инструментом с открытым исходным кодом, но все мы используем Google для поиска нужной информации.
Но поисковая система не просто любезно предоставляет нам информацию по запросу. Она фиксирует найденное, и при желании можно получить доступ ко всем записям.
А Google Dorks реализует гибкий и простой способ поиска информации путем применения определенных операторов. Этот метод также известен как Google Hacking. Вот некоторые операторы, которые применяет Google:
- Intitle — используется для поиска по заголовку.
- Ext — используется для поиска определенного расширения файла.
- Inurl — просто помогает нам найти определенную строку, указанную в URL.
- Intext — помогает найти определенный текст на конкретной странице.
В качестве результатов поиска система выдает посты в социальных сетях, объявления, веб-сайты, изображения и т.д. Операторы поисковой системы могут легко сделать информацию намного «ближе» и доступнее.
2. The Harvester
TheHarvester — отличный инструмент для поиска адресов электронной почты, имен пользователей, хостов и связанной с доменом информацию. Информация берется из различных публичных поисковых систем и серверов ключей PGP.
Инструмент является составной частью операционной системы Kali Linux и весьма привлекателен для сбора разведывательной информации. Идеален на начальных этапах тестирования системы защиты ваших данных.
Harvester в основном создан для помощи продвинутым тестировщикам, и он действительно эффективен, управляем и прост в обращении. Среди поддерживаемых источников — Google для электронной почты и поддоменов, PGP-сервер для имен хостов/поддоменов и пользователей, и многие другие.
3.Shodan
Shodan — мощная и эффективная поисковая система. Обычно ее используют хакеры для просмотра всех открытых ресурсов. И еще — профессионалы в области защиты информации. Она выдает правильные результаты и выстраивает верные смысловые связи между данными.
Shodan оперирует сведениями из устройств и гаджетов, подключенных к сети в данный момент, и доступ к этому инструменту открывается с компьютеров, ноутбуков, веб-камер и различных IoT-устройств.
По сути, этот инструмент помогает аналитику безопасности распознать цель и проверить ее на несколько уязвимостей. Более того, он чрезвычайно удобен и гибок в поиске сообществ.
4. Maltego
Maltego — детище компании Paterva и является частью операционной системы Kali Linux. Этот инструмент в основном используется тестировщиками для исследования целей на информационную уязвимость.
Чтобы использовать Maltego, сначала нужно зарегистрироваться на сайте Paterva. Затем вы можете настроить поисковую машину, или просто запустить ее как есть на поиск нужной цели.
Программный механизм, лежащий в основе Maltego, обычно написан на Java, и он поставляется вместе с Kali Linux в едином комплекте.
В Maltego изначально прописано несколько шагов по сбору информацию из различных источников. Она дает исчерпывающие результаты и выдает их в удобном графическом представлении.
5. Metagoofil
Можно сказать, что Metagoofil — это инструмент для сбора информации. Обычно эту программу применяют, чтобы получить метаданные из публичных документов той или иной компании или организации.
Этот инструмент предлагает множество функций, таких как поиск записи, извлечение метаданных, отчет о результатах и локальная загрузка.
После получения результата он создает отчет с именами пользователей, версиями программного обеспечения, а также именами серверов или конкретных машин, которые будут полезны тестировщикам на этапе сбора информации.
6. Recon-Ng
Recon-Ng — еще одна поисковая программа, встроенная в Kali Linux. Это один из лучших инструментов OSINT в своем роде, идеальный для наблюдения за целью.
Recon-ng имеет несколько встроенных модулей, что является его одной из самых мощных функций. Кроме того, методика программы связана с проектом Metasploit.
Те кто ранее уже использовали Metasploit, точно знают силу модульных инструментов. Чтобы использовать модульный инструмент, необходимо добавить домен в рабочее пространство.
Есть несколько замечательных модулей, таких как bing-domain-web и google-site-web. Они применяются для поиска дополнительных доменов, связанных с целевым. Результат поиска этих доменов будет оставаться в поисковых системах как записанные домены.
7. Check Usernames
Как уже говорилось ранее, найти имя пользователя без инструмента OSINT — дело долгое и трудное. Поэтому если вы хотите получить любую информацию об именах пользователей, не теряя времени, то Check Usernames — идеальное решение.
Он просто ищет конкретное имя пользователя одновременно на более чем 150 веб-сайтах. У него также есть одна фантастическая функция, с помощью которой вы можете быстро проверить присутствие цели на определенном веб-сайте, чтобы немедленно ее атаковать или наоборот — отбиться от нее.
8.TinEye
TinEye — это первая система обратного поиска изображений. Все, что вам нужно сделать, это отправить картинку в TinEye — и у вас будет вся необходимая информация: например, откуда взялась картинка, как и кем она использовалась.
Он использует различные методы для выполнения своих задач. Среди них — сопоставление изображений, сопоставление подписей, идентификация водяных знаков и различных других данных — все, чтобы работать с картинками, а не с ключевыми словами.
TinEye вообще не использует метаданные. Программа применяет нейронные сети, машинное обучение, распознавание образов и технологии идентификации изображений.
Одним словом, если вы ищете инструмент для обратного поиска изображений, берите TinEye.
9. SpiderFoot
Это еще один инструмент в списке OSINT Tools GitHub, доступный для обеих известных ОС — Linux и Windows. Он был написан на языке Python и работает на любой виртуальной платформе. Его используют более ста специалистов OSINT для поиска имейлов, IP-адресов, личных и доменных имен и прочего.
Программа сочетает в себе простой и интерактивный графический интерфейс с мощным интерфейсом командной строки. SpiderFoot получает и собирает широкий спектр информации о цели: веб-сервер, сетевые блоки, электронная почта и многое другое.
Сервис собирает данные, изучая, как они связаны друг с другом. Вам остается выбрать цель в соответствии со своими потребностями и требованиями.
Более того, он дает четкое представление о возможных предупреждениях о взломе, таких как утечка данных, уязвимости и другую важную информацию.
Таким образом, эта информация поможет эффективно тестировать систему на проникновение и улучшить защиту до того, как компанию атакуют или разграбят.
10. Creepy
Это инструмент геолокационной разведки. Creepy собирает информацию о геолокации, используя социальные сети и различные сервисы хостинга изображений, которые ранее были распространены где-то еще.
Интерфейс Creepy представляет собой, главным образом, две основные вкладки: «Цели» и «Просмотр карты». В основном, он показывает цели на карте, применяя фильтр поиска на основе точного местоположения и даты.
Все эти отчеты доступны в формате CSV или KML. Программа написана на языке python и поставляется с упакованными двоичными файлами для дистрибутивов Linux — таких как Ubuntu, Debian, Backtrack, а также для Microsoft Windows.
Заключение
В этой статье мы постарались охватить всю информацию об инструментах OSINT, включая методы OSINT, их необходимость, а также обсудили 10 лучших инструментов OSINT 2021 года.
Хотя список можно продолжать, факт в том, что все зависит от выбора правильного инструмента и правильной техники. Поэтому все вышеперечисленные инструменты бесплатны, чтобы пользователи могли легко их использовать и проверить, какой больше подходит.