15 Лучших инструментов OSINT

Хакеры используют разведданные с открытым исходным кодом для взлома систем. Вы можете использовать инструменты OSINT, чтобы узнать, какая из ваших сведений раскрыта. Инструменты разведки с открытым исходным кодом находят свободно доступную информацию. Преступные хакеры могут использовать это в своих собственных целях – если вы их не опередите. В этом списке мы собрали некоторые из лучших инструментов OSINT, которые вы можете использовать для проверки вашей конфиденциальности и лучшей защиты ваших активов.

В 1980-х годах произошел сдвиг парадигмы в военных и разведывательных службах. Классические виды деятельности, такие как перехват писем и прослушивание телефонных разговоров, были заменены новой тенденцией шпионажа за секретами: агенты сосредоточились на использовании свободно доступной или официально опубликованной информации в своих собственных целях. Это был другой мир, который должен был обходиться без социальных сетей. Вместо этого газеты и общедоступные базы данных были основными источниками интересной и/или полезной информации.

OSINT – Определение

Это звучит просто, но на практике это требовало высокой степени комбинаторной способности, чтобы надежно связать соответствующую информацию и создать картину ситуации. Этот тип шпионажа назывался разведкой с открытым исходным кодом (OSINT).

Сегодня тактика OSINT также может быть применена в области кибербезопасности. Это связано с тем, что большинство компаний и организаций имеют обширную, в основном общедоступную инфраструктуру, которая включает различные сети, технологии, услуги хостинга и пространства имен. Информация или данные могут быть расположены на различных устройствах – компьютерах сотрудников, локальных серверах, личных устройствах сотрудников (в смысле “принесите свое собственное устройство”), облачных экземплярах или даже исходном коде активных приложений.

На самом деле, на практике ИТ – отдел в крупных компаниях вряд ли когда-либо знает обо всех активах компании-будь то общедоступные или нет. Это усугубляется тем фактом, что большинство компаний также косвенно управляют различными дополнительными активами, такими как их аккаунты в социальных сетях. Особенно в этой области часто хранится информация, которая может стать опасной, если попадет не в те руки.

Именно здесь появляется нынешнее поколение инструментов разведки с открытым исходным кодом. Инструменты OSINT по существу выполняют три функции:

Поиск общедоступных активов: наиболее распространенной функцией инструментов OSINT является помощь ИТ-командам в определении общедоступных активов и содержащейся в них информации. Речь идет, в частности, о том, что потенциально может помочь разблокировать векторы атаки. Однако это не означает идентификацию уязвимостей или тестирование на проникновение – речь идет исключительно об информации, доступной без использования методов взлома.

Поиск релевантной информации за пределами организации: Еще одна функция инструментов разведки с открытым исходным кодом заключается в поиске информации, которая находится за пределами вашей собственной организации, например, на платформах или доменах социальных сетей. Эта функция, вероятно, будет представлять особый интерес для крупных компаний, которые интегрируют новые ИТ-активы в рамках корпоративных приобретений. Учитывая экстремальный рост платформ социальных сетей, проверка конфиденциальной информации за пределами организации имеет смысл для любой организации.

Скомпилируйте идентифицированную информацию удобным способом: Некоторые инструменты OSINT способны скомпилировать собранную информацию в доступной форме. Сканирование OSINT может выдать сотни тысяч результатов в случае крупной компании, особенно если включены как внутренние, так и внешние источники. Структурирование данных и решение наиболее насущных проблем в первую очередь полезно не только в таких случаях.

Список лучших инструментов разведки с открытым исходным кодом [инструменты OSINT]

Раскрывая информацию о вашем бизнесе, сотрудниках, ИТ-активах или других конфиденциальных активах, которые могут быть использованы злоумышленниками, соответствующие средства разведки с открытым исходным кодом могут помочь повысить уровень вашей ИТ – безопасности: обнаружив такую информацию раньше злоумышленников, вы можете значительно снизить риск вредоносных действий-от фишинга до атак типа «отказ в обслуживании». Ниже мы выделяем некоторые из лучших инструментов разведки с открытым исходным кодом и их индивидуальные сильные стороны.

1. Maltego 

Этот инструмент OSINT предназначен для выявления сетей взаимоотношений между людьми, компаниями, доменами и общедоступной информацией во Всемирной паутине. Maltego визуализирует результаты в виде привлекательных графиков и диаграмм, в которые может вливаться до 10 000 точек данных. Maltego автоматически выполняет поиск в различных общедоступных источниках данных одним нажатием кнопки. К ним относятся DNS-запросы, поисковые системы и социальные сети. Инструмент совместим практически с любым источником данных, имеющим общедоступный интерфейс.

После завершения сбора информации инструмент OSINT связывает данные и предоставляет информацию о скрытых связях между именами, адресами электронной почты, компаниями, веб-сайтами и другой информацией. Поскольку Maltego основан на Java, он надежно работает на платформах Windows, Mac и Linux.

Бесплатная версия с ограниченными функциональными возможностями доступна с Maltego CE. Настольные версии Maltego XL стоят не менее 1 999 долларов за экземпляр. Цены на установку серверов и их широкое использование начинаются примерно с 40 000 долларов.

2. Recon-ng

Для разработчиков программного обеспечения, работающих с Python, Recon-ng-это многоуровневый инструмент OSINT. Интерфейс аналогичен Metasploit, что значительно снижает скорость обучения для опытных пользователей популярного фреймворка. Благодаря интерактивной справочной функции (которой не хватает во многих модулях Python) разработчики могут приступить к работе практически сразу.

В случае разведки это включает автоматизированную обработку трудоемких и повторяющихся задач OSINT (таких как марафоны копирования и вставки). Это создает больше времени для вещей, которые нужно делать вручную. Чтобы гарантировать, что даже новички в Python смогут справиться с разведкой, инструмент OSINT имеет модульную структуру с многочисленными интегрированными функциями. К ним относятся общие задачи, такие как стандартизация выходных данных, взаимодействие с базами данных, запуск веб-запросов или управление ключами API. Вместо того чтобы программировать разведку сложным способом, разработчики просто выбирают необходимые им функции и всего за несколько минут создают автоматизированный модуль.

Recon-ng-это бесплатное программное обеспечение с открытым исходным кодом.

3. theHarvester 

С точки зрения использования, theHarvester является одним из самых простых инструментов OSINT в этом обзоре. Инструмент предназначен для обнаружения информации за пределами собственных сетей организаций и компаний. Хотя Харвестер также можно использовать для поиска информации во внутренних сетях, основное внимание уделяется внешним данным.

Источники, используемые инструментом OSINT, включают популярные поисковые системы, такие как Google и Bing, а также менее известные, такие как dogpile, DNSDumpster и механизм метаданных Exalead. Даже Shodan может быть включен для обнаружения открытых портов на обнаруженных хостах. В более общем плане, theHarvester захватывает электронные письма, имена, поддомены, IP-адреса и URL-адреса.

theHarvester может получить доступ к большинству общедоступных источников без каких-либо специальных мер. Однако для некоторых источников может потребоваться ключ API, а Python должен быть как минимум версии 3.6.

theHarvester находится в свободном доступе на GitHub.

4. Shodan

Shodan – это специализированная поисковая система, которая предоставляет информацию об устройствах-например, о миллионах уже используемых устройств интернета вещей. Инструмент OSINT также можно использовать для поиска открытых портов или уязвимостей в определенных системах. Некоторые другие инструменты разведки с открытым исходным кодом используют Shodan в качестве источника данных, но для глубокого взаимодействия требуется платная учетная запись.

Потенциальные возможности использования Шодана впечатляют: это один из немногих инструментов, которые включают в свой анализ операционные технологии (OT), такие как используемые в промышленных системах управления электростанциями или заводами. Таким образом, любая инициатива OSINT в отрасли, где ИТ и OT идут рука об руку, имела бы значительные пробелы, если бы она не была основана на Shodan. Кроме того, также можно изучить базы данных с помощью инструмента OSINT: при определенных обстоятельствах информация может быть доступна общественности через объездные пути.

Лицензия фрилансера (59 долларов США в месяц) для Shodan позволяет сканировать до 1520 IP – адресов в месяц-с результатом до миллиона результатов. Корпоративная лицензия обещает неограниченные результаты и позволяет сканировать 300 000 IP – адресов в месяц-за 899 долларов в месяц, но затем включает фильтры поиска уязвимостей и премиум-поддержку.

5. Metagoofil

Metagoofil также доступен в свободном доступе через платформу GitHub. Этот инструмент предназначен для извлечения метаданных из общедоступных документов. Когда дело доходит до типа документа, инструменты OSINT не имеют ограничений, независимо от того, является ли он.pdf,.doc,.ppt or.xls файл.

Количество интересных данных, которые выдает Metagoofil, впечатляет. Либо имена пользователей, связанные с определенными документами, могут быть определены в кратчайшие сроки. Инструмент OSINT также предоставляет информацию о точном пути, ведущем к этой информации. Это, в свою очередь, позволяет легко делать выводы об именах серверов, общих ресурсах и структурах каталогов соответствующей компании.

Почти вся информация, которую предоставляет Metagoofil, была бы полезна преступному хакеру. Организации и компании, с другой стороны, могут использовать инструмент разведки с открытым исходным кодом, чтобы точно отследить эту информацию до потенциальных злоумышленников и соответствующим образом защитить или скрыть ее.

6. searchcode

Если вы действительно хотите глубоко погрузиться в суть OSINT, searchcode-это узкоспециализированная поисковая система, которая просматривает исходный код в поисках интересных данных. Таким образом, разработчики программного обеспечения могут выявлять и устранять проблемы до развертывания соответствующего программного обеспечения.

Конечно, любой инструмент, работающий с исходным кодом, требует немного большего ноу-хау, чем простой поиск в Google, но создатель searchcode сделал все возможное, чтобы сделать интерфейс своего инструмента OSINT как можно более простым. Пользователь вводит свой поисковый запрос, и код поиска выдает результаты в виде соответствующих маркеров в исходном коде. Таким образом, можно идентифицировать имена пользователей, уязвимости в системе безопасности, нежелательные активные функции (такие как повторная компиляция) или даже специальные символы, которые могут использоваться для атак с внедрением кода.

Результаты Searchcode не требуют пояснений-тем не менее, инструмент OSINT также предоставляет дополнительную информацию или соответствующие проблемы, связанные с результатами.

7. SpiderFoot

SpiderFoot-это своего рода метапользователь в области разведки с открытым исходным кодом: вы применяете инструмент к IP-адресу, домену, адресу электронной почты, имени пользователя, подсети или ASN, указываете используемые модули и получаете множество информации.

SpiderFoot интегрирует почти все доступные каналы данных OSINT (например, AlienVault, HaveIBeenPwned, SecurityTrails и Shodan). Поэтому этот инструмент особенно подходит для мониторинга общедоступной информации о собственной компании, а также о конкурентах. Кроме того, SpiderFoot также предоставляет инструменты визуализации данных.

SpiderFoot доступен в качестве бесплатного инструмента freemium (с ограниченной функциональностью) – неограниченная версия SaaS называется SpiderFoot HX.

8. Babel X

Соответствующая информация не обязательно должна быть на английском или немецком языках – необходимая вам информация также может быть на китайском или испанском языках. Вот где появляется Babel X: Многоязычный инструмент OSINT выполняет поиск в общедоступной сети, включая блоги, платформы социальных сетей и доски объявлений, а также в темной и глубокой сети. Инструмент также может локализовать источник найденной информации и выполнить анализ текста, чтобы выявить соответствующие результаты. В настоящее время Babel X поддерживает около 200 различных языков.

Сценарии применения многоязычного инструмента OSINT многочисленны: например, в случае глобальных атак программ-вымогателей можно быстро определить тенденции в обнаружении целей. Babel X также может предоставить информацию о том, предлагается ли интеллектуальная собственность компании для продажи на иностранных веб-сайтах.

Babel X, по сути, основан на облаке, а также позволяет своим пользователям добавлять свои собственные источники данных. В Babel Box также доступна локальная версия, но в ней отсутствуют некоторые функции (например, поиск в сети deepweb). Наиболее экономичной версией является Babel Channels, которая предоставляет тщательно подобранный выбор источников данных. Мобильное приложение доступно для всех версий.

9. Mitaka

Этот инструмент доступен в качестве расширения Chrome или дополнения Firefox и обеспечивает поиск в браузере IP-адресов, доменов, URL-адресов, хэшей, ASN, адресов биткойн-кошельков и многих других “Индикаторов компрометации». В процесс включены шесть различных поисковых систем.

Удобно, что Mitaka также служит в качестве быстрого доступа к многочисленным онлайн-базам данных, поиск в которых можно выполнить одним щелчком мыши. Для тех, кто предпочитает что-то менее всеобъемлющее, доступно альтернативное расширение Sputnik.

10. Spyse 

“Самый полный реестр интернет-активов”, по словам производителя, предназначен для профессионалов в области кибербезопасности.

Spyse собирает общедоступные данные с веб-сайтов, их владельцев, связанных серверов и устройств Интернета Вещей. Эти данные могут быть проанализированы с помощью механизма Spyse для выявления рисков безопасности, связанных с любым из объектов.

11. BuiltWith

Как следует из названия, BuiltWith позволяет узнать, на каких популярных сайтах были созданы (WordPress, Joomla, Drupal и т.д.), и раскрыть более подробную информацию. Это включает, например, список библиотек JavaScript/CSS, которые использует веб-сайт. Кроме того, также можно получить плагины, фреймворки, сервер, аналитику и информацию об отслеживании. Если вы хотите видеть только информацию о техническом стеке, стоящем за веб-сайтом, вам, возможно, будет лучше использовать Wappalyzer, так как это более тонкий инструмент OSINT.

12. Intelligence X

Intelligence X-это архивная служба и поисковая система, которая навсегда сохраняет не только исторические версии веб-сайтов, но и утечку наборов данных. Не только для журналистов, исследователей в области безопасности и аналитиков эта информация может быть полезной или полезной во многих отношениях.

13. DarkSearch.io

Для новичков darkweb платформа DarkSearch.io это хорошее место для начала. Поисковая система underground бесплатна и предлагает API для автоматического поиска, который также является бесплатным. Вам даже не нужен браузер Tor для использования DarkSearch.io – поисковая система работает во всех обычных браузерах.

14. Grep.приложение

Как вы ищете полмиллиона репозиториев Git? Самый лучший и эффективный способ-с помощью Grep.app. Инструмент OSINT недавно использовался пользователями Twitter и журналистами для отслеживания того, сколько репозиториев использовали загрузчик Codecov Bash.

Grep.app также может быть полезен, если вы хотите выполнить поиск строк, связанных с IOC, вредоносным кодом или вредоносными программами.

15. Фреймворк OSINT

Помимо этих инструментов, существует множество других, доступных для получения данных OSINT. Хорошим местом для начала их изучения является платформа OSINT.

Веб-интерфейс приведет вас к инструментам, необходимым для получения необходимой вам информации. Все инструменты, найденные здесь, бесплатны, хотя некоторые требуют регистрации или предлагают лучшие функции в платной версии.

Закройте пробелы с помощью OSINT!

Не каждая хакерская атака должна быть Продвинутой Постоянной угрозой или использовать особо сложные методы. Преступные хакеры также предпочитают идти по пути наименьшего сопротивления. В конце концов, не имело бы смысла тратить месяцы на компрометацию систем, когда вся необходимая информация доступна по общедоступным каналам. Инструменты OSINT могут помочь компаниям узнать, какая информация об их сетях, данных и пользователях находится в открытом доступе. Главное-найти эти данные как можно быстрее, прежде чем их можно будет использовать.