SpiderFoot — open-source автоматичне OSINT-сканування

Офіційний репозиторій: github.com/smicallef/spiderfoot
Комерційна версія: spiderfoot.net
Тип сервісу: інструмент автоматичного OSINT-сканування з відкритим кодом
Засновник: Steve Micallef (Талінн, Естонія)
Заснований: 2005 рік
Власник з листопада 2022: Intel 471 (кібербезпекова компанія)
Мова програмування: Python 3
Ліцензія: MIT (для open-source версії)
База модулів: 200+ інтеграцій

Що це таке

SpiderFoot — це безкоштовний open-source аналог Maltego. Призначений для автоматичного OSINT-сканування: ви даєте інструменту початкову ціль (домен, email, IP-адресу, ім’я особи), а він автоматично запускає сотні різних модулів для збору всієї доступної публічної інформації.

На відміну від Maltego, де користувач сам обирає, які трансформації запускати, SpiderFoot сам пробує все підряд — це робить його швидким для базових перевірок, але результати містять багато «шуму», який треба фільтрувати.

Кому корисний

• Адвокатам — швидка автоматична перевірка особи або компанії за email/доменом/телефоном
• Експертам з кібербезпеки — оцінка цифрового сліду організації перед тестуванням
• Слідчим — швидке збирання інформації про підозрюваного з відкритих джерел
• Корпоративній безпеці — перевірка, що інформація про компанію є у відкритому доступі
• Тим, хто не хоче платити за Maltego — SpiderFoot повністю безкоштовний у self-hosted версії

Що може шукати

• Домен — повну інформацію: WHOIS, DNS, піддомени, історія, технології сайту
• IP-адресу — геолокація, інформація про провайдера, історія використання
• Email — у яких витоках з’являвся, пов’язані домени, можливі облікові записи
• Ім’я особи — публічні профілі, документи зі згадками
• Номер телефону — оператор, географія, пов’язані сервіси
• Bitcoin-адресу — транзакції, пов’язані гаманці
• Підмережа (subnet) — всі активні IP у діапазоні
• Hostname — деталі сервера

Дві версії

1. SpiderFoot (open-source) — БЕЗКОШТОВНО

• Встановлюється на ваш комп’ютер або сервер
• Веб-інтерфейс через браузер (за замовчуванням localhost:5001)
• Або командний рядок
• Усі дані залишаються у вас — повна конфіденційність
• 200+ модулів, більшість не потребують ключів інтеграції
• Безкоштовно для будь-якого використання, включно з комерційним

2. SpiderFoot HX — комерційна хмарна версія

• Hosted у хмарі — не треба нічого встановлювати
• Швидші сканування, кращі візуалізації
• HX-only модулі — недоступні в open-source
• Кореляційні правила, які виділяють найважливіше
• Платний (за домовленістю з Intel 471)

Як встановити та запустити (для open-source версії)

Встановлення

• Потрібен Python 3.7+
• Встановлення через GitHub: git clone https://github.com/smicallef/spiderfoot.git
• Залежності: pip3 install -r requirements.txt
• На Kali Linux — вже передвстановлено
• Запуск веб-інтерфейсу: python3 sf.py -l 127.0.0.1:5001
• Відкрити браузер: http://127.0.0.1:5001

Запуск сканування

1. У веб-інтерфейсі натиснути «New Scan»
2. Ввести ціль (наприклад, example.com або user@example.com)
3. Обрати тип сканування:
   • All — все підряд (довго, багато даних)
   • Footprint — цифровий слід організації
   • Investigate — для розслідування конкретної особи
   • Passive — без активних запитів до цілі
4. Натиснути «Run Scan»
5. Сканування може тривати від хвилин до годин
6. Переглянути результати у вкладках «Browse», «Graph», «Scan Settings»

Обмеження (важливо)

• Потребує технічних навичок — встановлення через командний рядок, налаштування ключів інтеграції
• Багато шуму у результатах — автоматичне сканування дає тисячі записів, з яких потрібно відсіяти важливе
• Платні модулі потребують API-ключів — для HIBP, Shodan, VirusTotal тощо. Багато з них мають безкоштовний рівень з обмеженнями
• Деякі модулі активно «торкаються» цілі — це може лишити сліди (логи) на серверах. Для делікатних розслідувань — використовуйте режим «Passive»
• На безкоштовній відкритій версії немає кореляційних правил — треба самостійно аналізувати результати
• Інтерфейс старіший і менш привабливий, ніж у Maltego
• Деякі модулі морально застаріли або не оновлюються — особливо після придбання Intel 471 акцент змістився на HX
• Не має сильної інтеграції з українськими реєстрами — для українських даних поєднуйте з нашими інструментами

Інтегровані сервіси

• Have I Been Pwned — витоки email
• Hunter.io — пошук email
• IntelligenceX
• Shodan — пристрої в інтернеті
• VirusTotal — шкідливе ПЗ
• WHOIS, DNS провайдери
• Google, Bing — пошукові системи
• GitHub, Pastebin — пошук у коді та публікаціях
• Bitcoin/Ethereum блокчейни
• І ще 190+ модулів

Корисні поради

• Починайте з режиму «Investigate» — він спеціально налаштований для пошуку особи
• Якщо ваш ноутбук слабкий — встановіть SpiderFoot на VPS-сервер у хмарі (від 5 доларів на місяць)
• Отримайте безкоштовні API-ключі для HIBP, Hunter.io, Shodan — це значно розширить можливості
• Для надчутливих розслідувань — використовуйте через VPN, щоб не виявити свою IP-адресу
• Експортуйте результати у CSV для аналізу в Excel
• Видаляйте проєкти після завершення — SpiderFoot зберігає історію локально на вашому пристрої
• Для адвокатської роботи — SpiderFoot краще ніж Maltego, якщо потрібна конфіденційність (усе залишається у вас)
• На Kali Linux — найпростіший варіант: інструмент вже встановлено

Вартість

• Open-source версія — повністю безкоштовно, без обмежень за часом чи кількістю сканувань
• Деякі модулі потребують API-ключів від сторонніх сервісів — багато з них мають безкоштовний рівень
• SpiderFoot HX — комерційна, ціна за домовленістю з Intel 471
• Якщо ваша мета — лише особиста та для адвокатської роботи у середніх обсягах, безкоштовна версія повністю достатня

Юридичні застереження ⚠️

• SpiderFoot — повністю легальний open-source інструмент; включений у Kali Linux як стандартний
• Однак деякі модулі активні — звертаються до цілі (пробують підключитись, перевіряють піддомени). Це може залишити сліди у логах цілі та потенційно вважатись несанкціонованим скануванням
• Для повністю прихованих розслідувань — використовуйте режим «Passive»
• В Україні сканування власних активів чи активів за згодою власника — повністю законне
• Сканування чужих ресурсів без згоди може кваліфікуватись за ст. 361 КК (несанкціоноване втручання) у деяких випадках — використовуйте обережно для активного режиму
• Для адвоката — обмежтесь пасивними модулями (Google, бази витоків, WHOIS) при роботі з чужими даними. Активне сканування домену контрагента — без згоди небажане
• Систематичне профілювання осіб через SpiderFoot — профілювання за GDPR ст. 22, потребує правової підстави

Альтернативи

• Maltego — найвідоміший конкурент, кращий інтерфейс, дорожчий
• Recon-ng — модульний фреймворк через командний рядок
• theHarvester — простіший, фокус на email/піддоменах
• OSINT Industries — комерційний веб-сервіс
• Datasploit — open-source альтернатива

🔗 github.com/smicallef/spiderfoot
🔗 spiderfoot.net — HX комерційна версія
🔗 Kali Linux Tools — SpiderFoot

← Повернутися до каталогу