theHarvester — швидкий пошук email, піддоменів та імен компанії

Офіційний репозиторій: github.com/laramies/theHarvester
Тип сервісу: інструмент для пошуку email, піддоменів та імен у відкритих джерелах
Розробник: Christian Martorella (псевдонім laramies, з компанії Edge Security)
Активні контриб’ютори: Matthew Brown, Jay Townsend, Lee Baird
Мова програмування: Python 3.12+
Ліцензія: GPL (відкритий код)
Популярність: 16 300+ зірок на GitHub
Передвстановлений: у Kali Linux

Що це таке

theHarvester — найпростіший і найшвидший інструмент для збору публічної інформації про компанію або домен. Ім’я говорить саме за себе: «жнець» збирає врожай — email-адреси, імена працівників, піддомени, IP-адреси, URL — з десятків публічних джерел у відповідь на одну команду.

На відміну від Recon-ng (модульний з командним інтерфейсом) та SpiderFoot (з веб-інтерфейсом і складними налаштуваннями), theHarvester робить одне просте завдання — але дуже добре. Запускаєте однією командою, отримуєте список емейлів та піддоменів за хвилину.

Кому корисний

• Адвокатам — швидка перевірка цифрового сліду контрагента (які email компанії публічно доступні)
• Експертам з кібербезпеки — стандартний інструмент перед пентестом
• Адвокатам з кіберсправ — пошук email-адрес, які могли бути використані у фішингу
• HR-фахівцям — пошук контактних осіб у компанії
• Маркетологам — генерація списків email для (легальних) розсилок
• Початківцям в OSINT — найпростіший інструмент для входу у сферу командного рядка

Що дозволяє знайти

• Email-адреси працівників компанії з публічних джерел
• Імена осіб, пов’язаних з компанією
• Піддомени (api.example.com, mail.example.com, intranet.example.com тощо)
• IP-адреси та хости, що належать компанії
• URL-адреси сторінок, де згадується компанія
• Відкриті порти та банери серверів (при інтеграції з Shodan)
• Сертифікати SSL/TLS, які видавалися на компанію

Джерела даних (40+)

• Безкоштовні без ключа: Bing, Yahoo, DuckDuckGo, Anubis-DB, CRTsh (сертифікати), Threatcrowd, Project Sonar (Rapid7)
• Безкоштовні з ключем (вимагається реєстрація): GitHub, IntelligenceX (intelx), Censys, Hunter.io, Tomba, BeVigil (50 запитів)
• Платні (з ключем): Shodan, BinaryEdge ($10/міс), Bing API, FullHunt, CriminalIP, RocketReach, Onyphe, SecurityTrails, Netlas
• Bing, GitHub Code Search, DNS-сервери
• SHODAN — глобальна база інтернет-пристроїв

Як працює

Встановлення

• На Kali Linux: вже передвстановлений
• На іншому Linux/macOS:
  git clone https://github.com/laramies/theHarvester.git
cd theHarvester
uv sync; source .venv/bin/activate
uv run theHarvester.py -h
• API-ключі додаються у файл api-keys.yaml (для розширення можливостей)

Базовий запуск

• theHarvester -d example.com -b all — повний пошук з усіх джерел
• theHarvester -d example.com -l 500 -b bing,github — обмежити 500 результатами з Bing і GitHub
• theHarvester -d example.com -b crtsh -f звіт.html — пошук тільки в реєстрі сертифікатів, з експортом у HTML
• theHarvester -d example.com --dns-server 8.8.8.8 — використати Google DNS
• theHarvester -d example.com -b all -s — режим скритий (тільки пасивні запити)

Простий приклад розслідування

1. Перевіряємо домен контрагента — contractor.ua
2. Запускаємо: theHarvester -d contractor.ua -b all -l 500
3. За 2-5 хвилин отримуємо:
   • Список email-адрес: info@contractor.ua, director@contractor.ua, vasyl.petrenko@contractor.ua…
   • Список піддоменів: mail.contractor.ua, www.contractor.ua, partner.contractor.ua…
   • Список IP-адрес серверів
   • Імена директорів і працівників, які знайшлися у відкритих документах
4. Експортуємо у JSON/XML/HTML: -f звіт.html
5. Подальша робота:
   • Знайдені email — перевіряємо через HIBP на витоки
   • Імена директорів — перевіряємо через YouControl
   • Сервери — додаємо до Maltego для візуалізації

Обмеження (важливо)

• Лише через командний рядок — для людей без технічних навичок не підходить
• Менш функціональний за SpiderFoot чи Recon-ng — фокус на одному завданні (збір email/піддоменів/імен)
• Якість залежить від джерел: без API-ключів — обмежені можливості. З ключами Shodan/Censys — потужніший
• Багато публічно доступних API мають обмеження на безкоштовному рівні (10-50 запитів)
• Деякі джерела даних (Google, LinkedIn) активно блокують інструмент
• Не зберігає історію — кожен запуск — окрема операція. Для проєктної роботи варто зберігати звіти у файли
• Без графічної візуалізації — результати у текстовому форматі
• Інтеграції з українськими сервісами немає

Корисні поради

• Починайте на Kali Linux — найпростіший варіант, вже встановлено
• Отримайте безкоштовні API-ключі: Hunter.io (10 запитів), Tomba (50), BeVigil (50), GitHub (необмежено для пошуку коду). Це значно розширить можливості
• Завжди експортуйте у файл (-f назва) — інакше результати загубляться при закритті терміналу
• Для делікатних розслідувань використовуйте -s (стелс-режим) — тільки пасивні запити
• Поєднуйте з іншими інструментами: theHarvester для збору → Maltego для візуалізації → Hunter.io для перевірки email
• Регулярно оновлюйте: інструмент швидко розвивається; нові джерела додаються кожні кілька місяців
• Для роботи з українськими доменами .ua — результати можуть бути обмежені; обов’язково запускайте з повним набором джерел (-b all)
• Перед професійним використанням — прочитайте Wiki проєкту, у ньому є приклади всіх режимів

Вартість

• Сам інструмент — повністю безкоштовно (відкритий код, GPL)
• Більшість джерел даних безкоштовні
• Платні API (опціонально, для розширення): Shodan від 59 доларів на місяць, Censys, BinaryEdge $10/міс
• Базового безкоштовного функціоналу достатньо для більшості адвокатських завдань

Юридичні застереження ⚠️

• theHarvester — повністю легальний open-source інструмент, включений у Kali Linux як стандартний
• Збирає лише публічну інформацію з відкритих джерел — низькі правові ризики
• Для адвоката чи слідчого — стандартна правова підстава (ст. 11 Закону «Про захист персональних даних»)
• Пасивні модулі (Google, сертифікати, GitHub) — повністю безпечні: не залишають слідів у логах цілі
• Активні модулі (DNS-резолвери, SHODAN-сканування) — можуть створювати запити до серверів цілі. Технічно це не злом, але правила деяких юрисдикцій можуть це обмежувати
• В Україні сканування власних активів чи активів за згодою — повністю законне
• Зібрані email-адреси: їх можна використовувати для розслідування, але забороняється для несанкціонованої розсилки (спаму) — за це передбачена адміністративна відповідальність (ЗУ «Про електронні комунікації»)
• Систематичне профілювання — за GDPR ст. 22, потребує правової підстави
• Знайдені email-адреси у судах можна використовувати як доказ існування контактів — однак для встановлення авторства листів потрібна додаткова експертиза

Альтернативи

• Recon-ng — потужніший, з модульним інтерфейсом
• SpiderFoot — автоматичніший, з веб-інтерфейсом
• OWASP Amass — для глибшої доменної розвідки
• Sublist3r — спеціалізований на піддоменах
• Maigret, Sherlock — для пошуку нікнеймів
• Hunter.io, Snov.io — веб-сервіси для пошуку email

🔗 github.com/laramies/theHarvester
🔗 Документація (Wiki)
🔗 Сторінка на Kali Linux Tools

← Повернутися до каталогу