Shodan BinaryEdge ZoomEye网络空间搜索引擎测评
Shodan BinaryEdge ZoomEye网络空间搜索引擎测评
一、前言
许多IT行业的安全研究人员都会遇到这样的情况，他们需要来自技术层面的OSINT（网络空间搜索引擎）数据[1]。也许他们是想调查目标所遭受的攻击面，进行被动侦察，或者想要测量攻击的整体威胁等级。例如去年出现的memcached DDoS 攻击，其放大率为10,000倍甚至更高。Shodan当天发布的第一份报告显示，大约有17,000个易受攻击的服务器在线，这很容易被防火墙列入黑名单。
很长一段时间， shodan.io一枝独秀。虽然它很棒并且被广泛使用，但我意识到其后台发生了很多过滤。我记得大约两三年前，曝出了一个针对Cisco产品的RCE漏洞——虽然Shodan的日点击量很高，但一周后，搜索结果几乎为空。
随着OSINT变得越来越重要，分析师可利用的搜索引擎工具也更加丰富。这就是本文所探讨的内容：我将把Shodan与过去几年出现的两种新服务Binaryedge和Zoomeye进行比较，这两项服务似乎已经准备好争夺OSINT工具的王冠。此外，我还将比较它们的功能和搜索结果量（虽然会省去价格部分）。
我从以下几点进行比较：
l 定期的网上扫描功能
l 搜索、过滤和下载结果的Web界面
l 过滤选项
l 将结果集成到第三方工具的API
关于我的比较结果，每个人的体会可能不同，但一切都是我最真实的反馈。
1.1 Shodan
Shodan在OSINT中几乎人尽皆知。它以标记和搜索各种不同设备（包括网络摄像头，工业控制系统和物联网设备）的能力而闻名。在那个“天呐！！物联网攻击！我们都死定了”的时代，它是“物联网搜索引擎”的首选。Shodan制定了全互联网OSINT数据的行业标准，并且你一定能在上面找到乐趣。
Shodan的优点：
l 因 API和许多模块以及语言集成而便于开发；
l 许多东西可集成到其他软件系统中（例如：标签、保存的搜索结果等）。
Shodan的缺点：
l 缺乏对付费客户的人力支持；
l 偶尔的特定搜索结果被刻意屏蔽很烦人；
l 在界面中没有过滤proto:tcp/udp的选项（虽然有一个，但没有记录，至少我没有发现关于它的任何信息）。
1.2 BinaryEdge和ZoomEye闪亮登场
BinaryEdge是一家瑞士公司，它进行全网范围内的扫描，并在博客上发布大量的结果、发现和报告（主要针对技术用户）。BinaryEdge对开放的mongodb/redis/memcache-databases的分析引起了我的注意，我大量引用过这些数据库。他们在开放平台方面迈出了巨大的一步，将其发展为一个具有广泛搜索、过滤和下载功能的OSINT工具，现在似乎能够与Shodan匹敌。
BinaryEdge 的优点：
l 更新新功能的速度快；
l 发表技术博客。
BinaryEdge的缺点：
l 当他们将服务运用到其他解决方案中时，例如对开放端口的IP进行批量检查时，API调用的价格十分昂贵。每天用 BinaryEdge 检查50,000个IP肯定不便宜。
ZoomEye由中国的知道创宇404实验室开发，他们还运营着出色的Seebug漏洞平台，并进行了大量的安全研究。ZoomEye于两年前引起了我的注意，当时我用它来代替Shodan，那时他们的结果并不像Shodan那么详细。然而在今年，出现了许多有趣的RCE漏洞时，我再次使用ZoomEye，发现他们已经可以提供相当可靠的搜索结果。
ZoomEye的优点：
l 进步迅速，飞跃巨大；
l 项目背后极好的人力支持。
ZoomEye的缺点：
l 需要用手机号完成注册。
二、产品功能
纯OSINT任务的基本功能：
| 功能 | SHODAN | BINARYEDGE | ZOOMEYE |
|---|---|---|---|
| 免费 API | √ | √ | |
| 付费 API | √ | √ | √ |
| 匿名用户访问 | √ | √ | |
| 免费账号 | √ | √ | √ |
| 组合过滤 | √ | √ | √ |
| 下载搜索结果 | 有延迟 | 迅速 | ？ |
| 结果的时效性 | 3-4天 | 几周内 | ？ |
| 触发扫描 | √ | - | ？ |
| ASN搜索 | √ | ||
| 漏洞关联 | √ | √ | |
| 支持度 | 不太好 | 优秀 | ？ |
搜索结果的截图如下。
Shodan：
BinaryEdge：
ZoomEye：
每种产品的优点：
共同点：
l 能够搜索和过滤不仅仅是IP和端口的信息；
l 可以呈现并搜索扫描时收集到的全部标题和信息（如cookie、serverheaders、versions）；
l 下载全部搜索结果。
Shodan：
l 界面简洁，良好的深入挖掘和聚合功能，显示部分标题信息；
l 搜索结果与漏洞的关联良好。
BinaryEdge:
l 在进行大规模研究时，可进行ASN搜索无疑是一个巨大的优势；
l 实用的图像搜索功能。
ZoomEye:
l 历史记录触手可得，且可以限制特定时间的搜索；
l 搜索结果与漏洞的关联十分出色。
一旦你习惯了每个操作界面，就会发现它们的运行非常符合逻辑，并且便于开发。
三、搜索结果
现在来看看有趣的部分：我检查了各种目标的搜索结果，比如漏洞相关服务和一般的服务/产品。
需要注意的是：
l 以下数据的有效日期截止到2019-06-09；
l ZoomEye的搜索结果已被过滤，只包含2019-01-01以后的搜索结果。
3.1 漏洞相关服务
我挑选了今年曝出的一些不错的RCE漏洞，将它们按日期进行升序排序，链接到了包含漏洞详情的文章，并给出了CVE。
| DATE | VULN/CVE | SHODAN | BINARYEDGE | ZOOMEYE |
|---|---|---|---|---|
| 2019-03-20 | Confluence RCE CVE-2019-3396 | 19.000 | 53.000 | 34.000 |
| 2019-03-21 | Nexus Repository Manager RCE CVE-2019-7238 | 5.500 | 200 | 9.100 |
| 2019-04-04 | WebLogic RCE CVE-2019-2725 | 2.000 | 84.000 | 40.000 |
| 2019-05-09 | Typo3 RCE CVE-2019-11832 | 8.100 | 11.000 | 15.000 |
| 2019-05-14 | WindowsRDP RCE CVE-2019-0708 | 2.600.000 [3] | 10.000.000 | 7.000.000 |
对比图表显示如下：
结果不言而喻。
3.2 常规服务搜索结果
在第二步中，我搜索了一些服务并比较了这些数字。
| SERVICE | SHODAN | BINARYEDGE | ZOOMEYE |
|---|---|---|---|
| Memcached | 34.000 | 19.000 | 45.000 |
| MongoDB | 64.000 | 72.000 | 46.000 |
| SNMP | 2.100.000 | 0 | 2.200.000 |
| BGP | 700.000 | 0 | 700.000 |
| Citrix Netscaler | 26 | 72.000 | 48.000 |
| Cisco Port 22 | 370.000 | 430.000 | 580.000 |
对比图表显示如下：
如你所见：
l BinaryEdge在UDP 服务上有盲点；
l 与每个端口的“原始”结果相比，Shodan仍然提供了良好的结果。
四、结论
BinaryEdge和ZoomEye完全可以和Shodan相媲美。这三种服务虽有细微差别，但都为OSINT提供了有价值的扩展。它们之间没有明显的输赢之分，每项服务都有其优缺点，我喜欢市场上存在竞争。
五、其他
还有一些服务我没有对它们作比较，原因如下：
l Censys.io：一个不错的服务，但价格太高，限制太多。如果你想以一个合理的价格搜索和下载一个30万的搜索结果时，你不会选择使用它。
l 在对OSINT进行全排名时，Hackertarget.com和Securitytrails.com也是非常有价值的工具，虽然它们提供了某些IP的结果，但是它们不能用于全网范围内的研究。
[1] - I speak mostly about data gathered by internet-wide scan
[2] - How old observed results might be (based on observation, not measurements)
[3] The resultset for shodan-RDP is somewhat hidden, the tag for Terminalserver/RDP-Server is missing in the products-section.
文章来源：https://www.secjuice.com/new-kids-on-the-block/
译者注：原文存在部分编辑错误，译文已联系原作者并修正。