【资料】OSINT工具RiskIQ PassivTotal的使用

【摘要】

开源技术(OSINT)正越来越受到调查和政府机构、情报机构、媒体公司和公司的欢迎。这些OSINT技术使用复杂的技术和特殊的工具来高效地分析不断增长的信息源。

在世界范围内，对这一领域的专业培训和继续教育都有很大的需求。本系列文章为全球标准的最先进的OSINT工具提供了单独的进一步培训模块。这里提供的模块适用于大学计算机科学或网络安全学士或硕士专业培训计划和OSINT课程。

在本系列文章的第1部分介绍OSINT工具RiskIQ PassivTotal，并用具体的例子说明了其应用的方法。在第2部分中，将介绍OSINT工具Censys。第3部分涉及Maltego。

介绍和动机

安全和取证专家今天面临着极其熟练的、恶意的、持续的威胁和攻击。对分析师来说，好消息是数据可以帮助暴露攻击者使用的基础设施。通过这种方式，可以发现、阻止和阻止攻击。PASSIVETOTAL通过将内部活动、事件和威胁指示器与防火墙外发生的情况联系起来来加速调查——使外部威胁、攻击者和相关的基础设施可见。

被动总伴随理论

PASSIVETOTAL将众多数据集集中在一个平台上，使其更容易执行基础设施分析。

在页面的搜索栏中输入URL后，就会直接进入分析页面。在顶部，可以看到所谓的热图。PASSIVETOTAL热图将过去6个月的被动DNA分辨率信息可视化为一个清晰的图形，使分析人员能够快速查看大量数据，并改进可疑指标的评估(图1)。

图1.PASSIVETOTAL——的热图

在热图(图1)中，每个方框代表一天。热图使用颜色、符号和数字为被动DNS数据创建上下文。在下面的时间轴中，人们还可以访问和分析更早的时期。

PASSIVETOTAL中有两种类型的热图。一个用于IP地址，一个用于域。

热图符号:

•蓝框-表示一个被解析为公开路由的IP地址的域。

•绿框-表示PASSIVETOTAL已经观察到公共和非公共可路由IP空间在同一天解析的域。橙色标志-这是第一次在被动DNS记录中看到一个解析。

•圆角字段-提供一个可视化表示的第一天和最后一天的一个月。

•数字-表示在过去的6个月里某一天被呼叫的域名或IP地址的数量。

在热图下方，我们发现了一个包含12个不同标签的数据分析条(图2):

图2.选项卡选择不同的数据集

1.解析

此选项卡包含用于将域名解析为IP地址的数据记录。这将提供关于在某个IP地址下到达该页面的时间段的信息。每个单独的记录都有一个开始日期和一个结束日期。最后一次调用相应地具有当前日期或页面可以持续调用的日期。(图3)。

图3.PASSIVETOTAL——解析

2. 域名查询服务

WHOIS是一种协议，它允许任何人搜索关于域、IP地址或子网的信息。在威胁基础设施研究中，WHOIS最常见的功能之一是根据WHOIS数据集中共享的唯一数据来识别或链接不同的单元。

图4.PASSIVETOTAL——域名查询服务

每个WHOIS记录(图4)有几个不同的部分，每个部分可能包含不同的信息。经常发现的部分是“注册商”，“注册人”，“管理员”和“技术”，每个部分可能对应一个不同的联系人进行记录。在大多数情况下，这些数据是一节一节重复的，但在某些情况下，可能会有轻微的差异，特别是在参与者犯了错误的情况下。当WHOIS信息在PASSIVETOTAL中显示时，您将看到一个压缩的数据集，它复制了所有数据和它来源于数据集的哪一部分的注释。这一过程大大加快了分析速度，也防止了数据被忽略。

3.证书

浏览网页时，SSL证书无处不在。与WHOIS记录类似，SSL证书要求用户提供信息来生成最终产品。除了为其创建SSL证书的域(除非是自签名的)外，用户可以创建任何附加信息。SSL证书最重要的价值并不一定在于人们可以用来创建它们的唯一数据，而在于它们托管在哪里。使SSL证书更有价值的是，它们可以建立在被动DNS或WHOIS数据中可以忽略的连接。这意味着有更多的方法来关联潜在的恶意基础设施，并识别参与者操作安全性中的潜在中断。从2013年到目前为止，PASSIVETOTAL已经收集了超过3000万张证书。

4. 子域

PASSIVETOTAL可以在这里找到随着时间推移在搜索页面的上下文中找到的子域。这里列出的每个域名都有不同的标记来识别子页面(图5)。这些信息可以快速用于总结网站的基础设施。在恶意网站的情况下，可以得出关于各种活动的结论，如钓鱼。

图5.PASSIVETOTAL——子域

5. 追踪器

跟踪器是在网站上找到的唯一代码或值，通常用于跟踪用户交互。这些代码可用于将异构网站组链接到一个中心实体。PASSIVETOTAL的跟踪记录中包含了谷歌、Yandex、Mixpanel、New Relic、Clicky等提供商的id(图6)。

图6.PASSIVETOTAL——跟踪器

6. 组件

Web组件描述通过使用RiskIQ技术执行Web抓取而获得的Web站点或服务器基础结构。这些组件提供了对用于托管站点的内容以及在Web搜索时加载的技术的全面理解。只要有可能，PASSIVETOTAL将尝试对特定组件进行分类并指定版本号。(图7)。

图7.PASSIVETOTAL——-组件

7. 双主机

双主机是两个域(父域和子域)，它们共享一个由RiskIQ网络爬行观察到的连接。连接的范围可以从顶级重定向(HTTP 302)到更复杂的东西，如iframe或脚本源引用。(图8)。

图8.PASSIVETOTAL——双主机

8. OSINT

开源情报(OSINT)是一份由个人和公司开发的报告，有短有长，描述了具体的威胁、方法或行为者。PASSIVETOTAL维护了从博客、研究论文和演示中解析的大量数据的存储库，以将这些报告映射到平台中的基础设施(图9)。

图9.PASSIVETOTAL——OSINT

来自OSINT存储库的数据是公开的，所有平台用户都可以免费访问。一旦确定，OSINT数据及其分类(恶意的、非恶意的、可疑的、未知的)将显示在要查询的条目上。用户可以单击OSINT选项卡查看详细报告或从与查询的指标关联的上下文标签中提取详细信息。

9. 散列

在这里可以找到过去可以与域或其基础设施相关联的哈希格式的文件(图10)。通过这种方式获得的数据提供了与其他域和基础设施的连接信息，这些文件以前也出现在这些域和基础设施中。

图10.PASSIVETOTAL——散列

10. DNS

DNS条目就像互联网上的电话簿。它们不仅提供了关于域名后面的IP地址的信息，还提供了关于MX(邮件交换器)、NS(名称服务器)、TXT(文本)、SOA(开始授权)和CNAME(规范名)记录的信息。这些记录类型很有趣，因为一些恶意玩家可能使用特定的名称服务器(NS记录)来一次又一次地分割他们的基础设施，或者只配置一个特定的邮件提供者(MX记录)来管理他们的命令和控制通道。更复杂的数据类型(如SOA和TXT)提供了有关相反基础设施的惟一信息。例如，在注册域时，需要一个有效的电子邮件地址来完成该过程。有经验的玩家可以选择通过数据保护来保护他们的数据，但是他们的原始电子邮件地址可以包含在与DNS区域相关的SOA记录中，而他们却不知道。分析人员可以在WHOIS数据中进行搜索，以找到更多与此电子邮件注册的域名。PASSIVETOTAL对该数据的处理如下(图11)。

图11.PASSIVETOTAL——DNS

11. 项目

在PASSIVETOTAL中，所谓的项目可以通过一组数据创建。有私人和公共项目。如果有特定领域的公共项目，可以在这里找到。

12. cookie

cookie不仅提供了在页面(例如购物车)上持久化特定数据状态的可能性。它们还提供了一种跨越多个页面跟踪用户的简单方法。PASSIVETOTAL收集cookie，并提供显示网站行为变化的能力。例如，不同的活动可以很容易地显示(图12)。

图12.PASSIVETOTAL——Cookie

提取功能

PASSIVETOTAL为上面列出的每个选项卡提供了以CSV形式下载单个或收集和聚合数据集的可能性。要做到这一点，必须选中左边的数据集，然后可以通过右边的下载链接下载(图13)。

图13.下载收集的资料

PassiveTotal-API

练习1(获取PASSIVETOTAL API密钥)

PASSIVETOTAL当然也提供了一个API接口。可以这样设置。

1. 首先单击主页上的链接Settings。(图14)。

图14.PASSIVETOTAL ——设置菜单

2. 然后，通过Show链接可以在API ACCESS的设置中查看API密钥和Secret(图15)。

图15.获取API密钥

该API是一个简单的REST API。这意味着电话可以通过固定地址拨打。使用Linux控制台甚至可以实现简单的客户机。一个简单的Python客户机看起来像这样(图16)。

图16.Python中的简单API客户端

这个客户端返回以下结果(图17):

图17.API客户端的输出

练习2 (PASSIVETOTAL API客户端设置)

当然，PASSIVETOTAL也提供现成的客户，供其使用和进一步开发。其中有Rust-， Ruby-和python -客户端。Python客户端的开发页面可在以下网址找到:

https://github.com/PassiveTotal/python_api.

然而，它们是非常有限的，应该被视为内部开发的起点。因此，在本练习中，您将使用客户端的自定义开发。可在以下地址索取:

https://github.com/nored/PassiveTotal.

客户端提供以下选项:

•被动的DNS查询

•查询网站组件

•查询网站跟踪器

•查询子域

•查询关于给定URL的恶意软件知识

•WHOIS查询

•SSL证书

•将生成的数据记录导出为CSV格式。

在以前使用的虚拟机中，可以相对容易地设置客户机。

1. 要做到这一点，打开一个终端窗口并输入以下命令:

(a) git克隆https://github.com/nored/PassiveTotal.git

(b) cd PassiveTotal

2. 在输入并成功运行这两个命令之后，您现在应该在程序目录中。用以下命令启动程序(图18):

./ minimum -client.py -a PDNS -q th-brandenburg.de

图18.客户端安装

3.现在您应该能够读取以下输出:

4. 您可以从输出中复制命令，或者使用自己选择的文本编辑器打开文件。

5. 填写缺少的api_key和api_username(图19)。

6. 电子邮件和api_key可以在上面描述的API数据中找到。

7. 安装成功后，可以使用客户端。

图19.PASSIVETOTAL—— API密钥配置

总结

PASSIVETOTAL提供访问被动DNS解析数据，WHOIS注册商和注册商详细信息(当前和历史)，SSL证书信息，网页上找到的web跟踪器信息，谷歌Analytics, Clicky, New Relic，和更多。诸如web组件信息、运行在web服务器上的软件和框架的详细信息、主机对、web页面之间的连接以及来自该页面的后续请求等数据也由该工具提供。RiskIQ PASSIVETOTAL从整个互联网收集数据，吸收情报来识别攻击者基础设施周围的威胁，并使用机器学习来扩展威胁检测和响应。PASSIVETOTAL提供了关于谁是攻击者、他们的工具和系统，以及防火墙之外(企业和第三方)的危害指标的上下文。

在当今的动态IT环境中，许多组织努力在攻击者之前找到处于风险中的每个系统和应用程序。CENSYS为防御者提供了自动化的可见性，他们需要真正理解并提前应对这些风险，即使是小的安全团队也能产生巨大的影响。因此，重要的是要有经过培训的操作员，他们有必要的专业知识，并能有效地使用这个工具。

本文中创建的课程为参与者提供了开源情报主题的全面概述。它允许他们独立使用新教授的工具，从免费来源收集数据，并将其汇总成调查结果。为此目的，这些任务是为几个实验室练习设计的。

作者：

Klaus Schwarz分别于2017年和2020年在德国勃兰登堡理工学院获得计算机科学学士和硕士学位。他的研究兴趣包括物联网和智能家居安全、OSINT、机电一体化、传感、嵌入式系统、人工智能和云安全。作为一名教师，他正在柏林应用科学大学(SRH Berlin University of Applied Sciences)开发一个侧重于人工智能的应用机电系统研究生项目。

Reiner Creutzburg是德国勃兰登堡技术学院应用计算机科学的退休教授。自2019年以来，他是SRH柏林应用科学大学柏林理工学院IT安全教授。他是IEEE和SPIE的成员，自2005年起担任电子成像会议上的移动设备多媒体(MOBMU)会议主席。他的研究兴趣集中在网络安全，数字取证，开源情报(OSINT)，多媒体信号处理，电子学习，并行内存架构，现代数字媒体和图像应用。

原文及机器翻译文档已上传小编知识星球，

可长按二维码识别加入下载