【开源情报】OSINT尚未被开发的金矿：机遇，公开挑战和未来趋势
摘要：
当前互连世界所产生的数据量是不可估量的，并且此类数据的大部分是公开可用的，这意味着任何用户都可以随时随地从Internet上的任何地方访问这些数据。在这方面，开源情报（OSINT）是一种情报类型，它实际上可以通过收集，处理和关联整个网络空间的点以产生知识来从这种开放性质中受益。实际上，最新的技术进步导致OSINT当前以令人眼花缭乱的速度发展，为政治，经济或社会提供了创新的数据驱动和AI驱动的应用程序，还提供了应对网络威胁和网络犯罪的新方法。这篇论文描述了OSINT的当前状态并对该范式进行了全面回顾，专注于增强网络安全领域的服务和技术。一方面，我们分析了这种方法的优点，并提出了多种方法将其应用于网络安全。另一方面，我们涵盖了采用它时的局限性。考虑到在这个充裕的领域中还有很多事情要做，我们还列举了一些将来需要解决的开放挑战。此外，我们研究了OSINT在政府公共领域中的作用，这构成了利用开放数据的理想环境。
第一节介绍
开源情报（OSINT）包括收集，处理和关联来自开放数据源的公共信息，例如大众媒体，社交网络，论坛和博客，公共政府数据，出版物或商业数据。给定一些输入数据，再加上先进的收集和分析技术的应用，OSINT不断扩展有关目标的知识。这样，找到的信息将再次馈入收集过程，以更接近最终目标[1]。
如今，OSINT已被政府和情报部门广泛采用，以进行调查并打击网络犯罪[2]。但是，它不仅用于国家事务，而且还应用于几个不同的目标。实际上，当前的研究集中于（但不限于）图1所示并在下面描述的三个主要应用程序：
1、社会舆论和情感分析：随着在线社交网络的兴起，可以收集用户的互动，消息，兴趣和偏好以提取非明示的知识。从社交媒体收集的证据是广泛而广泛的[3]。这样的收集和分析可以应用于例如营销，政治运动或灾难管理[4]。
2、网络犯罪和有组织犯罪：OSINT流程不断分析和匹配开放数据，以便在早期发现犯罪意图。考虑到对手的模式和重罪之间的关系，OSINT能够为安全部队提供及时发现非法行为的机会[5]。在这个方向上，通过利用开放数据，将有可能追踪恐怖组织的活动，这些组织在互联网上越来越活跃[6]，[7]。
3、网络安全和网络防御：ICT（信息和通信技术）系统不断受到犯罪分子的攻击，旨在破坏所提供服务的可用性[8]。因此，面对面对网络安全领域仍然存在的挑战，研究对于保护那些系统免受网络攻击者至关重要。[9] 从这个意义上讲，数据科学不仅应用于渗透测试中的足迹，而且还应用于组织和公司的预防性保护。具体而言，数据挖掘技术可以通过对日常攻击进行分析，将其关联起来并支持决策过程进行有效防御，同时也有助于迅速做出反应来提供帮助[10]。同样，在这种情况下，OSINT也可以视为追溯和调查的信息源。法医数字分析[11]可以结合使用OSINT来补充事件遗留的数字证据。
除此之外，OSINT可以应用于其他上下文。特别地，可以通过执行社会工程攻击来提取相关信息。出于不良动机的实体利用在线发布的（例如，在社交网络上）公开可用的信息来创建吸引人的钩子来捕获目标[12]。此外，还可以对公开数据执行自动准确性评估，以公开假新闻和伪造品等[13]。
尽管如此，重要的是要注意公共数据的使用也损害了问题。一方面，欧盟通用数据保护条例（GPDR）限制了与欧盟区域内个人相关的个人数据的处理[14]。另一方面，存在与用户隐私相关的强大道德成分。特别是，对人的描述[15]可能会揭示个人详细信息，例如其政治偏好，性取向或宗教信仰等。此外，对如此大量信息的利用可能会导致滥用，从而通过网络欺凌，网络八卦或网络侵害来伤害无辜者[16]。
这篇论文是[17]中提出的工作的扩展，它通过分析OSINT的积极和消极点，描述应用这种类型的智能的方式以及阐明OSINT的未来发展方向，涵盖了OSINT的现状和未来。这种范式。此外，这项工作还提供了对不同技术，工具和开放挑战的更详细描述。此外，我们建议将OSINT集成到DML（检测成熟度级别）模型中，以在网络攻击调查的背景下从不同的角度解决归因问题。我们还将介绍示例工作流程，以促进对OSINT的理解和使用，以从基本输入开始收集有价值的信息。
此外，我们的目的是激发OSINT生态系统的研究和进步。这种生态系统的范围非常广泛，从心理学，社会科学到反情报和营销。正如我们到目前为止所看到的，OSINT是一种有前途的机制，可以具体改善传统的网络情报，网络防御和数字取证领域[18]。由于当前的技术和大量的开源，这种方法可能会对社会产生影响。在这个话题上还有很长的路要走，本文提出了一些未来有吸引力的研究方向。
本文的其余部分安排如下。
第二节回顾了OSINT领域的最新研究工作。
第三节讨论了OSINT发展的动机，利弊。
第四节解释了OSINT的主要步骤和执行这些步骤的实际工作流程。
第五节包括对基于OSINT的收集技术和服务的深入描述。
第六节分析和比较了一些OSINT工具，这些工具可以自动进行OSINT信息的收集和分析。
第七节提议将OSINT整合到网络攻击调查中。
第八节着眼于OSINT在一个国家内的影响，不仅是为了其内部网络防御业务，而且是透明政策的受益者。西班牙特别被视为亲和性的参照，并与世界其他地区紧密联系。
第九节提出了有关OSINT研究的一些公开挑战。
第十节总结了一些关键的观点以及未来的研究方向。
第二节最新的OSINT
近年来，随着大数据和数据挖掘技术的进步，研究界已经注意到，开放数据是分析社会行为并获得相关信息的强大来源[19]。接下来，我们将围绕OSINT的上述三个主要用例中的每个来描述一些出色的工作。
关于使用OSINT 提取社会舆论和情感，Santarcangelo 等人。[20]提出了一种用于通过社交网络确定用户对给定关键字的意见的模型，特别是研究推文中使用的形容词，强化词和否定词。不幸的是，这是一个仅基于意大利语的简单基于关键字的解决方案，没有考虑语义问题。而Kandias 等人的研究[21]可以将人们对社交网络（特别是Facebook）的使用与其压力水平相关联。但是，实验仅在405个用户上进行，而如今，有机会处理大量数据。文献[22]进行了另一项有趣的研究。作者在其中将自然语言处理（NLP）应用于WhatsApp消息，以可能防止在南非发生大规模暴力事件。不幸的是，调查仅限于文本消息，因此不包括可以通过多媒体材料公开的重要信息。
在网络犯罪和有组织犯罪的背景下，有几篇著作探讨了OSINT在刑事调查中的应用[23]。例如，OSINT可以利用Quick和Choo [11]提出的框架提高起诉和逮捕罪犯的准确性。具体而言，作者将OSINT应用于各种设备的数字取证数据，以增强犯罪情报分析能力。在这一领域，OSINT产生的另一个机会是侦查非法行为以及防止诸如恐怖主义袭击，谋杀或强奸等未来犯罪。实际上，欧洲项目ePOOLICE [24]和CAPER [25]旨在开发有效的模型以自动扫描开放数据，以分析社会并发现新兴的有组织犯罪。与之前提到的项目相反，该项目的建议在实际案例中并未得到实际应用，Delavallade 等人（2006年）。[26]描述了一种基于社交网络数据的模型，该模型能够提取未来的犯罪指标。然后，将这种模型应用于盗铜和圣战宣传案例。
从网络安全和网络防御的角度来看，OSINT是改善我们的网络攻击保护机制的宝贵工具。Hernández 等人[27]提出在哥伦比亚的背景下使用OSINT来防止攻击并允许战略预期。它不仅包括用于收集信息的插件，还包括用于执行情感分析的机器学习模型。此外，DiSIEM欧洲项目[28]的首要目标是在当前的SIEM（安全信息和事件管理）中集成各种OSINT数据源系统，以帮助应对基础架构中最近发现的漏洞，甚至预测可能出现的威胁。此外，Lee and Shon [29]还设计了一个基于OSINT的框架来检查关键基础设施网络的网络安全威胁。但是，所有这些方法尚未应用于现实情况，因此其有效性仍然值得怀疑。
在文献[30]中，作者将论文扩展到其他应用领域，展示了如何以自动化的方式被动地收集有关组织员工的重要信息。这些信息然后与所谓的社会工程学攻击面的分析相关，表明了该方法的有效可行性。然后，作者提出了一系列潜在的对策，包括公司可以利用的公众可用的社会工程漏洞扫描程序，以减少员工的风险。
此外，在文献[31]中，对学院提出的用于对公开数据进行自动准确性评估的方法，方法和工具进行了系统的审查。具体来说，作者研究了2013年至2017年之间的107个研究项目，以探讨最新的真实性评估。由于虚假新闻和虚假信息的传播，最近十年来，这已成为人们高度关注的问题。在这个方向上，作者概述了该领域的相对不成熟，确定了将成为未来研究趋势特征的若干挑战。
第三节OSINT的优点和缺点
OSINT的应用领域很多，并且在这种范例下开发的解决方案正在增加。但是，在此方法论背后，开发人员和工程师必须权衡取舍。从技术的角度来看，如表1所示，OSINT带来了许多好处，但是它也必须处理一些限制，下面将详细介绍。
A. OSINT的好处
1）大量可用信息
当前，有大量有价值的开源数据需要分析，关联和链接[32]。这包括社交网络，政府公共文件和报告，在线多媒体内容，报纸，甚至是深网和暗网[33]等。实际上，Deep Web和Dark Web（后者在前者中受限制）都包含比Surface Web（即，大多数用户都知道的Internet）更多的信息[34]。为了能够访问这些网络，有必要使用特定的工具，因为它们的内容没有被传统的搜索引擎索引。
与Surface Web和大多数Deep Web不同，Dark Web为使用它的用户提供匿名和隐私。此属性便于犯罪分子利用此网络进行浏览，进行搜索和出于非法目的进行发布，同时隐藏其身份。因此，Dark Web是应用OSINT并打击网络犯罪，有组织犯罪或网络威胁的理想来源。另一方面，对这些人的追求和匿名化是OSINT正常工作的当前不平凡的挑战[35]。
2）高计算能力
计算机体系结构，处理器和GPU（图形处理单元）的进步使得能够进行收集，处理，分析和存储方面的劳动密集型操作[36]。借助此功能，我们有机会应用OSINT考虑大量的公共信息，并混合使用来自不同类型的开源的大量数据集，关系和模式，同时应用先进的处理和分析技术。
3）大数据与机器学习
数据分析和数据挖掘技术以及机器学习算法的涌现，可以使调查和决策过程自动化并使其更加智能和高效[36]。它允许发现人类自然无法预测的复杂关联。这一点将成为未来OSINT活动的关键，因为它将标志着人类驱动研究与人工智能主导研究之间的差异。通过合并这些技术，收集和分析过程将得到明显改善，从而可以进行接近我们目标的准确调查。此外，政府反情报机构可以利用这种范式进一步提高托管信息的质量，从而进一步提高打击恐怖组织的能力[37]。
4）补充数据类型
向OSINT提供其他类型信息的可能性[38]。系统的固有结构足够开放，可以包含尚未从开放源实际获得的数据。这个事实意味着，如果我们能够添加外部信息来补充调查，则OSINT甚至会更加有效。例如，执法机构可以利用公民的协作来进行OSINT搜索，情报服务可以利用有关网络犯罪或事件的机密信息来丰富OSINT的调查，甚至普通用户也可以将OSINT与社会工程相结合来确定目标。
5）用途广泛
由于OSINT的性质，调查可以扩展到很多问题，并且可以在整个网络空间中收集信息。这种范例可以用于经济，心理，战略，新闻，劳工或安全等方面。特别是，我们可以强调在犯罪和网络安全领域的收益，在这些领域中，OSINT可以监视可疑人员或危险群体，检测与激进主义有关的影响概况，研究社会令人担忧的趋势，支持网络攻击和犯罪的归因，增强数字化法医分析等。[5]，[18]。
B. OSINT的局限性
1）数据管理的复杂性
数据量巨大，因此，有效地处理数据具有挑战性[39]。OSINT考虑尽可能多的信息，同时拥有先进的技术和大量资源以确保高质量的收集，处理和分析，这是有益的。
2）非结构化信息
互联网上可用的公共信息本质上是混乱的。这意味着OSINT收集的数据是如此异构，以至于很难对这些数据进行分类，链接和检查以提取相关的关系和知识[4]。从这个意义上讲，OSINT需要诸如数据挖掘，自然语言处理（NLP）或文本分析之类的机制来使非结构化信息同质化，以便能够对其进行利用。
3）错误信息
社会网络和通讯媒体充斥着主观意见，虚假新闻和胡言乱语[4]。因此，在OSINT机制的实现中必须考虑到不正确信息的存在，并且不应驱动搜索的传播。OSINT活动应始终处理可靠的信息，并遵循可信赖的探索路线，以确保取得积极而令人信服的成果[40]。
4）数据源可靠性
信息的可信度和权威性确实是成功进行OSINT调查的关键[41]。理想情况下，收集的数据应来自权威，经过审查和可信赖的来源（官方文件，科学报告，可靠的传播媒体）[39]。在实践中，OSINT还将与主观或非权威来源（例如社交网络或受控媒体的内容）共存[42]。即使此类资源更容易出现错误信息，实际上它还是可以在其中提取更多知识来调查人员，团体或公司的信息。如果开放信息源的可信度确实是一个限制，那么考虑到用户查询可能会模棱两可地检索所需信息，这将变得更具挑战性[43]。
5）强烈的道德/法律考虑
随着OSINT的发展，人们越来越关注隐私，尊重和人格完整[44]。在这个方向上，必须指出的是，OSINT是否构成道德问题的问题通常位于情报收集道德领域[45]。一方面，尽管OSINT可以公开访问，但它有权公开未明确发布在网络上的信息。考虑到当前相关法规（例如GPDR [14] ），发现的结果应尊重用户的隐私权，并且不泄露亲密和个人问题[15]。在此程度上，可以从互联网上推断出诸如性取向，宗教信仰，政治倾向或折衷行为之类的方面，并且这种公开过程在当今的许多国家中可能是成问题的。另一方面，根据定义，基于OSINT的搜索范围应限于开放数据源。在任何情况下都不能绕过访问控制或身份验证方法来提取知识。
第四节OSINT工作流程
与其他任何类型的智能一样，OSINT也具有定义明确且精确的方法。从我们的科学技术角度来看，我们对三个步骤特别感兴趣。
首先，在收集阶段，根据目标或目的，从相关的开放源中检索公开可用的数据。特别是，由于现有材料的数量大且易于访问，Internet是卓越的资源。收集过程特别重要，因为从此阶段开始，将触发整个情报生成过程。
然后，在分析阶段，对收集的原材料进行处理，以生成有价值且可理解的信息。数据本身是没有用的，因此必须对其进行解释才能获得从深入分析中得出的第一个事实。
最后，在知识提取过程中，先前净化的信息将作为更复杂的推理算法的输入。由于当前时代的计算进展，可以检测模式，分析行为，预测值或关联事件。
值得一提的是，第二步和第三步包括在数据挖掘方面广泛使用和已知的技术。但是，OSINT收集方法不同于当前的数据驱动服务。如今，常见的数据分析应用程序从预定义的数据源中收集尽可能多的信息，并实施清晰的收集过程。相反，OSINT解决方案应从所有可能且可到达的开放资源中收集特定事实。
为了应对后一种具有挑战性的不确定性并进一步向前发展，我们在图2中提出了一个实用的框架来进行基于OSINT的调查。我们已经包括了一些探索路径，这些路径对于优化收集结果的分析和最大程度地提取知识值得遵循。这种高度抽象的方案包括最清晰的事务，代表性元素和出色的操作。
主要的OSINT工作流程和派生情报。
A. OSINT集合
在分析和情报提取步骤之前，研究人员必须扩展有关目标的数据集。为此，我们提出了一些OSINT技术来代表不同的收集策略。特别是，我们考虑了搜索引擎，社交网络，电子邮件地址，用户名，真实姓名，位置，IP地址和域名 OSINT技术（我们将在第五节中进一步介绍）。在每一项之下，将有无数的OSINT服务以类似的方式收集数据。
在此阶段中，假设至少有关于目标的原子数据（例如，真实姓名，用户名，电子邮件地址等）可用。从最初的种子开始，并根据其性质，研究人员应用了最合适的OSINT技术来获取更多数据。从这个意义上讲，使用特定技术获得的结果是另一种技术要使用的数据传输。这些表示的交易说明了传播调查的可能方式，其中，原产地技术的输出成为提供目的地技术的输入。
B. OSINT分析
应该分析和理解通过不同的OSINT技术进行的连续迭代，以生成有价值的信息。文献中越来越多的分析技术可以执行此任务[46]，下面重点介绍适用于我们的情况的那些有吸引力的程序：
词法分析：应检查原始数据以从文本中提取实体和关系。必须将翻译过程应用于OSINT调查中使用的语言[47]，并过滤不增加不增加价值的句子中不增加价值的噪声。
语义分析：如果没有提取含义，那么带一袋单词是没有用的[48]。出于理解数据的目的，如今正在使用自然语言处理算法[49]。另外，情感分析技术允许主观帖子或观点的上下文化，以对作者的情感状态进行分类（例如，积极，消极或中立）。最后，真相发现程序解决了具有挑战性的任务，即解决在同一主题上处于相反立场的多源数据中的冲突[50]。
地理空间分析：值得从基于位置的角度分析从社交网络，事件，传感器或IP地址收集的数据。从这个意义上讲，地图或图表的使用有助于数据的表示和理解[51]，并有助于提取事件或人员之间有意义的联系。
社交媒体分析：现代社交媒体带来的功能使研究人员可以对用户进行深入分析[52]。在这种情况下，对社会数据的分析允许在对象周围创建联系，交互，位置，行为和品味的网络。
启动上述技术的结果被视为输出信息，并分为三大类：
在个人信息融合主要源自真实姓名，电子邮件地址，用户名，社交网络和搜索引擎技术获得的人的身份信息。
该组织信息是由个人组成的团队或公司的一些方面形成的。它实际上是通过社交网络，搜索引擎，位置，域名和IP地址技术收集的。
该网络信息占地面积通常是通过位置，域名和IP地址的技术来实现系统和通信拓扑结构的技术数据。
从逻辑上讲，这三个信息块可以使用更多元素进行扩展。此外，单个调查可能具有互为补充的不同类型的输出信息。
C. OSINT知识提取
到目前为止，所收集信息的价值是毋庸置疑的。然而，对这些发现的智能提取实际上导致了对目标的有吸引力的识别[53]。为此，我们将知识激发视为利用数据挖掘和人工智能技术处理分析结果（输出信息）的方法。在下文中，我们将介绍一些现阶段非常有前途的技术：
相关性：通常检测人，事件或数据之间的关系[54]。强大的相关功能对于揭示数据集中存在的那些非显式关联特别有价值。
分类：数据可以根据预定义的类别（监督学习）[55]分组。该技术允许组织大量信息，以更有效地提取知识[56]。
离群值检测：此过程分析数据集并检测其中的异常[57]。它们对于观察其行为或行动与一般人群不同的类型特别有趣。
聚类：将数据片段分配到聚类中，能够考虑大量条件或启发式方法[58]。例如，这可能会揭示出网络行为的不同方式，各种类型的在线个人资料或对攻击的个人，组织或基础设施进行分类的形式[59]，而无需事先知道这种多样性的存在（无监督学习）。
回归：此技术的主要目标是预测或预测数值或事实[60]。例如，线性回归会返回一个与线性函数有关的值，神经网络是将输入的复杂组合映射到输出的结构，或者是由多层组合而成的深度学习，并与输入进行运算。
跟踪模式：与异常检测不同，模式识别是一种检测数据规律性的过程[61]。上面提到的方法可以包含在此知识发现的广泛概念中。实际上，任何人工智能技术都适用于开放数据知识提取。
这些智能技术允许推断关于目标的抽象，复杂和多汁的问题，这些问题并未在互联网上明确发布[62]。但是，此过程带来了一些挑战，主要在于研究和开发此知识提取过程以识别，描述或监视犯罪分子，识别和探索恶意组织或发现并归因于控制论事件。此外，由于可能实现的有力推断，还会引起一些隐私方面的考虑。提取的有关个人，公司或组织的知识可能特别明智，其操纵间接导致道德和法律问题（第IX-F节专门解决））。的确，我们决不能忽视这些技术甚至可能被滥用以直接伤害人员或群体的事实（第IX-G节中的更深入分析）。
第五节OSINT收集技术和服务
如图所示，OSINT很有前途且功能强大，但是其实现也具有挑战性。实际上，首先要考虑的是将数据作为出发点进行精确处理。幸运的是，由于Internet的存在，如今原始数据的数量已不再是问题。此外，也有越来越多的应用程序（在这种情况下称为OSINT服务）精确地促进了Web上的收集。
在下文中，总结了最常用的OSINT技术。在每种技术中，显示了撰写本文时最出色的关联OSINT服务，从而提示如何有效利用其潜力。值得一提的是，OSINT服务是短暂的，甚至可以增加或减少。相反，OSINT技术是一个更广泛的概念，它将随着时间的流逝而持久。
A.搜索引擎
Google，Bing或Yahoo搜索引擎等都是众所周知且使用广泛的工具。传统上使用它们是应用OSINT的最简单方法。在给定文本查询的情况下，这些引擎在万维网中进行搜索，试图提供与输入匹配的信息，工作得很好，并将有价值的信息返回给用户。
然而，结果的数量可能非常庞大，以至于甚至对用户起反作用。因此，优秀的调查员应该知道如何根据所需结果在搜索引擎中指定请求。诸如Google或Bing之类的服务支持过滤器以优化搜索，并准确检索我们感兴趣的信息类型。例如，使用“”允许完全匹配，OR和AND用作逻辑运算符或*用作通配符。它还允许引进类似条件文件类型指定一个特定的文件类型，网站到搜索结果限制为那些在特定网站上，或INTITLE找到与他们的标题中的某些关键字的网页。表2包含一些可用于优化Google和Bing搜索的运算符。
反过来，Yahoo不允许特定的过滤器，但我们可以限制结果的日期，语言或国家/地区。DuckDuckGo搜索引擎的案例特别有趣，因为它不跟踪用户，也不针对IP地址或搜索历史。这种保护隐私的方法可以使所有用户发现的结果均一，无论其习惯，偏好，位置或搜索历史如何。
此外，一些搜索引擎已针对特定区域进行了设计。Yandex在俄罗斯和东欧广为人知，并实现了搜索运算符2以通过URL，文件类型，语言，日期等限制搜索。百度是另一种在亚洲广泛使用的特定搜索服务。它不仅包括典型的关键字搜索栏，还包括OSINT的其他有价值的资源，例如社交网络，部分问题和答案，虚拟图书馆或百科全书等。也有阿拉伯语社区的搜索引擎，例如Yamli或Eiktub，但是他们的用户要低得多。在调查属于特定社区的人员，团体和公司时，此类服务特别有趣。
最后，必须了解特定的搜索引擎才能浏览Dark Web。OSINT对毒品贩运，儿童色情制品，武器销售或恐怖主义的调查从探索这些不太受欢迎的资源中受益匪浅。为此，Ahmia和Torch是可在Tor匿名网络中使用的搜索引擎[63]。但是，研究人员将不得不处理该网络和站点的匿名性。
B.社交网络
如今，社交网络中个人和组织的日常生活暴露是显而易见的。任何有好奇心的人都意识到，无需任何有关这些平台的高级知识，就可以找到很多个人信息。如表3所示，这些应用程序在OSINT的上下文中提供了精确的搜索可能性。接下来，我们描述一些全球范围内最知名和使用最多的社交网络。
Facebook是遍布全球的社交网络，拥有数百万用户。它可以被视为社会的日记，在那里人们可以找到非常有价值的个人信息以进行OSINT调查。我们目标的资料可以显示他的工作，受教育程度，年龄，位置，去过的地方或喜欢的人群等。这些照片和出版物还可以帮助我们根据我们正在调查的公司或人员，其常去的领域或他/她意识到的活动类型来进行情境介绍。此外，还可以在不知道真实姓名的情况下按位置进行搜索，从而最终找到我们目标的概况。
YouTube是一个基于视频的平台，大型社区围绕着共同的利益进行整合。不仅有价值的是特定用户上传的内容（主题，图像，场景，地点和视频中出现的人物），而且还对订户的意见和评论有价值。
Twitter主要用于实时通信，在这种情况下，通常可以通过有序的时间表来查找个人出版物。除了个人信息揭示的轮廓，所以特别从公布的有趣观点的提取推文，以跟踪和跟随用户或关系喜欢在某些出版物。通过这种类型的互动，OSINT研究人员可以推断出目标在某些问题，组织的利益和偏好或一个人可能有多危险的方向。此外，界面友好3可以在整个平台上通过关键字，精确短语，主题标签，语言，日期等进行搜索的地方。因此，我们甚至可以通过用户，提及或回应来定义探索。
作为共享照片的一种手段，Instagram在现代社会中也很普遍。图片中显示的地点，人员和活动也可以帮助我们确定目标。该位置是一个非常敏感的数据，经常在此平台上共享。从这个意义上讲，我们还可以提及更具体的照片共享服务，例如Tumblr或Flickr。
LinkedIn是与业务相关的社交网络中最受欢迎的网站。它允许按真实姓名，公司，组织，职务或位置进行搜索。在这种情况下，专业资料可以显示完整的联系数据，包括电子邮件地址和手机号码。此外，我们还可以提取有关就业，教育，技能，语言和业务关系的信息。
同样值得考虑的是，那些约会网站用来联系人们以寻找伴侣的约会网站。与其他社交网络（许多用户限制其个人详细信息）不同，此处通常会透露更多亲密方面。因此，诸如Tinder或Badoo之类的服务可用于调查目标的背景信息，个人特征，兴趣，偏好或行为。
最后，可以浏览与社交网络非常相似的在线社区。这些论坛的帖子和主题产生了有趣的交互作用，OSINT对此进行了分析[64]。Reddit或4chan是一个大型社区，承载着无数讨论和意见线程，可以真正识别出有关目标的个人和私人信息。但是，在这些网站中，用户通常是匿名的。此外，发现欺凌，色情或威胁的非法内容并不罕见。
另一方面，也有一些社交网络通常在特定区域内使用。以下服务在某些国家/地区特别重要。
Qzone，微博和人人网是中国最常用的社交网络。第一个是高度可定制的平台，用户可以在其中发布博客，日记，照片或音乐，以揭示有关此人的详细信息。第二个功能与Twitter相似，但还包括民意调查，文件共享和故事（临时照片和视频共享）。最后一个在大学生中很普遍。那些针对中国人的OSINT调查可以从这些网站中获得可观的利润。
也有社交网络将俄罗斯同胞和东欧公民联系起来。在这方面，VKontakte（也称为VK）非常受欢迎。功能，甚至外观都与Facebook非常相似。用户能够与朋友保持联系，参与在线社区，在私人或公共页面上张贴消息，照片和视频，甚至共享文件。另一个值得一提的俄罗斯网站是Odnoklassniki，主要用于成人。实际上，其用户的主要目的是拥有在线个人资料，与现实生活中的朋友保持联系并搜索以前的同伴或过去的朋友。从这个意义上讲，可以进行OSINT来发现过去到现在的人与人之间的联系。
在日本，Mixi是社会上非常普遍的社交网站。除了典型的功能外，我们还可以强调对产品进行评论，在平台内创建个人博客，参与社区或管理音乐喜好和收听习惯的可能性。
对于说西班牙语的国家，特别是拉丁美洲的塔林加！是一个著名的社交平台，用于与朋友共享照片，视频和新闻。此外，用户还可以创建社区，玩在线游戏或共享音乐。
最后，由于对外部服务的现有审查，在伊朗，最受欢迎的本地社交网络是Facenama和Cloob。第一个主要用于共享帖子，照片和视频，而第二个则包括社区讨论，照片共享，发布或聊天室。关于审查制度的情况在拉脱维亚发生，德拉诺姆被广泛用于共享内容和在线交流。
C.电子邮件地址技术
由于可能重复使用姓名，因此按人的真实姓名进行搜索可能会令人沮丧，因此有时值得从一个唯一的电子邮件地址开始，该电子邮件地址可以更快地获得更好的结果。如表4所示，有一些有趣的OSINT服务可以使用电子邮件地址作为输入。
首先，可以使用Hunter来确定电子邮件地址是否有效。然后，“我是否被伪造”会通知给定的电子邮件地址是否包含在公共违规行为中（以至于该地址在某个时候遭到破坏）。特别值得一提的是，调查人员可以浏览电子邮件地址遭到破坏的站点列表。这些服务是查找有关所有者的公共信息的潜在来源。另一个有价值的页面是Pipl，它可以很好地查找有关电子邮件地址所有者的信息，例如真实姓名，用户名，地址，电话号码，教育程度，职业等等。
D.用户名技术
如表5所示，用于在线服务的昵称也是一种收集有关人的信息的好方法。访问这些服务将使研究者可以自动同时在多个网站中检查用户名，以识别更多信息来源。
服务KnowEm，Name Chk，Name Checkr或User Search验证给定用户名在最流行的社交网络和域中的存在。
反过来，NameVine提供了一个有趣的功能，可以在尝试猜测确切的用户名时提供帮助。具体而言，它建议与给定用户名部分匹配的前十个社交网络的配置文件。这种实时解决方案可以快速验证用户名变体（例如，更改昵称的最终数量），而无需与其他服务重复启动耗时的查询。
Lullar网站使用了不同的方法。它会自动生成URL，以访问不同社交网络中的用户名配置文件，而无需检查它们是否存在。如果链接有效，则该社交网络的配置文件存在，而如果断开，则显然意味着相反。除了加快手动检查之外，最有用的应用程序是当我们拥有的用户名有疑问或不完整时，探索可能的用户名。当初始URL失败时，社交网络通常会列出相似或替代用户，这些用户可用于标识整个现有用户名。
E.实名制
如表6所示，搜索目标真实姓名也会产生良好的结果。除社交网络外，特定服务还可以显示家庭住址，电话号码，电子邮件帐户，用户名等。
我们可以将Pipl突出显示为一个网站，该网站会根据名字和姓氏返回更多信息。由于同一个真实姓名可能有多个结果，因此可以通过包括该人的其他方面（例如电子邮件，电话，国家，州，城市，用户名或年龄）来优化搜索。
那是他们也提供了惊人的输出，包括电话号码，电子邮件地址，住所，关联的IP地址，经济状况，教育程度，职业或语言。另一个著名的服务是Spokeo，其免费版本已缩减为显示全名，性别，年龄，以前的城市以及居住地和亲戚的州。有关目标的更多详细信息，需要支付高级订阅费用，这超出了我们的范围。类似的服务将包括Fast People Search，Nuwber，Cubib或Peek You。
前述服务在美国可以正常使用，但是如果我们想将OSINT应用于居住在另一个国家的目标，则使用Yasni更为合适。但是，获得的结果是与社交网络，地址和个人联系人，教育和其他相关的链接。
家谱搜索，家谱即时树，GENi或True People Search等族谱服务通过提供亲属信息来覆盖搜索的另一种观点。发现我们目标的家庭联系扩大了我们可以揭示的信息量，在这种情况下是间接的。
F.定位技术
研究我们的目标常客的位置可以使我们了解他/她的习惯和背景。了解公司的地理位置或事件发生的位置也很有趣。从这个意义上说，图像，地址和GPS坐标是值得获取的数据。表7显示了一些专门为这些目的而设计的服务。
Google Maps，Wikimapia或Bing Maps是从GPS坐标中找出位置的知名站点。另一方面，还可以从GPS坐标处的位置名称反向获取此类信息。
请注意，评论服务提供的图像会不断更新。但是，我们可能会对检索过去情况的旧图像感兴趣。历史性天线，Terra服务器或Land Viewer结合了历史图像功能，以精确发现位置的过去和过时的视图。
G. IP地址技术
IP地址是通过网络攻击调查，电子邮件地址或Internet连接获得的。它们对于数字取证分析也至关重要，以便从事件中收集尽可能多的信息。表8总结了一些有助于完成这些任务的服务。
域名或ISP（Internet服务提供商）。如果我们对特定事实感兴趣，除了IP位置，ViewDNS网站还提供更多技术信息。特别是，它包括用于显示有关域名的注册信息，显示IP地址上托管的其他域，发现可能打开的公共端口以及在其上运行的服务或查看从ViewDNS到目标IP地址的网络路径的服务。并分析关联的网络，路由器和服务器。
但是，以前的资源提供的数据不是敏感数据或个人数据。相反，That's Them确实提供了有关与给定IP地址相关的人员，家庭住址，公司或电子邮件地址的有趣信息。
提供个人信息的另一项强大服务是“ 我知道您下载了什么”。该服务监视在线种子，并公开与任何收集的IP地址关联的文件。我们的目标下载的文件可以揭示有关他的行为或兴趣的真正敏感信息。
H.域名技术
OSINT调查中的一个典型兴趣点是网页。他们可以揭示有关我们目标的有趣信息，特别是无论我们是与个人还是公司打交道。值得注意的是，为IP地址解释的大多数技术在此情况下也适用。除了它们，我们还可以突出显示表9中提供的其他一些服务。
DNS跟踪提取DNS记录，但也标识与遇到的结果相关的其他域的数量。在此程度上，这是查找关系和联系的非常有用的方法。Whoisoly还示出了从拥有者的姓名，地址，电话号码或电子邮件地址的交叉引用图。
Wayback Machine是另一项强大的服务，该服务定期从整个Internet备份许多网站。这使研究人员可以分析网站的发展和变化，并能够查看特定日期的特定屏幕截图。
此外，可以通过Visual Site Mapper或Threat Crowd可视化域连接。通过访问Whois来检查DNS和邮件服务器也很有用，Whois还提供了用于检查连接性的ping功能和用于研究到给定域的数据路径的traceroute功能。还有诸如Alexa和SametimeWeb之类的服务来计算流量静态信息，还有诸如FindSubdomains之类的服务来搜索子域。
第六节OSINT工具
手动使用某些技术对于基本搜索就足够了。不幸的是，使用一些服务可能对挑战性调查无效。从这个意义上讲，OSINT的潜力在于以级联方式使用尽可能多的服务。重复遵循工作流程将扩展可用信息，以将难题的所有部分放在一起。但是，最终用户手动组合几种OSINT技术及其相关服务是不切实际的。这样繁琐的任务将需要漫长的研究过程。
为此，研究人员和开发人员已实现了更精确的工具，可自动应用OSINT技术并从许多不同的来源收集更好的质量信息，在内部实施多个工作流，从而获得更多的奖励信息和更好的推论。
表10给出了当今最流行和相关的OSINT工具的主要功能。我们指出了它们允许的输入和输出的类型，包括自定义功能的功能，用户界面的类型，功能的平台以及其他有趣的杂项功能。
尽管如此，文献中仍然有很多OSINT应用程序可以在OSINT框架中访问。
FOCA
由ElevenPaths设计的FOCA 5（具有收集档案的指纹组织）的主要贡献是对电子文档中存在的元数据的提取和分析。此应用程序既可以用于计算机中的本地文件，也可以用于使用三个不同的搜索引擎（Google，Bing和DuckDuckGo）从指定网页下载的外部文档。FOCA考虑多种格式，例如Microsoft Office，PDF，Open Office，Adobe InDesign，SVG文件等。
该应用程序提取文件的隐藏信息并对其进行处理以显示与用户相关的方面。通过此过程发现的一些详细信息包括与文档相关的计算机的名称，文档的创建位置，使用的操作系统，相关用户的真实姓名和电子邮件地址，有关服务器的数据，创建日期结果，可以基于提取的元数据绘制网络图以识别目标。
FOCA还包括服务器发现模块，以补充文档的元数据分析。该工具使用的一些技术是：
（i）Web搜索，用于通过与给定域关联的URL搜索主机和域名；
（ii）DNS搜索，以通过NS，MX和SPF服务器发现新的主机和域名；
（iii）IP解析，用于通过DNS获得遇到的主机的IP地址；
（iv）PTR扫描，用于在发现的网段中查找更多服务器；
（v）Bing IP，用于提取与遇到的IP地址相关的新域名。
该工具通常用于安全部门，因为它可以使公司陷入困境。实际上，它能够输出非常好的结果，因为公司通常不会从上传到网络的文件中清除元数据。
Maltego
Maltego 6是一个著名的应用程序，可以在不同来源（DNS记录，Whois记录，搜索引擎，社交网络，各种在线API，文件元数据等）中自动查找有关某个目标的公共信息。找到的感兴趣项之间的关系以有向图的形式表示，以进行分析。该工具定义了四个主要概念：
实体：是图的节点，代表发现的信息。一些默认实体是真实姓名，电子邮件地址，用户名，社交网络配置文件，公司，组织，网站，文档，从属关系，域，DNS名称，IP地址等等。此外，我们还可以为我们的特定调查定义自定义实体。
转换：是一段代码，应用于实体以发现新的链接实体。例如，可以将DNS名称解析为IP地址的 “ To IP Address ” 转换可以应用于域名实体“ um.es”以创建新的IP地址实体“ 155.54.212.103”。递归地，我们将继续应用更多的转换，从而传播搜索过程。除默认转换外，还可以实现和包括自定义转换以用于更特定的目的。
机器：是一组定义在一起的转换，要执行这些转换，以自动化和连接较长的搜索过程。
集线器项目：是一组转换和实体类型，用于允许社区用户重用它们。默认情况下，Maltego实现名为“ Paterva CTAS”的中心项目，其中包含由官方开发人员维护的实体，转换和机器。此外，可以创建和安装第三方中心项目。
Metagoofil
Metagoofil 7的作用与FOCA类似。它是一个收集工具，可下载在目标域或URL中找到的公共文件并提取其元数据以输出知识。它会为渗透测试者生成有用的报告，其中包括用户名，真实名称，软件版本以及服务器或计算机名称。它还可以找到可能包含资源名称的其他文档。
尽管它是命令行功能，但允许使用一些有趣的选项进行OSINT调查。除了指定目标域或要分析的本地文件夹外，Metagoofil还允许过滤文件类型（pdf，doc，xls，ppt，odp，ods，docx，xlsx，pptx），缩小搜索结果的范围并减少下载文件的数量，确定保存下载文件的工作目录，或选择要写入输出的文件。
Recon-NG
Recon-NG 8是类似于Metasploit的Web识别框架。它提供了一个命令行界面，该界面允许人们选择要使用的模块，该模块实质上是OSINT资源。然后，如有必要，我们设置一些参数并启动该过程。搜索结果将连续保存在工作区中，该工作区又将馈入下一轮处理。
该工具包括几个实现不同功能的独立模块。例如，Bing和Google搜索引擎中的Bing域Web模块和Google Site Web搜索模块分别用于连接到工作区域的主机；PGP Search扫描存储的域以查找与公共PGP密钥关联的电子邮件地址；Full Contact考虑存储的联系人，在数据库中收集用户和相应的社交网络配置文件；或Profiler搜索其他拥有名称与工作空间中的用户名相同的帐户的联机服务。
Recon-NG在本地数据库中不断凝集所有获得的信息。这样，用户可以通过选择指示的模块来指导研究，并且该工具可以从那里自动生成知识。该系统可针对复杂的调查显着扩展。
Shodan
Shodan 10是一个搜索引擎，可提供Internet连接节点（包括IoT设备）的公共信息。其中包括服务器，路由器，在线存储设备，监控摄像头，网络摄像头或VoIP系统等。数据收集是通过HTTP或SSH等协议进行的，允许用户按IP地址，组织，国家/地区或城市进行搜索。
该工具主要用于网络安全（查找暴露在外部的设备或检测公共服务的漏洞），物联网（监视智能设备的使用及其在世界地理上的位置）以及跟踪勒索软件（以衡量此类攻击引起的感染）。它允许以JSON，CSV或XML格式下载结果，以及生成用户友好的报告。
除了上述功能外，还有两项高级服务，分别是：Shodan Maps（maps.shodan.io）（允许基于位置进行调查）和Shodan Images（images.shodan.io）显示从公共设备收集的图像。
Spiderfoot
Spiderfoot 11是另一种侦察工具，可自动通过大量公共数据源来编译信息。我们的输入可以是IP地址，子网，域名，电子邮件地址，主机名，真实姓名或电话号码。结果以包含所有实体和关系的节点图表示。
根据引入的输入类型，此工具可以自主选择模块（等效于Maltego转换）来激活，以进行更有效的侦察。此外，它还考虑了用户选择的搜索级别。Spiderfoot提供了四种类型的扫描：
（i）被动收集尽可能多的信息而不接触目标站点，从而避免被目标揭露；
（ii）调查人员进行基本扫描，以发现目标的恶意行为；
iii 足迹确定目标的网络拓扑并从网络和搜索引擎收集信息，足以进行标准调查；
（iv）全部，尽管需要很长时间才能完成，但建议进行详细调查，因为它绝对会查询与目标有关的所有可能资源。
该工具可用于启动渗透测试，以揭示数据泄漏和漏洞，红队挑战或支持威胁情报。另外，值得注意的是，可以对定制的Spiderfoot模块进行编程。
收割机
收集器12允许通过搜索引擎收集与域名或公司名称有关的公共信息。特别是，它能够列出公司的电子邮件和主机名，以及与该域相关的子域，IP地址和URL。它还允许结果的用户友好的HTML或XML表示形式。此资源用于渗透测试的早期阶段。
该工具通过控制台进行管理，在扫描我们的目标网站时实现了两个选项。一方面，Harvester代表原始脚本，该脚本实际上提供了相关电子邮件地址的列表，而另一方面，EmailHarvester通过更深入地挖掘以获得更好的结果来改进此过程。
英特尔技术
Intel Techniques 13是由Michael Bazzel创建的工具，它提供了数百种按技术分组的在线搜索实用程序。
使用它时，研究人员将选择要使用的服务，并且此工具会自动创建关联的查询链接。之后，用户可以在浏览器中输入它们以启动查询。但是，信息的可视化和收集仍然是手动的。
尽管它没有实现服务的自动集成，但我们已经将InterTechniques视为OSINT工具，该工具可帮助从集中式平台启动对各种服务的搜索。
不幸的是，由于持续的网络攻击，该工具自2019年7月起不再免费，并阻止了其开放访问。
OSINT工具比较
根据用户需求（参见表10），某些工具将比其他工具更适合于给定任务。
因此，如果我们打算从文件中提取隐藏信息，则FOCA和Metagoofil是为此目的而设计的特定工具。特别是，第一个产品似乎比第二个产品更加完整，成熟和强大。FOCA除了对文件进行元数据分析外，还提供其他功能来补充隐藏的信息。结果，它能够推断出有关目标的更多知识。
但是，如果我们正在寻找网络信息，则建议将Shodan，Spiderfoot和The Harvester推荐用于此任务。一方面，我们建议Spiderfoot分析目标的拓扑并检索有关目标组织的内部（但公共）信息。另一方面，我们将与Shodan一起完成结果，以包括有关IoT设备，监控摄像头，网络摄像头，VoIP系统或一般智能服务的特定信息。
最后但并非最不重要的一点是，如果搜索的目的是为给定的输入收集尽可能多的信息，则资源Recon-NG和Maltego是更完整的资源，它们将返回各种数据和关系。第一个包含许多模块，并与在调查过程中扩展的本地数据库进行交互，是进行渗透测试，网络钓鱼和社会工程攻击预防甚至对个人进行概要分析的理想框架。相反，如果我们想避免使用命令行，而是选择一个更加用户友好的界面，则可以使用Maltego是OSINT活动的不错选择。它通过转换来实现自动推理过程，从而扩大了原始搜索的范围。而且，它可以通过自定义发现过程扩展。
尽管已根据所需的输出进行了上述比较，但实际上，用户将受到可用输入和所选OSINT工具接受的数据类型的限制。最后，请注意，这些工具是互补的且互不排斥的，这意味着对OSINT进行深入而透彻的调查可能会同时从中受益。尽管它们中的某些对于给定的搜索可能会产生相似的结果，但始终存在特定工具找到的细节，而其他人却无法获得。
第七节OSINT在网络攻击调查中的集成
如今，实施检测和响应网络事件的机制是一项义务。越来越多地暴露在Internet上的公司和组织投资于网络安全，以保护其资产免受犯罪分子的侵害。因此，有效地管理针对信息系统的威胁和事件非常重要。
网络防御不仅是部署技术解决方案（例如防火墙，IDS（入侵检测系统），IPS（入侵防御系统），SIEM（安全信息和事件管理）或防病毒软件）以避免已知威胁的方法，而且还在于植入网络智能从事件中提取和分析痕迹，模式和结论。实际上，提取和共享事件的证据，关系和后果的连续周期称为威胁情报[65]。它以最新信息对传统防御机制进行补充，并极大地改善了基础设施的保护，危害的管理和响应的有效性[41]。
此外，通常用于取证和调查的信息仅是技术性的。但是，网络攻击留下的痕迹包含有价值的信息，不仅应与事件存储库进行对比[66]，而且还应与社交网络，论坛，媒体，技术和政府文档以及其他数字公共资源进行对比。这些开放源代码在分析中贡献了语义信息，这对于计算和推理更复杂，影响深远的推论非常有趣。请注意，网络攻击者将互联网用于其非法行为（黑客，网络钓鱼，拒绝服务攻击，僵尸网络，身份盗用，入侵等），也出于个人原因。从这个意义上讲，OSINT可用于连接所有这些点。
将OSINT应用于网络安全的一些工作着重于在面临威胁时提出防御性改进。相反，他们很少寻求识别网络攻击者。OSINT是一种知识来源，可以通过从恶意行为的最小细节到问题根源来支持对网络攻击的调查。最后的挑战并不是新事物，因为它在传统上被称为归因问题[67]。具体而言，OSINT将使我们能够了解网络攻击的动机，猜测程序并最终确定犯罪者。
OSINT的建议应用如图3所示。请注意，已经提出了几种方法和模型来定义组织的检测成熟度，这对于从遭受网络攻击的事件中提取证据至关重要。然而，在这个领域中缺乏表示分类法和本体的标准[68]，因此我们提出了Ryan Stillions的DML模型的修改版本[69]来举例说明这一部分。但是，可以使用另一种网络威胁检测方案以类似的方式来显示OSINT的应用。
DML模型以分级方式表示检测网络攻击时的不同抽象级别。不投资网络安全的公司将只能达到最低要求。相反，具有网络防御技术的组织可能会解释更复杂的事实，即以更多抽象的方式升华。
虽然可以轻松覆盖较低级别，但挑战在于到达较高层。为此，我们建议将OSINT用作情报来源，以最基本的证据为基础得出更可靠的事实：
首先，我们假设可以涵盖DML-1和DML-2级别。第一个是妥协的原子指示符（IOC），由细节组成，例如修改后的文件中的字符串，存储单元的值或通过网络传输的字节等，它们本身的值很小，但是一起形成下一个层次。该主机和网络文物层时期间或网络攻击，如IP地址，域名，日志，交易，哈希值，或文件操作细节后观察到的指标构建的。
由于此类数据驻留在受影响的信息系统中，因此在我们的框架中，它被视为开放源代码中相关信息收集的输入（有关OSINT收集的更多详细信息，请参阅第V节）。因此，这些迹线的提取是OSINT进程的起点。
接下来，我们从DML-3级到DML-6级。第三级工具包括检测攻击者使用的工具的转移，存在和功能。如果能够枚举事件发生期间执行的步骤，则涵盖以下级别的过程。第五级技术提取了攻击者如何具体执行攻击的各个阶段。最后一级，战术，是一个更抽象的概念，它考虑了上面讨论的级别，并通过分析时间和上下文中的一组活动来获取知识。
在这种情况下，该信息将揭示有关网络攻击执行的详细信息。这样的数据极大地丰富了OSINT周期的分析阶段。从这些数据得出的模式以及与已经存储的其他案例的相关性，使我们能够进行更智能，更全面的分析。实际上，这些结论应与收集阶段获得的结果结合在一起。通过这种方式，可以改进通过网络进行的探索，从而将调查范围缩小到最终目标。
最后，OSINT的不断收集和分析过程会生成有价值的信息，并应用了知识提取技术。使用OSINT从DML-1到DML-6级别提取的知识将使我们达到最高级别，即从DML-7到DML-9。第七级，策略，是对计划完成的网络罪犯攻击的高级描述。第八层目标是攻击者的特定目标，表示攻击的真正动机。在顶部，我们找到了身份级别，本质上是负责恶意行为的个人，组织甚至国家的名称。由于很难找到详细信息，因此与其他网络攻击的联系以及与其他事件的相似性可以支持相对归因[67]。也就是说，使用有关显然由同一行为者引起的其他事件的附加信息来完成对当前案件的调查，可以使我们更接近于对网络攻击者的绝对识别。
OSINT的这种应用代表了针对网络威胁而采取的创新行动。挑战在于实现有效的收集和智能分析程序机制，以提取无法从恶意行为中直接提取的那些高级细节。这些细节是要实现的最复杂的信息，因为它们具有很高的抽象度，与技术细节相距甚远。这就是为什么明智的做法是为任何关系或模式寻找开源，这会使我们发现更多有关事件的背景和发起者的信息。OSINT是配置网络攻击者和改进对复杂攻击的检测工具中缺少的关键部分[70] 感谢对DML-3到DML-9的高级行为方面的考虑。
第八节OSINT在国家和州
OSINT不仅对私营部门有利，而且代表了政府的公共利益资源。在这方面，在第VIII-A节中，我们讨论OSINT并不是为偏执的分析师或计算机极客设计的范式，但确实在网络防御国家系统中具有巨大的优势[71]。同样，在第VIII-B节中我们注意到官方机构不仅从内部任务的OSINT结果中获利，而且间接使第三方更容易使用OSINT。实际上，它们成为生成大量数据的代理，每个人都可以访问。从这个意义上讲，政府是一把双刃剑，得益于OSINT，但同时它们也为向Internet提供真正有价值的，有时甚至是敏感的信息做出了贡献。
A.内部事务
传统上，情报机构与执法机构（LEA）和军事机构的工作有关。同样，如今，OSINT被视为国家事务中机密调查和秘密行动的重要钥匙[5]。在某种程度上，可以肯定地说，利用OSINT可以为LEA提供重要能力，以补充和增强其反情报部门在打击犯罪的调查和战略规划中的作用[72]。
据我们能够在官方网站，报告和文档中探索的情况，政府组织似乎实施了内部机制，该机制主要包括利用OSINT机制收集原始信息并将其转化为有用的知识[73]。以代表性的方式，我们可以提及美国联邦调查局（FBI，fbi.gov），美国中央情报局（CIA，cia.gov），加拿大安全情报局（CSIS，canada.ca/en/security-intelligence）服务），欧盟执法合作局（EUROPOL，europol.europa.eu），北大西洋公约组织（NATO，nato.int），美国陆军部（DA，Army.mil），美国国防部（DoD，defence.gov），美国国家安全局（NSA，nsa.gov）或欧洲国防局（EDA，eda.europa.eu），在其他人中。
在这种不确定的情况下，我们决定特别研究西班牙LEA的案例，以证明其亲和力，以证明官方有机体内部确实在使用OSINT。经过全面检查的结果，我们可以有力地确认，要找到国家力量实施OSINT的明确证据并不容易。这类机构的机密性使其难以发现其内部运作模式以及OSINT在当前调查中的影响。但是，由于进行了深入的搜索，我们发现了一些微妙的发现，这些事实证实了OSINT目前被西班牙LEA使用：
早在2007年，CNI的负责人（即西班牙国家情报局）表示14，开源是“ 情报工作的基础和工作基础 ”
CIFAS（即西班牙军事情报局）似乎也使用OSINT作为获取信息的方式。我们发现了一些可以证实这一点的幻灯片，最早可追溯到2008年，并已上传到西班牙国防参谋部的网站上。15
2010年，当CNI主管宣布16建立特殊代理人道德守则时，他还坚持认为，现代情报不仅仅基于物理存在，因为今天“ 您可能会在计算机上获得更多信息，探索来自坏人的消息 ”。
最近，在2017年，西班牙国防部针对该合同打开了一个公开电话17，该合同名为“ 基于IDOL HAVEN平台开发OSINT工具 ”。
目前，西班牙陆军正在设计一种称为Brigade 2035的新模型，该模型融合了创新的技术进步以增强作战能力。在该项目中，18种已定义的战斗功能之一是情报，它明确指出OSINT是一项主要职责：“ 其他越来越重要的设施将是开源获取（包括社交网络）”。
西班牙内政部在《 2019年年度招聘计划》中发布了19项 “ 在网络空间获得OSINT的系统 ”的投资。
考虑到所有这些事实，目前OSINT似乎确实与西班牙的内政有关。类似地，我们也可以强调指出，OSINT也高度发展了欧盟成员国[74]。
B.开放数据政策和透明度
OSINT能否有效取决于互联网以及其他来源上可用的公共数据。在这方面，除了社交网络和其他开放数据源之外，还有由世界各地的国家机构维护的权威性和官方站点，这些站点公开发布了公共信息，因此可以公开使用。
开放数据晴雨表（ODB）是由万维网基金会设计的全球排名系统，用于衡量国家开放数据政策的准备情况，实施情况和影响。在图4所示最新完整版的分数。
正如我们在前面小节中所做的那样，我们研究了西班牙在亲和力方面的具体案例。实际上，在上述ODB报告中，西班牙排名第11位。此外，根据欧洲数据门户网站及其有关整个欧洲开放数据成熟度的官方报告，西班牙是透明度和开放数据方面最先进的国家之一。在过去四年中，它在开放数据成熟度排名中排名第一或第二。如前所述，西班牙政府已促进了160多个开放数据计划，并拥有23,800多个公共信息目录。例如，西班牙政府的开放数据倡议23这清楚地证明了西班牙如何鼓励透明度。OSINT可以从中受益，但是OSINT应该通过链接和推断新知识来处理汇总和统计信息。
当然，还有一些匿名数据库对OSINT毫无用处，因为它们缺乏产生情报的价值。这些所谓的匿名数据集显然不会破坏数据与其所有者之间的链接。最近，已经发布了一种算法[75]，可以从公共数据中明确识别99.98％的美国人。特别是，具有15个与医学，行为和社会人口统计学信息有关的参数就足够了，例如婚姻状况，性别或房屋的邮政编码。因此，OSINT可以再次用于重新识别匿名数据库中收集的人员。
相反，实际上也没有匿名的政府平台。例如，西班牙财政部，西班牙内政部或西班牙国防部通常会发布带有个人信息的文档（例如，“ site：hacienda.gob.es filetype：pdf intext：dni”）。同样，这也可以应用于西班牙自治社区网站。此外，欧洲也有一个公共数据平台24，我们可以在其中找到许多公共信息。例如，在外交政策和安全的背景下，“ 欧盟综合金融制裁清单 ”文件中提供了最新的金融制裁清单。特别是，它揭示了有关个人，团体和实体的个人信息。
所有上述事实表明，世界各国政府都在采用强有力的开放数据政策。直接的结果是，Internet上可用的客观数据量正在迅速增加。除其他开放信息来源外，OSINT还应利用这一强大的机会来收集，分析，链接和推断可靠和官方来源的知识。在这种情况下，根据ODB，英国，加拿大，法国，美国，韩国，澳大利亚，新西兰，日本，荷兰，挪威或巴西等国家/地区是真正的OSINT金矿，其特征与所评论的西班牙非常相似。
第九节公开挑战和未来趋势
对OSINT进行的审查表明，该主题已经开展了大量工作。到目前为止，已经开发了许多技术和工具。但是，在该领域中存在一些差距和局限性，以继续利用所提供的机会。有必要使更复杂的解决方案适用于现实世界中不受控制的场景。据我们所知，我们发现了一些挑战，这些挑战如今已经开放，研究界将在未来的未来中面对这些挑战。
A.收集过程的自动化
收集的信息量越多，就越有可能创建推理和关系。但是，当今可用的公共数据数量巨大，无法以手动方式收集[76]。尽管OSINT技术（第V节）和工具（第VI节）已经朝着这个方向迈出了一大步，但它们中的大多数仍然很大程度上取决于最终用户。从这个意义上讲，合并更复杂的技术将很有吸引力。我们着重介绍当前的大数据技术，例如Web爬网或Web抓取[77]，作为自动化和改进OSINT对大量开放数据的探索的潜在范例。
重新收集过程的一个重要方面是搜索的传播。通过搜索获得的结果应重新进行以下几轮收集。在OSINT中，提取枢轴的功能非常强大，可以将输出串联起来作为传播的新输入。这种递归方法扩大了研究范围，并且与我们接下来将要讨论的分析过程密切相关。
B.增强分析和知识提取过程
对重新收集的打开数据的解释是OSINT过程中的关键点。提取抓取结果的实质，在分开的信息之间建立关系，或者推断未明确公开的结论，可以提高结果的质量。确实，通过更好的输入可以增强与进一步调查传播的递归集成。
但是，据我们所知，OSINT分析今天并未实现智能机制。现有工具仅限于抛出所有找到的信息及其显式关系。相反，分析过程应包括语义分析，模式研究，与其他事件，事件或数据集的相关性。
幸运的是，诸如自然语言处理，社交网络分析，机器学习或深度学习等现代数据挖掘技术[78]实际上是为解决此类挑战而设计的。在此知识领域中正确选择算法将使当前的静态分析与未来的推理处理有所不同[79]。
理想情况下，未来的OSINT应该能够为最终用户提供他/她正在搜索的特定信息，并在调查中返回令人信服的答案。原始搜索不仅将具有直接推论，而且还将具有间接和非显式关系。
这项挑战为OSINT第二代和第三代之间建立了道路。正如在[1]中介绍的那样，第二代始于互联网和社交媒体的兴起，挑战是“ 技术专长，虚拟可访问性和不断获取 ”。相比之下，向第三代的演进应该会在今天出现，并且必须包括“ 对数据的直接和间接机器处理，机器学习和自动推理 ”。
C.几个开放数据源的集成
OSINT活动应咨询尽可能多的资源，以涵盖尽可能广泛的范围。将研究重点放在单个社交网络或特定论坛上不是一个好主意。从这个意义上说，成功在于结合数据源以获得最佳结果。这意味着系统必须规范化通常为非结构化的可用信息，以便执行有效的分析和关联。结果，丢弃重复的项目很重要。实际上，本文介绍的不同OSINT技术和工具实际上是在利用这种坐姿来收集与目标有关的知识。
另一方面，真正的挑战是不仅要合并几个数据源，还要合并不同类型的数据源[80]。除了从Internet，Dark Web和Deep Web中提取的数据外，OSINT工作流还应考虑与社会工程或公民协作面对面收集的信息。为了达到搜索的下一个里程碑，必须使用我们感兴趣的任何信息。此外，对于来自不同数据源的信息矛盾的情况，必须实施真相发现过程[81]。
D.过滤掉不相关的数据和错误信息
由于公开可用的海量数据，OSINT流程需要能够区分每条信息的相关性，丢弃不会增加调查质量的数据[82]。研究人员不能专注于浏览整个网站的详细信息，阅读多页新闻或分析复杂的政府文件。相反，OSINT研究需要提取实际上能够提供价值并揭示有关我们目标的知识的关键字。我们感兴趣的信息可能不会明确发布，而挑战将是提取我们正在研究的数据源的本质。同时，提取的精确术语是创建新探索路径的关键。
此外，检测会破坏结果的错误信息至关重要[83]。从本质上讲，互联网是主观的，大多数内容不能保证可靠和正式。OSINT社区必须确定对开放源数据的日益依赖是否仍与源验证相结合，这代表了主要要求和优先级[84]。那些不真实的信息可能会转移我们的搜索范围，导致错误的结果或偏离我们的真实目标。因此，以提取情报为目的，不仅要对客观信息进行分析，还要对虚假信息进行分析。
这个问题将在现实生活中出现。在论坛和社交网络中，我们将找到有关嫌疑人的更多有价值信息的数据源。在这些站点中，调查人员必须处理其准确性值得怀疑的观点，主观出版物和个人喜好[85]。对实际上不构成威胁（误报）的人进行分析可能会引起歧视性和不公平的态度，可能会影响受害者。
E.遍及全球
许多现有OSINT资源的主要缺点之一是它们仅适用于特定国家/地区，从而降低了其对少数族裔人群的分析能力。但是，OSINT应该是一种通用技术，可以在不区分网络空间区域的情况下立即巡视地球的各个角落。因此，互操作性是OSINT设计中要考虑的理想属性，因为它不仅会增加搜索范围，还会增加最终用户的使用范围。
理想情况下，良好的OSINT服务或工具不应区分国家，而应将每项研究作为一项全球任务而没有国界。OSINT工作流程应合并世界各地的信息点，并将这些分布式数据源关联起来。实际上，尽管可以手动完成搜索区域之间的关系，但真正的挑战在于实现这些跳转的 OSINT应用程序。
此外，流程的全球化不会留下来自不同地区的吸引人的开放数据源，这些数据源实际上可以填补我们在调查中需要解决的空白。例如，在西班牙，我们使用在国外（和为国外）设计的工具。但是，没有OSINT解决方案在收集阶段包括西班牙的公共存储库（可能是政府的开放数据平台）。从这个意义上讲，我们还没有从假定是欧洲最透明的国家之一的金矿中充分受益。
对于行动不便的游牧目标，通用且灵活的实现方式特别有用。假设被调查的目标对象是在多个国家/地区生活过一段时间的人，在多个大洲设有总部的公司，甚至是改变位置使其难以追捕的犯罪分子。在这些情况下，在特定国家/地区进行静态搜索将导致大量信息无法收集，并且许多线索无法得到分析。
F.隐私意识，道德和法律考虑
从道德的角度来看，OSINT必须尊重用户的隐私，以免损害其私人生活以及家人，朋友和同事的隐私。信息可公开访问这一事实并不意味着它不敏感。知道目标的个人喜好和品味会在他的隐私中造成伤害。透露政治思想可能会在某些地方造成致命的后果。在某些国家/地区传达性取向可能会威胁生命。知道宗教信仰会导致在特定领土上的刑事定罪。因此，出于社会的利益，出于合法目的，必须谨慎处理开源信息。
从法律角度来看，应在法律的基础上使用OSINT并遵守数据保护政策。随着欧盟GDPR的到来，有关个人数据的法规也发生了变化[86]。从这个意义上讲，个人数据包括可以与任何公民有关的任何信息。此外，即使信息经过加密或匿名处理，收集在一起的不同信息也可以构成个人数据，也可以构成个人数据[14]。解决此类挑战的可能解决方案是使OSINT工具的设计适应嵌入的规范约束，尤其是GPDR法律要求[87]。根据定义，由于OSINT使用的数据源具有公共性质，因此它是完全合法的。但是，调查人员不得发布收集的个人信息，即使该信息已发布在网络上也是如此。此外，应用OSINT的用户不会陷入尝试假冒目标以查找更多信息的错误。还应该注意的是，为了访问我们正在寻找的信息，不能打破认证障碍。
简而言之，OSINT的使用应仅限于合法活动和非恶意目的。原则上，OSINT不会（也不应）侵犯人类自由和权利，因此，在此程度上，其先前提到的技术和服务是合法的[88]。这是一种非常强大的方法，但是如果滥用，也会很危险。借助OSINT，记者可以提供最新，客观和优质的新闻。人力资源经理可以更好地了解求职者。各国当局可以调查犯罪和恐怖组织。公司可以审核其在国外面临的网络威胁。但是，这种开放使用OSINT技术到特定类别的开放性应该始终被正确地证明是正确的[89]。
不利的一面是，OSINT最终用户可能是犯罪的不法之徒。饼干可能会勾勒出目标的轮廓，以增加成功的可能性。小偷可以分析家庭成员在最佳时间从家里偷东西。如果没有支付赎金，勒索者可以发布受害者的私人和个人信息。
开发人员在实现OSINT工具时必须考虑上述方面。无论如何，就我们而言，最强大的工具应仅适用于LEA和情报机构。
G.反对OSINT滥用
正如前面各节中已经提到的那样，OSINT范例的潜力非常广泛。实际上，确实有可能利用开放数据进行网络安全和网络防御，从而调查攻击者和/或恐怖组织[90]。但是，对公开可用数据的利用容易受到滥用。也就是说，动机不足的参与者可能会利用大量信息来进行网络侵略，例如网络欺凌，网络八卦和网络受害[91]。不幸的是，这些现象在网络上越来越频繁地出现，而且令人震惊地更加频繁，从而使受害者陷入困境，孤独，沮丧甚至在最坏的情况下自杀[16]。特别是，网络闲话是由一群人通过数字设备对不在场的某人做出评价性评论来执行的。这种网络行为会影响其发生的社会群体，并可能阻碍同伴关系，从而损害这种过程的受害者[92]。
在此程度上，重要的是控制OSINT技术和服务以正确的方式使用，而又不损害他人的权利和自由[93]。更具体地说，人们可以考虑根据最终用户类别给予不同的特权，从而避免授予对整个信息范围的完全访问权限。例如，员工可以访问基本信息以增强其任务（例如，承担人力资源招聘职责），而政府和警察部队则可以探索和调查更多开放数据（例如，猎捕网络罪犯）。
最后，重要的是要注意到OSINT正在启用新的提议来对抗这种网络攻击的祸害[94]。从这种意义上讲，实际上可以使用基于OSINT的工具正确检测OSINT的滥用。
第十节结论与未来工作
论坛，社交网络或媒体的广泛使用，以及大量现有数据，使开源情报（OSINT）成为下一个Internet金矿。从公共资源中提取知识代表了一种从不同和创新的角度解决现有问题的方法。特别是，这种类型的情报可以提供的结果可以极大地受益于网络安全和网络防御。因此，应该实施自动化的OSINT流程，能够对Internet的所有部分进行调查，并通过网络扩展我们的思维。
本文介绍了当今OSINT的状态。结果表明，当前作品的有效性值得怀疑，这主要是由于它们在实际场景中的应用不佳。实际上，缺乏将OSINT转换为可靠的自我管理解决方案的严肃方法。但是，我们建议将OSINT集成到现有的网络防御机制中，以从网络事件的原子技术痕迹转移到罪魁祸首或犯罪嫌疑人的身份。本文还介绍了一些用于基本搜索的OSINT技术，并介绍了当今用于高级调查的最复杂的OSINT工具。根据可获得的数据和最终目标，适当选择最合适的工具将明显不同。
在西班牙的背景下，我们指出了一些迹象，这些迹象可能证实西班牙执法机构和情报服务部门在其内部程序中采用了OSINT。尽管OSINT是其运作的机密方面，但在他们的调查中，OSINT仍然是至关重要的要素。值得指出的是，由于开放数据的成熟度，西班牙将是研究，开发和应用此方法论的广阔地区。实际上，根据欧洲数据门户网站，它是欧洲最透明的国家之一。
作为未来的研究方向，本文概述了与收集，分析和提取来自互联网的真实知识有关的一些开放性挑战。错误信息，隐私和合法性等方面将在OSINT的未来中变得突出。在这个领域还有很长的路要走，为此，社区应该通过包括先进技术和改善当前性能来应对所讨论的挑战。OSINT的最终目标是能够以自动化和自动驱动的方式确保出于特定目的所需的发现。
参考文献
1. H. J. Williams, I. Blum, "Defining second generation open source intelligence (OSINT) for the defense enterprise", 2018.
Show Context CrossRef Google Scholar
2. M. Nouh, J. R. Nurse, H. Webb, M. Goldsmith, "Cybercrime investigators are users too! Understanding the socio-technical challenges faced by law enforcement", Proc. 2019 Workshop Usable Security, Feb. 2019.
Show Context CrossRef Google Scholar
3. A. Powell, C. Haynes, X. Zhang, K.-K. R. Choo, "Social media data in digital forensics investigations" in Digital Forensic Education: An Experiential Learning Approach, Cham, Switzerland:Springer, pp. 281-303, 2020.
Show Context CrossRef Google Scholar
4. G. Bello-Orgaz, J. J. Jung, D. Camacho, "Social big data: Recent achievements and new challenges", Inf. Fusion, vol. 28, pp. 45-59, Mar. 2016.
Show Context CrossRef Google Scholar
5. H. L. Larsen, J. M. Blanco, R. P. Pastor, R. R. Yager, Using Open Data to Detect Organized Crime Threats: Factors Driving Future Crime, Cham, Switzerland:Springer, 2017.
Show Context CrossRef Google Scholar
6. M. Dawson, M. Lieble, A. Adeboje, "Open source intelligence: Performing data mining and link analysis to track terrorist activities" in Information Technology—New Generations, Cham, Switzerland:Springer, vol. 558, pp. 1-11, Jul. 2018.
Show Context CrossRef Google Scholar
7. F. Ali, F. H. Khan, S. Bashir, U. Ahmad, I. S. Bajwa, F. Kamareddine, A. Costa, "Counter terrorism on online social networks using Web mining techniques" in Intelligent Technologies and Applications, Singapore:Springer, pp. 240-250, 2019.
Show Context CrossRef Google Scholar
8. J. Jang-Jaccard, S. Nepal, "A survey of emerging threats in cybersecurity", J. Comput. Syst. Sci., vol. 80, pp. 973-993, Aug. 2014.
Show Context CrossRef Google Scholar
9. F. Gómez Mármol, M. Gil Pérez, G. Martínez Pérez, S. M. Habib, J. Vassileva, S. Mauw, M. Mühlhäuser, "I don’t trust ICT: Research challenges in cyber security" in Trust Management X, Switzerland:Springer, pp. 129-136, 2016.
Show Context CrossRef Google Scholar
10. P. Nespoli, D. Papamartzivanos, F. Gomez Marmol, G. Kambourakis, "Optimal countermeasures selection against cyber attacks: A comprehensive survey on reaction frameworks", IEEE Commun. Surveys Tuts., vol. 20, no. 2, pp. 1361-1396, 2nd Quart. 2018.
Show Context View Article Full Text: PDF (3509KB) Google Scholar
11. D. Quick, K.-K.-R. Choo, "Digital forensic intelligence: Data subsets and open source intelligence (DFINT+OSINT): A timely and cohesive mix", Future Gener. Comput. Syst., vol. 78, pp. 558-567, Jan. 2018.
Show Context CrossRef Google Scholar
12. L. Ball, G. Ewan, N. Coull, "Undermining: Social engineering using open source intelligence gathering", Proc. Int. Conf. Knowl. Discovery Inf. Retr., pp. 275-280, 2012.
Show Context Google Scholar
13. Z. Jin, J. Cao, Y. Zhang, J. Luo, "News verification by exploiting conflicting social viewpoints in microblogs", Proc. 13th AAAI Conf. Artif. Intell. (AAAI), pp. 2972-2978, 2016.
Show Context Google Scholar
14. J. Simola, V. Benson, J. Mcalaney, "Privacy issues and critical infrastructure protection" in Emerging Cyber Threats and Cognitive Vulnerabilities, Academic, pp. 197-226, 2020.
Show Context CrossRef Google Scholar
15. M. Kandias, L. Mitrou, V. Stavrou, D. Gritzalis, "Which side are you on? A new panopticon vs. privacy", Proc. IEEE Int. Conf. Secur. Cryptogr. (SECRYPT), pp. 1-13, Jul. 2013.
Show Context Google Scholar
16. L. R. Betts, K. A. Spenser, "Developing the cyber victimization experiences and cyberbullying behaviors scales", J. Genet. Psychol., vol. 178, no. 3, pp. 147-164, May 2017.
Show Context CrossRef Google Scholar
17. J. Pastor-Galindo, P. Nespoli, F. G. Mármol, G. M. Pérez, "OSINT is the next Internet goldmine: Spain as an unexplored territory", Proc. 5th Nat. Conf. Cybersecur. (JNIC), 2019.
Show Context Google Scholar
18. F. Tabatabaei, D. Wells, B. Akhgar, P. S. Bayerl, F. Sampson, "Osint in the context of cyber-security" in Open Source Intelligence Investigation: From Strategy to Implementation, Cham, Switzerland:Springer, pp. 213-231, 2016.
Show Context CrossRef Google Scholar
19. H. Chen, R. H. L. Chiang, V. C. Storey, "Business intelligence and analytics: From big data to big impact", MIS Quart., vol. 36, no. 4, pp. 1165-1188, 2012.
Show Context CrossRef Google Scholar
20. V. Santarcangelo, G. Oddo, M. Pilato, F. Valenti, C. Fornaro, "Social opinion mining: An approach for Italian language", Proc. 3rd Int. Conf. Future Internet Things Cloud, pp. 693-697, Aug. 2015.
Show Context View Article Full Text: PDF (269KB) Google Scholar
21. M. Kandias, D. Gritzalis, V. Stavrou, K. Nikoloulis, "Stress level detection via OSN usage pattern and chronicity analysis: An OSINT threat intelligence module", Comput. Security, vol. 69, pp. 3-17, Aug. 2017.
Show Context CrossRef Google Scholar
22. B. Senekal, E. Kotzé, "Open source intelligence (OSINT) for conflict monitoring in contemporary South Africa: Challenges and opportunities in a big data context", Afr. Secur. Rev., vol. 28, no. 1, pp. 19-37, Jan. 2019.
Show Context CrossRef Google Scholar
23. D.-Y. Kao, Y.-T. Chao, F. Tsai, C.-Y. Huang, "Digital evidence analytics applied in cybercrime investigations", Proc. IEEE Conf. Appl. Inf. Netw. Secur. (AINS), pp. 117-122, Nov. 2018.
Show Context View Article Full Text: PDF (349KB) Google Scholar
24. R. P. Pastor, H. L. Larsen, "Scanning of open data for detection of emerging organized crime threats—The ePOOLICE project" in Using Open Data to Detect Organized Crime Threats, Cham, Switzerland:Springer, pp. 47-71, 2017.
Show Context CrossRef Google Scholar
25. C. Aliprandi, J. Arraiza Irujo, M. Cuadros, S. Maier, F. Melero, M. Raffaelli, C. Stephanidis, "Caper: Collaborative information acquisition processing exploitation and reporting for the prevention of organised crime", HCI International 2014—Posters’ Extended Abstracts, pp. 147-152, 2014.
Show Context CrossRef Google Scholar
26. T. Delavallade, P. Bertrand, V. Thouvenot, "Extracting future crime indicators from social media" in Using Open Data to Detect Organized Crime Threats, Cham, Switzerland:Springer, pp. 167-198, 2017.
Show Context CrossRef Google Scholar
27. M. J. Hernández, C. C. Pinzón, D. O. Díaz, J. C. C. García, R. A. Pinto, "Open source intelligence (OSINT) in a colombian context and sentiment analysys", Rev. V’inculos Ciencia Tecnol. Sociedad, vol. 15, no. 2, pp. 195-214, 2018.
Show Context Google Scholar
28. Diversity Enhacements for Security Information and Event Management Project, Jan. 2020, [online] Available: http://disiem-project.eu/.
Show Context Google Scholar
29. S. Lee, T. Shon, "Open source intelligence base cyber threat inspection framework for critical infrastructures", Proc. Future Technol. Conf. (FTC), pp. 1030-1033, Dec. 2016.
Show Context View Article Full Text: PDF (228KB) Google Scholar
30. M. Edwards, R. Larson, B. Green, A. Rashid, A. Baron, "Panning for gold: Automatically analysing online social engineering attack surfaces", Comput. Security, vol. 69, pp. 18-34, Aug. 2017.
Show Context CrossRef Google Scholar
31. M. G. Lozano, J. Brynielsson, U. Franke, M. Rosell, E. Tjornhammar, S. Varga, V. Vlassov, "Veracity assessment of online data", Decis. Support Syst., vol. 129, Feb. 2020.
Show Context Google Scholar
32. B. L. W. Wong, B. Akhgar, P. S. Bayerl, F. Sampson, "Fluidity and rigour: Addressing the design considerations for osint tools and processes" in Open Source Intelligence Investigation: From Strategy to Implementation, Cham, Switzerland:Springer, pp. 167-185, 2016.
Show Context CrossRef Google Scholar
33. G. Kalpakis, T. Tsikrika, N. Cunningham, C. Iliou, S. Vrochidis, J. Middleton, I. Kompatsiaris, OSINT and the Dark Web, Cham, Switzerland:Springer, pp. 111-132, 2016.
Show Context Google Scholar
34. M. K. Bergman, "White Paper: The deep Web: Surfacing hidden value", J. Electron. Publishing, vol. 7, no. 1, Aug. 2001.
Show Context CrossRef Google Scholar
35. M. Schafer, M. Fuchs, M. Strohmeier, M. Engel, M. Liechti, V. Lenders, "BlackWidow: Monitoring the dark Web for cyber security information", Proc. 11th Int. Conf. Cyber Conflict (CyCon), pp. 1-21, May 2019.
Show Context View Article Full Text: PDF (2704KB) Google Scholar
36. A. Gandomi, M. Haider, "Beyond the hype: Big data concepts methods and analytics", Int. J. Inf. Manage., vol. 35, no. 2, pp. 137-144, Apr. 2015.
Show Context CrossRef Google Scholar
37. A. Barnea, "Big data and counterintelligence in western countries", Int. J. Intell. Counter Intell., vol. 32, no. 3, pp. 433-447, Jul. 2019.
Show Context CrossRef Google Scholar
38. T. Day, H. Gibson, S. Ramwell, "Fusion of OSINT and non-OSINT data" in Open Source Intelligence Investigation, Cham, Switzerland:Springer, pp. 133-152, 2016.
Show Context CrossRef Google Scholar
39. C. S. Fleisher, "Using open source data in developing competitive and marketing intelligence", Eur. J. Marketing, vol. 42, no. 7/8, pp. 852-866, Jul. 2008.
Show Context CrossRef Google Scholar
40. F. G. Marmol, M. G. Perez, G. M. Perez, "Reporting offensive content in social networks: Toward a reputation-based assessment approach", IEEE Internet Comput., vol. 18, no. 2, pp. 32-40, Mar. 2014.
Show Context View Article Full Text: PDF (1354KB) Google Scholar
41. S. Gong, J. Cho, C. Lee, "A reliability comparison method for OSINT validity analysis", IEEE Trans. Ind. Informat., vol. 14, no. 12, pp. 5428-5435, Dec. 2018.
Show Context View Article Full Text: PDF (2590KB) Google Scholar
42. M. Zago, P. Nespoli, D. Papamartzivanos, M. G. Perez, F. G. Marmol, G. Kambourakis, G. M. Perez, "Screening out social bots interference: Are there any silver bullets?", IEEE Commun. Mag., vol. 57, no. 8, pp. 98-104, Aug. 2019.
Show Context View Article Full Text: PDF (1200KB) Google Scholar
43. G. R. Weir, R. Layton, P. A. Watters, "The limitations of automating osint: Understanding the question not the answer" in Automating Open Source Intelligence, Boston, MA, USA:Syngress, pp. 159-169, 2016.
Show Context CrossRef Google Scholar
44. P. Casanovas, "Cyber warfare and organised crime. A regulatory model and meta-model for open source intelligence (OSINT)" in Ethics and Policies for Cyber Operations, Cham, Switzerland:Springer, pp. 139-167, 2017.
Show Context CrossRef Google Scholar
45. H. Bean, S. Maret, "Is open source intelligence an ethical issue?" in Research in Social Problems and Public Policy, Bingley, U.K.:Emerald Group Publishing Limited, vol. 19, pp. 385-402, 2011.
Show Context Google Scholar
46. B. Liu, L. Zhang, "A survey of opinion mining and sentiment analysis" in Mining Text Data, Boston, MA, USA:Springer, pp. 415-463, 2012.
Show Context CrossRef Google Scholar
47. P. Ranade, S. Mittal, A. Joshi, K. Joshi, "Using deep neural networks to translate multi-lingual threat intelligence", Proc. IEEE Int. Conf. Intell. Secur. Inform. (ISI), pp. 238-243, Nov. 2018.
Show Context View Article Full Text: PDF (188KB) Google Scholar
48. Y. Ghazi, Z. Anwar, R. Mumtaz, S. Saleem, A. Tahir, "A supervised machine learning based approach for automatically extracting high-level threat intelligence from unstructured sources", Proc. Int. Conf. Frontiers Inf. Technol. (FIT), pp. 129-134, Dec. 2018.
Show Context View Article Full Text: PDF (710KB) Google Scholar
49. S. Noubours, A. Pritzkau, U. Schade, "NLP as an essential ingredient of effective OSINT frameworks", Proc. Mil. Commun. Inf. Syst. Conf., pp. 1-7, Oct. 2013.
Show Context Google Scholar
50. Y. Li, J. Gao, C. Meng, Q. Li, L. Su, B. Zhao, W. Fan, J. Han, "A survey on truth discovery", SIGKDD Explor. Newslett., vol. 17, no. 2, pp. 1-16, Feb. 2016.
Show Context Access at ACM Google Scholar
51. T. Vopham, J. E. Hart, F. Laden, Y. Y. Chiang, "Emerging trends in geospatial artificial intelligence (geoAI): Potential applications for environmental epidemiology", Environ. Health, vol. 17, no. 1, Apr. 2018.
Show Context CrossRef Google Scholar
52. S. Stieglitz, M. Mirbabaie, B. Ross, C. Neuberger, "Social media analytics—Challenges in topic discovery data collection and data preparation", Int. J. Inf. Manage., vol. 39, pp. 156-168, Apr. 2018.
Show Context CrossRef Google Scholar
53. L. Serrano, M. Bouzid, T. Charnois, S. Brunessaux, B. Grilheres, "Events extraction and aggregation for open source intelligence: From text to knowledge", Proc. Int. Conf. Tools Artif. Intell. (ICTAI), pp. 518-523, 2013.
Show Context View Article Full Text: PDF (177KB) Google Scholar
54. N. Kim, S. Lee, H. Cho, B.-I. Kim, M. Jun, "Design of a cyber threat information collection system for cyber attack correlation", Proc. Int. Conf. Platform Technol. Service (PlatCon), pp. 1-6, Jan. 2018.
Show Context View Article Full Text: PDF (656KB) Google Scholar
55. S. Pournouri, S. Zargari, B. Akhgar, "An investigation of using classification techniques in prediction of type of targets in cyber attacks", Proc. IEEE 12th Int. Conf. Global Secur. Saf. Sustainab. (ICGS3), pp. 202-212, Jan. 2019.
Show Context View Article Full Text: PDF (370KB) Google Scholar
56. I. Deliu, C. Leichter, K. Franke, "Extracting cyber threat intelligence from hacker forums: Support vector machines versus convolutional neural networks", Proc. IEEE Int. Conf. Big Data (Big Data), pp. 3648-3656, Dec. 2017.
Show Context View Article Full Text: PDF (606KB) Google Scholar
57. G. de la Torre-Abaitua, L. F. Lago-Fernández, D. Arroyo, "A compression based framework for the detection of anomalies in heterogeneous data sources", arXiv:1908.00417, 2019, [online] Available: https://arxiv.org/abs/1908.00417.
Show Context Google Scholar
58. R. Azevedo, I. Medeiros, A. Bessani, "PURE: Generating quality threat intelligence by clustering and correlating OSINT", Proc. 18th IEEE Int. Conf. Trust Secur. Privacy Comput. Commun./13th IEEE Int. Conf. Big Data Sci. Eng. (TrustCom/BigDataSE), pp. 483-490, Aug. 2019.
Show Context View Article Full Text: PDF (254KB) Google Scholar
59. M.-H. Wang, M.-H. Tsai, W.-C. Yang, C.-L. Lei, "Infection categorization using deep autoencoder", Proc. IEEE Conf. Comput. Commun. Workshops (INFOCOM WKSHPS), pp. 1-2, Apr. 2018.
Show Context View Article Full Text: PDF (194KB) Google Scholar
60. H. Pellet, S. Shiaeles, S. Stavrou, "Localising social network users and profiling their movement", Comput. Secur., vol. 81, pp. 49-57, Mar. 2019.
Show Context CrossRef Google Scholar
61. R. Wang, W. Ji, M. Liu, X. Wang, J. Weng, S. Deng, S. Gao, C.-A. Yuan, "Review on mining data from multiple data sources", Pattern Recognit. Lett., vol. 109, pp. 120-128, Jul. 2018.
Show Context CrossRef Google Scholar
62. R. Layton, C. Perez, B. Birregah, P. Watters, M. Lemercier, J. Li, L. Cao, C. Wang, K. C. Tan, B. Liu, J. Pei, V. S. Tseng, "Indirect information linkage for OSINT through authorship analysis of aliases" in Trends and Applications in Knowledge Discovery and Data Mining, Berlin, Germany:Springer, pp. 36-46, 2013.
Show Context CrossRef Google Scholar
63. A. Chaabane, P. Manils, M. A. Kaafar, "Digging into anonymous traffic: A deep analysis of the Tor anonymizing network", Proc. 4th Int. Conf. Netw. Syst. Secur. (NSS), pp. 167-174, Sep. 2010.
Show Context View Article Full Text: PDF (733KB) Google Scholar
64. S. Pastrana, A. Hutchings, A. Caines, P. Buttery, M. Bailey, T. Holz, M. Stamatogiannakis, S. Ioannidis, "Characterizing eve: Analysing cybercrime actors in a large underground forum" in Research in Attacks Intrusions and Defenses, Cham, Switzerland:Springer, pp. 207-227, 2018.
Show Context CrossRef Google Scholar
65. W. Tounsi, H. Rais, "A survey on technical threat intelligence in the age of sophisticated cyber attacks", Comput. Secur., vol. 72, pp. 212-233, Jan. 2018.
Show Context CrossRef Google Scholar
66. C. Sauerwein, I. Pekaric, M. Felderer, R. Breu, "An analysis and classification of public information security data sources used in research and practice", Comput. Secur., vol. 82, pp. 140-155, May 2019.
Show Context CrossRef Google Scholar
67. R. Layton, R. Layton, P. A. Watters, "Relative cyberattack attribution" in Automating Open Source Intelligence: Algorithms for OSINT, Boston, MA, USA:Syngress, pp. 37-60, 2016.
Show Context CrossRef Google Scholar
68. V. Mavroeidis, S. Bromander, "Cyber threat intelligence model: An evaluation of taxonomies sharing standards and ontologies within cyber threat intelligence", Proc. Eur. Intell. Secur. Inform. Conf. (EISIC), pp. 91-98, Sep. 2017.
Show Context View Article Full Text: PDF (573KB) Google Scholar
69. S. Bromander, A. Jøsang, M. Eian, "Semantic cyberthreat modelling", Proc. 11th Conf. Semantic Technol. Intell. Defense Secur., pp. 74-78, Nov. 2016.
Show Context Google Scholar
70. O. Akinrolabu, I. Agrafiotis, A. Erola, "The challenge of detecting sophisticated attacks: Insights from SOC analysts", Proc. 13th Int. Conf. Availability Rel. Secur. (ARES), pp. 55:1-55:9, 2018.
Show Context Access at ACM Google Scholar
71. D. Lande, E. Shnurko-Tabakova, "OSINT as a part of cyber defense system", Theor. Appl. Cybersecur., vol. 1, no. 1, 2019.
Show Context CrossRef Google Scholar
72. B. Akhgar, B. Akhgar, P. S. Bayerl, F. Sampson, "Osint as an integral part of the national security apparatus" in Open Source Intelligence Investigation: From Strategy to Implementation, Cham, Switzerland:Springer, pp. 3-9, 2016.
Show Context CrossRef Google Scholar
73. J. Chae, D. Graham, A. Henderson, M. Matthews, J. Orcutt, M. S. Song, "A system approach for evaluating current and emerging army open-source intelligence tools", Proc. IEEE Int. Syst. Conf. (SysCon), pp. 1-5, Apr. 2019.
Show Context View Article Full Text: PDF (451KB) Google Scholar
74. D. Trottier, "Open source intelligence social media and law enforcement: Visions constraints and critiques", Eur. J. Cultural Stud., vol. 18, no. 4, pp. 530-547, Aug. 2015.
Show Context CrossRef Google Scholar
75. L. Rocher, J. M. Hendrickx, Y.-A. de Montjoye, "Estimating the success of re-identifications in incomplete datasets using generative models", Nature Commun., vol. 10, no. 1, pp. 3069, 2019.
Show Context CrossRef Google Scholar
76. R. S. Portnoff, S. Afroz, G. Durrett, J. K. Kummerfeld, T. Berg-Kirkpatrick, D. Mccoy, K. Levchenko, V. Paxson, "Tools for automated analysis of cybercriminal markets", Proc. 26th Int. Conf. World Wide Web (WWW), pp. 657-666, 2017.
Show Context Access at ACM Google Scholar
77. E. Ferrara, P. De Meo, G. Fiumara, R. Baumgartner, "Web data extraction applications and techniques: A survey", Knowl.-Based Syst., vol. 70, pp. 301-323, Nov. 2014.
Show Context CrossRef Google Scholar
78. I. H. Witten, E. Frank, M. A. Hall, C. J. Pal, Data Mining: Practical Machine Learning Tools and Techniques, San Mateo, CA, USA:Morgan Kaufmann, 2017.
Show Context Google Scholar
79. A. Caliskan, J. J. Bryson, A. Narayanan, "Semantics derived automatically from language corpora contain human-like biases", Science, vol. 356, no. 6334, pp. 183-186, Apr. 2017.
Show Context CrossRef Google Scholar
80. C. Eldridge, C. Hobbs, M. Moran, "Fusing algorithms and analysts: Open-source intelligence in the age of ‘big data", Intell. Nat. Secur., vol. 33, no. 3, pp. 391-406, Apr. 2018.
Show Context CrossRef Google Scholar
81. X. Yin, J. Han, P. Yu, "Truth discovery with multiple conflicting information providers on the Web", IEEE Trans. Knowl. Data Eng., vol. 20, no. 6, pp. 796-808, Jun. 2008.
Show Context Google Scholar
82. A. S. Hulnick, L. K. Johnson, "The dilemma of open sources intelligence: Is OSINT really intelligence?" in The Oxford Handbook of National Security Intelligence, Oxford, U.K.:Oxford Univ. Press, Sep. 2010.
Show Context Google Scholar
83. K. Shu, A. Sliva, S. Wang, J. Tang, H. Liu, "Fake news detection on social media: A data mining perspective", SIGKDD Explor. Newsl., vol. 19, no. 1, pp. 22-36, Sep. 2017.
Show Context Access at ACM Google Scholar
84. B. H. Miller, "Open source intelligence (OSINT): An oxymoron?", Int. J. Intell. Counter Intell., vol. 31, no. 4, pp. 702-719, Oct. 2018.
Show Context CrossRef Google Scholar
85. G. Suarez-Tangil, M. Edwards, C. Peersman, G. Stringhini, A. Rashid, M. Whitty, "Automatically dismantling online dating fraud", IEEE Trans. Inf. Forensics Security, vol. 15, pp. 1128-1137, 2020.
Show Context View Article Full Text: PDF (1528KB) Google Scholar
86. J. Rajamäki, J. Simola, "How to apply privacy by design in osint and big data analytics?", Proc. Eur. Conf. Inf. Warfare Secur. (ECCWS), pp. 364-371, Jul. 2019.
Show Context Google Scholar
87. J. H. Hoepman, "Privacy design strategies", Proc. IFIP Adv. Inf. Commun. Technol., vol. 428, pp. 446-459, 2014.
Show Context CrossRef Google Scholar
88. G. Hribar, I. Podbregar, T. Ivanuša, "OSINT: A grey zone?", Int. J. Intell. Counter Intell., vol. 27, no. 3, pp. 529-549, 2014.
Show Context CrossRef Google Scholar
89. Q. Eijkman, D. Weggemans, "Open source intelligence and privacy dilemmas: Is it time to reassess state accountability?", Secur. Hum. Rights, vol. 23, no. 4, pp. 285-296, 2013.
Show Context CrossRef Google Scholar
90. P. Mitzias, I. Kompatsiaris, E. Kontopoulos, J. Staite, T. Day, G. Kalpakis, T. Tsikrika, H. Gibson, S. Vrochidis, B. Akhgar, "Deploying semantic Web technologies for information fusion of terrorism-related content and threat detection on the Web", Proc. IEEE/WIC/ACM Int. Conf. Web Intell. (WI) Companion, pp. 193-199, 2019.
Show Context Access at ACM Google Scholar
91. G. W. Giumetti, R. M. Kowalski, "Cyberbullying matters: Examining the incremental impact of cyberbullying on outcomes over and above traditional bullying in North America" in Cyberbullying Across the Globe, Cham, Switzerland:Springer, pp. 117-130, 2016.
Show Context CrossRef Google Scholar
92. E. M. Romera, M. Herrera-López, J. A. Casas, R. O. Ruiz, R. Del Rey, "How much do adolescents cybergossip? Scale development and validation in Spain and Colombia", Frontiers Psychol., vol. 9, pp. 1-10, Feb. 2018.
Show Context CrossRef Google Scholar
93. L. Benes, "OSINT new technologies education: Expanding opportunities and threats. A new paradigm", J. Strategic Secur., vol. 6, no. 3, pp. 22-37, Sep. 2013.
Show Context CrossRef Google Scholar
94. A. López-Martínez, J. A. García-Díaz, R. Valencia-García, A. Ruiz-Martínez, "CyberDect. A novel approach for cyberbullying detection on Twitter" in Technologies and Innovation, Cham, Switzerland:Springer, pp. 109-121, 2019.
Show Context CrossRef Google Scholar