表网、深网和暗网
表网、深网和暗网:互联网的大部分资源都是在大多数人日常使用的电子商务、电子邮件和社交媒体的正常世界之外的。当一个人深入到互联网不太知名的领域,需要特殊的知识,这些网站在哪里,有时,需要特殊的软件来访问他们。
互联网的层次:丹尼尔·米斯勒创造了上面这张图片。正如丹尼尔在他的博客中指出的那样,这些“cireles”的大小并不取决于使用量、网站数量或用户基数。它们具有代表性,表明互联网是所有其他网络使用的通信支柱。我们还应该提到,有些网站可能适合多层结构,但这些都是规则的例外。
“表面网络”(或上图中的“互联网”)可以被大多数用户访问,除非个人、公司或国家限制访问。在这里,DuckDuckGo, Yahoo, Bing和谷歌都有网络爬虫程序,扫描他们能找到的所有系统,索引他们的数据供我们搜索。表面网络主要与获取网络或系统资源的人共享数据。
虽然这些搜索引擎扫描了大量的互联网资源,但它们错过了更多。这组“错过的服务”构成了深网。为什么这些网站会被搜索引擎“遗漏”?维基百科?注意到爬虫程序无法获取这些数据的许多原因,但一些简单的解释是,这些网站可能需要身份验证,或者它们可能有网络搜索引擎不收集的非web内容。
在深而无索引的网络中,有暗网。互联网这部分的资源需要额外的知识和软件才能访问。虽然暗网通常被认为是一个邪恶和犯罪活动的地方,但使用它还有许多其他合法(和合法)的原因。
表网是什么?
消费者在互联网上使用的大多数服务都是在表面网络上找到的。它包含了你可以从搜索引擎、社交媒体和其他网站找到的所有网站和服务。
表面网站的例子是:
搜索引擎-谷歌百度Yandex
电子商务网站——阿里巴巴、亚马逊
新闻- BBC, CNN
流媒体音频/视频- YouTube, Twitch.tv
政府网页- nist.gov, gov.uk
天气,地图网站- weather.com,必应地图
社交媒体——Facebook, Twitter, Instagram
文件共享网站- Dropbox, Box
当人们提到“互联网”时,他们通常谈论的是表网这一层。访问和使用都很简单。
深网是什么?
任何知道去哪里找的人都可以访问深层网站。由于访问限制,这些网站和系统通常不会出现在搜索引擎的结果中。这个区域的网站可以免费,也可以付费。它们可以要求身份验证,也可以不要求。大多数情况下,它们是在互联网上更难以找到的服务。表层网和深层网之间有一个模糊的区域,因为随着搜索引擎对更多网站进行索引,深层网中的一些内容似乎转向了表层网。其他网站则相反,如果他们添加身份验证来保护搜索引擎不访问他们的数据。
上面展示了一些深网中的网站。
暗网是什么?
暗网要求人们使用特殊的软件,并了解特定暗网是如何运作的。大多数人认为犯罪分子利用暗网,虽然事实确实如此,但他们并不是唯一这样做的人。
总的来说,暗网是一个让人们更匿名地与其他人交流的地方。如果一个人生活或工作在一个不允许言论自由的国家,他们可以利用暗网的匿名性把他们的信息传递给其他人。在暗网中,你可以买卖各种合法和非法的物品,从枪支、毒品到服务和假币。
在一些暗网网络中寻找站点可能是一个挑战,因为许多暗网服务可能是私人或隐藏的。你可能需要认识某些人才能获得某些资源的邀请。但其他暗网网络允许用户从互联网进入暗网,从一个系统跳转到另一个系统,然后回到互联网,以更匿名的方式发布内容。
在暗网中的开源情报
作为一名OSINT分析师,你可能需要访问暗网的一些原因包括:
好奇心——它是什么?想想你在那里是否能帮助你的客户。
保护通信——有时,OSINT分析师可能需要接触那些有压制性计算机网络政策的国家的资源。利用暗网,他们也许能够穿透这些网络,或者利用这些网络获取有用的信息。
流量的匿名化——这是许多OSINT分析师使用暗网的主要原因之一:它有助于隐藏他们的流量来源。如果你在“情报机构”工作,并试图访问互联网上的网站,他们可能会阻止、监视和突出显示你的网络活动。利用暗网中的匿名服务,分析师可以隐藏他们的流量来源,并在无需额外审查的情况下访问网络资源。
搜寻目标——根据您的工作,您可能需要检查存在于一个或多个暗网络中的人和内容。无论你的目标是恐怖分子、人贩子还是伪造者,他们都可能在暗网中运作。
金融诈骗——有了它的市场,暗网是那些窃取信用卡或银行账户来销售他们产品的人的理想场所。
执法和情报机构——这是根据上述声明,你的目标可能在暗网中操作。执法和情报机构都使用暗网来研究犯罪(过去、现在和未来)。
跟踪网站:过去的日子在万维网刚刚发明的时候,我们还没有搜索引擎。我们不需要他们,因为没有很多网站发布内容。随着万维网的发展,人们开始创建他们最喜欢的网站的列表,并将它们发布在你上面看到的页面上。这是互联网上的第一个网页,它只是一个人们可以访问的有组织的资源列表。
如果你不知道这些有列表的网页,你可以买一本O'Reilly的书,《整个互联网用户指南和目录》,其中每年互联网上的“新网站”都被编目。
为什么要上历史课?因为深网也处于类似的状态。
同样的问题,不同的层面
互联网刚开始的时候,只有几个网站。随着它的普及和实用性的增长,人们需要对有用的网络资源进行分类的方法。如前所述,他们创建列表并超链接到内容。深网也有同样的问题。在互联网上有许多资源没有被搜索引擎索引,我们需要跟踪。我们怎么做呢?我们做的事情和一开始完全一样:我们制作有超链接到深层网页内容的网页。
找到深层网络资源可以通过寻找这些在深层网络上列出资源的网站来完成。我们可以在博客、网络文章和其他被主要搜索引擎索引的内容中找到这些引用。这是地表网和深层网之间模糊的部分。我们可以使用搜索引擎找到那些包含引用深层网络资源的内容的博客,但是我们不能直接在搜索引擎中找到这些结果。
用搜索引擎寻找深度的我们
使用谷歌,Yandex,和Bing搜索引擎,我们搜索字符串“deep web resources”,发现了数千万可能的页面,这些页面可能会列出供你访问的网页。你会从哪个开始?这取决于你进入深层网络的目的是什么。只是看看吗?选择任何一个最热门的网站,然后浏览。如果你想要一些具体的东西,你可能需要深入挖掘。
产生的网站和良好的链接所以,现在我们需要做的就是访问这些结果中的顶级网站,每个网站都有数百个重叠的资源。听起来像是在浪费宝贵的时间,不是吗?
从OSINT角度进行深度网络研究通常是研究的重点之一。我们知道我们想要什么数据,我们知道一定有一个来源可以给我们这些数据。验证医疗工作者的证书就是一个很好的例子。在一次评估中,我们得到了一个人的名字,并被告知她是一名退休的医疗工作者。我们需要为客户验证该声明(和其他声明)。所以,我们访问了深层网络搜索了美国医疗执照注册,输入了目标的数据,最终找到了她的信息。OSINT社区非常擅长互相帮助。这张幻灯片指出了四个不同的网站,它们包含了优秀的、精心策划的、有组织的页面链接到深层网络资源,你可以在你的OSINT工作中利用这些链接。
暗网
警告! !暗网包含非法,不道德,令人不安的内容!在使用它之前,确保您和您的组织都知道其中的风险。
暗网风险要知道
在你使用暗网的几乎任何时候,你都可以看到和听到一些不愉快或不适合工作环境的视频,这应该引起关注。提前计划,确保你在一个安全的地方,你可以控制谁能看到和听到你电脑屏幕上的内容。我们认识的一个调查员在家里工作通过暗网中工作。这项工作的内容非常令人反感,但对她的案子很重要。她采取了预防措施,只在家里的办公室里观看内容,并戴上了耳机。一天,在她工作的时候,她年幼的儿子意外地走进房间,看到了她正在看的一段视频。因为戴着耳机,她有几分钟没有意识到他在她身后,那时,他已经看到了她屏幕上的大量内容。
注意你周围的环境。
我们知道暗网上有心怀恶意的人。在冒险进入暗网之前,确保你的计算机系统和应用程序(比如网络浏览器)经过了加固、打了补丁,并运行了最新的安全软件。暗网的攻击者可能会将恶意软件嵌入到他们提供给人们下载的文件中,攻击你的电脑浏览器和操作系统,或者试图识别你或你的公司。要警惕并保护你自己、你的电脑和你的组织。
如果您的评估将您带进暗网的那些部分,您可能会看到儿童色情,请确保您的团队有一个如何做的计划。在许多国家,你可能会被法律要求报告儿童性侵材料。
你的组织可以使用暗网吗?
虽然许多经理支持他们的员工在需要的地方进行OSINT调查,以获得结果,但这些经理可能没有权力给你这种灵活性。
在为你的公司、组织和客户在暗网工作之前,确保你已经获得了某个权威人士的书面批准,可以在什么地点、使用什么系统进行这项工作。
提前了解这些信息有助于防止以后出现法律和道德问题。
欢迎来到暗网!
我们终于成功了。
关于暗网有几点需要注意。首先,正如前面提到的,暗网是一个覆盖网络,它在普通互联网上发送和接收数据。所以,当我们使用暗网的时候,我们也在使用互联网。其次,虽然有各种各样不同的暗网络,“我们将重点关注最知名的三个网络:Freenet、I2P(隐形互联网项目)和Tor。”
让我们比较这三个
比较三大暗网网络是一项挑战,因为它们截然不同。我们将从三个角度来研究网络:网络的主要目标,它的用户基数有多大,以及它是否允许访问互联网网络资源。
每个覆盖网络都有不同的主要目标。对于Freenet来说,它是一个分布式文件共享网络,它将文件分解成碎片,并将这些碎片分散到整个网络中可检索的部分。这使得它不可能删除上传到Freenet的内容。
I2P使用一系列临时的、单向的加密隧道将数据从一个系统传送到另一个系统。它的目标是保护穿越其网络的数据,并使通过网络流量分析技术追踪到单一来源的数据变得具有挑战性。
Tor通过跨多个系统代理网络流量,以匿名的方式访问internet站点(以及它自己的onion服务)。用户数据从一台计算机跳到另一台计算机,最终到达目的地。目标站点不知道原始请求来自哪里,因此用户的计算机是匿名的。
在查看每个网络的估计用户数时,要知道Freenet的用户基数最小,Tor的用户基数最大,I2P位于中间。这些都是粗略的估计(正如我们将看到的),因为准确地读取穿越匿名网络的用户数量成为一个相当大的挑战。
Freenet和I2P在很大程度上都是封闭的网络,你只能访问这些网络上的资源,而不能访问互联网。Tor允许访问只在其网络上找到的资源,并允许匿名浏览互联网资源。
我们将在接下来的章节中了解到,这些网络要复杂得多。
Freenet
第一个网络:Freenet
可以把Freenet项目(https://freenetproject.org/)想象成一个大型存储设备,其中的内容分布在网络的所有计算机(节点)上。每个人的计算机都有一个本地数据存储,其中包含流行文件的加密片段,可以与网络上的其他节点共享。当你上传一个文件到Freenet时,它会被分割成碎片,加密,然后分发到对等节点(网络上离你的计算机最近的计算机)。上传程序被提供一个键来检索该文件。他们可以把这个密钥提供给Freenet上的其他人,这个人也可以检索这个文件。
关于Freenet存储
Freenet的所有节点共享Freenet数据片段。随着每个文件被分成块并分发到其他节点,每个节点可以拥有来自任何文件的内容。您可以在Freenet设置内选择设置、增加或减少您愿意捐赠给Freenet的硬盘上的加密存储空间。
请注意,如果有人向Freenet上传机密或敏感数据,这些数据将被加密并分发给对等节点。”你的电脑可能保存着这些内容,但你可能永远不会知道。这就是Freenet的力量。没有用户知道他们的系统包含什么数据;因此,他们不能删除Freenet中的内容,当局也不能通过删除一些节点来关闭Freenet。
如果内容在Freenet上很受欢迎,它就可以永远在节点之间传播,随着人们请求资源而从一个节点移动到另一个节点。
Freenet的两种模式
当你开始使用Freenet时,你很可能希望在低安全性的opennet模式下使用它,在这种模式下,Freenet会自动连接到种子节点(它在安装时知道的计算机),然后随着时间的推移开始连接其他随机节点。这比暗网模式更不安全,因为你不知道你的系统连接的其他节点是谁的。”opennet有两种子模式:低安全性(默认)和正常。
如果你使用的是开放网络模式,考虑切换到普通模式以增加你的匿名性。当你越来越多地使用Freenet,或者你的朋友开始使用Freenet时,你可以通过在你电脑的Freenet设置中指定只连接朋友的节点,将opennet模式改为darknet模式既然你可能认识这些人,你的信任水平就会提高,使用Freenet会更安全。暗黑网也有两个设置:高和最大模式。
访问Freenet
进入Freenet是通过从freenetproject.org网站下载软件来完成的。该站点有macOS、Windows和Linux系统的版本。安装程序非常好,并且是向导驱动的,向用户询问问题,并为他们提供设置初始配置的建议。
Freenet密钥
当内容被配置/上传到Freenet时,它会被赋予一个密钥。当Freenet安装在计算机上时,它就会安装FProxy,然后通过一个web界面来配置和访问Freenet。
在web浏览器中,您可以访问http://127.0.0.1:8888/[key],如上面幻灯片所示。
Freenet中有四种类型的密钥:
CHK -内容哈希键适用于静态内容的文件,比如。mp3或pdf文档。这些密钥是文件内容的散列。
SSK -签名子空间密钥通常用于随着时间变化的站点。例如,可能需要更新新闻或更正、添加或删除信息的网站。
USK - 可更新的子空间密钥对于链接到最新版本的签名子空间密钥(SSK)网站非常有用。请注意,USKs实际上只是对SSKs的一个友好包装,它隐藏了搜索网站最新版本的过程。
KSK-关键字签名密钥(KSK)允许你在Freenet中保存指定的页面。
“浏览”Freenet
当你使用Freenet访问网站时,就像你在互联网上做的一样,它以一种与传统网站略有不同的方式为你的浏览器提供页面。你通过FProxy请求一个资源,代理会在Freenet上找到这些内容的片段,请求并下载它们,然后重新组装它们,以便它们可以显示在你的浏览器中。这需要时间,并使Freenet成为一个高延迟网络。
当然,如果您想要的内容已经下载到您的计算机,那么查看这些内容是快速的,因为FProxy从本地缓存获取它。你的电脑在Freenet上的时间越长,你允许Freenet在你的系统上托管的数据越多,你的浏览速度就会越快。
浏览默认书签
你从哪里开始在Freenet浏览内容?启动Freenet,然后在http://127.0.0.1:8888的浏览器中访问FProxy。从那里,访问在顶部菜单栏的“浏览”项目(红色箭头指向上面的图片)。这将显示页面的图片,并允许您选择一个较大的目录网站在Freenet。这些网站包含到其他Freenet资源的链接。
当您点击这些链接时,Freenet会请求该站点或资源的密钥。如果你的系统中还没有,它会把你的浏览器带到一个“下载”页面,在那里你会等待,直到FProxy抓取资源。
在Freenet上“冲浪”的感觉和90年代的网上冲浪非常相似。它是缓慢的。有一些链接到不再可用的资源。在大多数情况下,网站是基于文本的。
Freenet中的其他服务
除了文件共享和下载,Freenet还提供了其他几种交换信息的机制。它有电子邮件和论坛,你可以创建自己的网站。完成这些任务的指导可以在教程中找到,例如https://darknetlive.com上的教程。
Freenet总结
所以,回顾一下Freenet的概况:
1. 跨平台兼容的java应用程序。
2. 缓慢。它检索资源文件片段,这使得使用它有点挑战性,除非你把它放置好几个小时,并允许它在你的计算机上存储大量的内容。
3.跨节点分布,使得删除内容变得困难,访问内容变得更慢。
4. 数据是否可用取决于它的流行程度。
5. FProxy是Freenet程序安装时安装的配置和浏览工具。
6. 两种主要的模式是公开网和暗网,公开网是默认的,暗网是更安全的。
7. 网页浏览,文件共享,创建内容,电子邮件,论坛是这个暗网的许多功能。
I2P -隐形互联网项目
第二个网络:I2P隐形互联网项目
(I2P)是一个复杂的,高度加密的网络覆盖普通互联网。虽然在某些情况下,用户可以访问internet上的主机,但I2P用户访问的大多数资源只能从网络内部访问。
I2P的目标是允许人们匿名访问网络资源,并防止其他人(公司、政府、压迫性父母等)窃听通过I2P传输的流量。它使用3 4层加密、多跳和单向隧道来实现它的目标。
人们在I2P中做什么?
I2P很像互联网本身:人们有各种各样的活动可以参与,有大量的内容可以下载/查看。用户可以使用I2P- bote,一种“使用分布式哈希表(DHT)进行安全邮件存储的无服务器点对点电子邮件应用程序”,或者使用I2PSnark客户端访问I2P BitTorrent系统上的文件。
I2P网站通常被称为“Eepsites”,有很多Eepsites可以浏览。从出售合法和非法物品和服务的市场到论坛和聊天系统共享信息,I2P网络在很大程度上模仿了表面网络的功能。
I2P 与 Freenet
I2P与Freenet的不同之处在于,它的工作方式与大多数人使用互联网的方式相似。如果你想在I2P中浏览某个网站,你只需在浏览器中输入网址,然后点击发送,而不必请求并下载所有加密的内容,然后让你的电脑将它们重新组合成本地显示的内容。
在互联网上,当你浏览网页时,你的通信量会从一个系统跳到另一个系统,直到到达你请求的资源,然后它会通过一系列设备返回到你的系统。是的,我知道这是对网页浏览方式的过度简化。
通过I2P,运行I2P软件的计算机创建了通往其他节点的单向通道。它通过每个隧道发送或接收流量。这些加密隧道允许数据以一种难以追踪的方式快速地与远程资源进行传输。
I2P的主要网站(引用在上面)指出,I2P上的网站与你在互联网上找到的网站大致相同。
I2P通道
I2P在每个节点上创建单向通道。通道可以是出站的,向其他目的地发送流量,也可以是入站的,接受流量。每个节点都有无数进出的通道,每10分钟就会被创建和拆除一次。”这样可以防止窃听者对节点流量执行流量分析攻击,以确定某些内容来自哪个节点。
在上图中,从Alice到Bob的流量将从她的一个出站通道(粉色)流出,并在到达Bob系统的目的地的途中至少跳转到另外两个路由器。它将到达Bob的入站通道(绿色),然后被Bob的目标应用程序(电子邮件、IRC、web浏览器等)解密并使用。返回的流量将从Bob的出站通道(粉色)流向Alice的入站通道(绿色)。
注意,Alice、Bob、Charlie和Dave都有其他通道将他们的系统连接到其他I2P节点。这些在这个图表中没有显示出来。另外,Charlie的入站通道和Dave的出站通道也被省略了。
安装I2P
I2P有一个基于java的安装程序,可以在Windows、macOS和Linux计算机上运行。下载它之后,应该以普通(非管理)用户的身份运行它。安装程序很容易使用,并将在安装结束时显示上述页面。请注意软件的安装位置以及在计算机上启动I2P路由器的命令。在上图中,我们将它安装到Linux系统中一个名为“osint”的用户的主目录中。如果我们想停止、启动或重新启动服务,我们可以运行/home/osint/i2p/i2prouter[命令](在这里我们可以输入start、stop或restart,而不是[命令])。
运行I2P
一旦安装了I2P服务,您就可以通过从命令行或终端窗口执行它来启动I2P服务,或者您可以单击桌面(macOS和Windows)上相应的图标。在Linux命令行中,我们将使用“i2prouter start”命令和参数启动服务。
当系统启动时,它应该启动一个web浏览器,并将其指向您本地的I2P代理。I2P的网络路由器控制台(如上所示)是配置和开始使用I2P的好地方。
您将希望访问“配置带宽”功能,以增加I2P可以使用的带宽,以及您希望与其他I2P用户共享的路由其内容的数量。请记住,您共享的带宽越多,来自其他系统的发送和从您的系统发送的流量就越多。这增加了您的匿名性,因为分析来自您计算机的通信量的人不知道您的系统发送的通信量是源自您的计算机还是从另一台计算机转发过来的。
这需要一段时间
在您的系统上启动I2P和您可以使用它进行网络通信之间会有一个延迟。在您开始使用I2P之前,有许多底层任务必须完成,根据您的网络和系统设置,这可能需要一段时间。
考虑到您可能还需要更改网络(路由器)和基于主机的防火墙设置,以允许I2P UDP通信通过。如果I2P路由器控制台左侧显示“网络:”设置有问题,请单击网络文本查看故障排除选项。您可能需要访问/confignet页面并向下滚动到UDP端口部分,以找到您的I2P安装的端口号。
最后,需要设置应用程序以使用I2P。您的web浏览器需要修改其本地代理设置,以指向localhost:4444上的I2P代理。为此,在浏览器中打开首选项并导航到代理设置。确保发送给“localhost”的通信没有通过I2P进行代理,因为您将无法访问I2P控制台。
如果要使用IRC,则需要将其设置为在localhost:6668上使用本地代理。
I2P中的主机名
就我们的目的而言,您可能会看到以上三种格式中的一种或多种I2P站点名称:516-key,base32.b32.i2p,或者使用一个虚拟主机名,如stats.i2p。
I2P地址簿和名称解析
您的I2P客户机在它的本地hosts.txt文件中有一个条目。这是针对可信http://i2pprojekt.i2p/hosts.txt文件的。本地命名服务将定期从系统订阅的任何站点下载hosts.txt文件。在下载文件时,它将与您现有的hosts.txt文件合并,增加您的系统知道的网站数量。
示例12p Eepsites
为了让你对I2P上的一些内容有所了解,我们展示了论坛/留言板的隐藏答案。I2p,用户在这里发布问题供其他人回应。并不是所有i2p资源都是英文的。这一点需要记住,这取决于你的目标用户是谁以及他们所懂的语言。
附加Eepsites
我们可以利用地表网络在I2P中找到与我们调查相关的eepsites。http://nekhbet.com和https://sec487.info/vo站点(以及其他站点)有*的列表。I2P域名,简要说明该网站的内容或用途。
I2P总结
所以,回顾一下I2P的概况:
1. 跨平台兼容的java应用程序。
2. 目标是通过加密通信流并让它通过其他系统,防止窃听和将网络通信流归属到主机/节点/目的地。
3.一系列短暂的单向隧道,要么进要么出,只持续10分钟。
4. 数据可能可用,也可能不可用,这取决于它所在的资源是否可用。
5. I2P Console是您的配置工具,安装I2P程序时即可安装。
6. 网页浏览,文件共享,创建内容,电子邮件,论坛是这个暗网的许多功能。
Tor
第三网络:Tor
到目前为止,使用最多、最常见的暗网覆盖网络是Tor,有超过200万用户每天发送超过100Gb的流量最初命名为洋葱路由项目,现在简称为Tor(以这种方式大写),它主要用于提供伪匿名网络连接,以允许人们访问可能被审查、封锁和/或监控的资源。洋葱网络的主要网站:https://www.torproject.org/
谁在使用Tor,为什么?
就像许多系统和工具一样,Tor可以用来做好事,也可以用来做坏事。Tor允许用户保持他们的通信匿名,并隐藏他们的来源。作为一名OSINT分析师,使用洋葱网络可能是一种技术,你可以利用它来发现你的目标在暗网中做什么,也可能是一种让你的工作更加私密的工具。这完全取决于你的需求和你的评估目标。
Tor有隐藏的服务,只能从Tor内部访问。如果需要的话,用户还可以通过Tor浏览互联网,对目标站点隐藏他们的面向互联网的IP地址。
Tor是什么?
Tor项目成员对Tor的描述抓住了上述段落中Tor的精髓。让我们逐一分析并讨论重要的部分。
首先,Tor是一种运行在电脑和移动系统上的“匿名通信服务”。它允许这些设备上的应用程序穿越节点网络并访问另一端的某些服务。
Tor为从源路由到目的的流量创建虚拟电路。这些电路是暂时的,可以由用户或Tor服务在特定频率上自动重新配置。在这个点对点网络中,每个节点只知道它从哪个节点接收流量,以及它将把流量发送给哪个节点。
通过Tor的数据在虚拟电路中使用对称密钥进行解密。每次执行此操作时,显示的内容是该流量的虚拟电路中的下一跳,以便当前节点可以沿着路径将数据发送到目的地。
Tor例子:戒指-我的视角
为了更简单地解释Tor,让我们看看我如何匿名地为我的朋友金凤花公主的婚礼送出一副戒指。我的目标是让她拿到戒指却不知道是我送的。另外,我不想让携带戒指的快递员知道他们携带的包裹里有珍贵的货物。我要做的第一件事是把戒指放在一个红色的戒指盒子里。在盒子外面我写着“送金凤花公主”。然后我把戒指盒密封起来,把它放进一个更大的盒子里。我关上盒子,在外面写着“交付MAX”。最后,我把这个盒子放进第三个盒子里,把它合上,在外面写“交给费泽克”。我知道每个快递员谁会帮助这些包裹到达目的地(上面的红色虚线框)。现在我把这个大盒子(里面装着其他盒子)寄给费泽克。
例子:戒指-费泽克
费泽克收到了盒子(3),打开它,取出了写着Max的盒子2。费泽克知道我把箱子给了他,他需要把箱子交给MAX(上面红色的线框),但他不知道这些包裹的最终目的地。费泽克也不知道有效载荷(戒指),只知道他需要把盒子交给MAX,他做到了。
Tor例子:戒指-Max
Max收到2号盒子,打开它,发现里面有1号盒子。第一个盒子是给毛茛金凤花子,他需要把里面的东西交给金凤花公主(上图红色虚线的盒子)。MAX不知道是我送的盒子,他把它交给了金凤花公主。
例如:金凤花公主戒指
金凤花公主收到并打开红盒子,发现里面的戒指。她拿到了有效载荷(戒指),但不知道是谁送的,只知道是MAX送的(上图红线框)。我的匿名投递成功了!
Tor示例:Rings -摘要
将这个故事与Tor的运作方式进行比较非常简单。
首先,就像我把每个包裹都寄给故事中的某个特定人物一样,通过洋葱网络,来源决定了到达目的地的路径。
其次,为了保持匿名性,只有源知道包(或网络流量)到达目的地的整个路径。路径中的每个步骤都将解包,然后将其发送到下一个位置。在我们的故事中,每个人打开一个包裹来确定下一个地址。使用Tor,每个节点解密流量,以揭示路径中的下一个地址。
最后,只有“源”和“目的地”知道最内层数据包的内容,因为有层层加密保护。在我们的故事中,只有我,作为消息来源,和金凤花公主,作为目的地,知道盒子里有戒指。
电子自由基金会(EFF)展示了Tor如何以一种略微不同的方式工作。它强调了在通过Tor发送通信时应该如何使用HTTPS,以便在发送到目的地时对出口(或最后一个)节点的最终请求进行加密。
洋葱网络是如何运作的?
上图“说明了数据如何从左边的你的计算机(“jij”在荷兰语中是“你”)通过Tor到达右边的目的地。请注意,离开计算机的数据被多层加密包裹(如图粗线所示)。您的计算机在数据离开计算机之前对到每个节点的通信进行加密。
您的通信流沿着它的源路由路径流向入口守卫节点2这些特殊的Tor节点有助于防止数据关联攻击,从而控制流量的入口和出口节点的攻击者可以关联、拦截和修改(如果到目的地的数据没有加密)您的数据。
保护节点解密数据并将其发送到指定路径中的下一跳。下一跳(以及每一个连续的)是到一个Tor中继节点。每个节点解密数据并传递到下一个节点,直到到达退出节点。从出口节点离开Tor的数据用于与internet上的服务通信,可能是加密的(例如,HTTPS)或不加密的(HTTP)。
使用Tor时的注意事项
Tor网络有助于提高用户的匿名性,但这并不意味着它比互联网更安全。它遭受着我们每天在互联网上遇到的一些相同的问题。下面列出了其中的一些问题,以及一些关注隐私的用户在使用Tor时需要记住的具体问题。
1. 托管在Tor中的文件(如pdf、Word文档、JavaScript或从Torrent站点下载的内容)可能含有恶意内容。为了保护您的系统不受破坏或感染,在打开和使用文件之前,请确保采取适当的防病毒、防恶意软件和防利用措施。
2. 如前所述,如果您没有使用加密协议(如HTTPS或SSH)加密到目标站点的流量,您的数据可能会被拦截,并可能被用于对您不利。
3.避免数据关联攻击的一种方法是永远不要离开Tor(攻击者会在你的数据进入Tor之前和退出Tor时拦截它,然后关联用户活动)。有许多基于互联网的服务,如Facebook和DuckDuckGo,都有原生的Tor服务,用户不需要退出Tor就可以使用它们。将您的流量保持在Tor网络内意味着它总是被加密的,攻击者无法将您的流量关联起来。
4. 如果您试图保持匿名,在与Tor中的人和资源交互时不要使用真实的个人信息(或至少不要使用您的个人信息)。
5. 如果你使用洋葱网络匿名上网,避免使用需要身份验证和用户资料的网站,因为它们可能被网站记录下来,用来分析你的行为。
Tor蜜罐(Honions)
虽然Tor网络有助于提高匿名性,因为许多罪犯使用它,但执法部门、情报机构和其他机构可能会监控从一个节点到另一个节点的流量,试图分析哪些系统正在从其他系统发送和接收流量。2016年,东北大学的两名研究人员发现,110个Tor节点正在收集它们不应该收集的数据。就我们的目的而言,我们需要意识到没有一个网络是完美的,有人可能一直在监视和收集我们在网络上做的事情。
安装Tor
除了访问Tor项目页面下载应用程序,许多Linux和macOS (brew和MacPorts)的包管理器也有将Tor安装到系统上的方法。Tor为Windows、macOS和Linux系统提供安装程序和一些独立应用程序。你可能希望在工作(或个人生活)中使用的三个优秀项目是Tor Browser(用于网页浏览)、Tails(用于创建可启动USB设备和虚拟机)和Orbot(用于Android移动设备)。这些项目都让用户更容易访问Tor。
运行Tor
当从您的计算机运行时,Tor软件作为一个本地代理,获取应用程序信息,并将其发送到Tor。这个过程有时被称为“Tor化应用程序”(将一个普通应用程序作为上游代理来配置通过Tor网络的流量)。Tor可以用来访问特殊的“隐藏”服务(主机名以顶级域名。onion结尾)或可以在互联网上访问的常规资源,如https://www.facebook.com和https://www.interpol.int。
使用Tor浏览器
免费的Tor网络浏览器可以在
https://www.torproject.org/projects/torbrowser.html 上找到,它将大大减少你通过Tor浏览网页或浏览Tor隐藏服务所需的时间和精力。大多数主要操作系统的详细安装说明可以在项目页面上找到,一旦安装,浏览器的外观和感觉就完全像Mozilla的Firefox浏览器。使用这种自包含浏览器访问Tor的好处包括:
1. 它包含一个Tor副本,它将在发行时自动启动。
2. 默认情况下,Tor浏览器的配置比普通Firefox更安全。
3.几个有用的,预先安装的浏览器安全插件(NoScript, HTTPS-Everywhere)使您的浏览安全和您访问网站安全。
根据您安装应用程序的方式,可以让Tor Browser在localhost:9150和9151上自动启动Tor。其他应用程序可以使用这些侦听器来访问Tor。
匿名操作系统
Tor浏览器是一个极好的选择,简单浏览Tor或浏览互联网网站通过Tor。但是,如果您想阻止您的本地Internet服务提供商(ISP)查看您的web流量、DNS请求和其他可能没有配置为发送到Tor的网络服务,该怎么办呢?您可能需要使用诸如Whonix这样的网关系统。
Whonix系统包含Whonix网关虚拟机(VM)和一个或多个其他工作站虚拟机,您将在那里进行工作。这些工作站虚拟机被配置在一个私有虚拟网络上,并使用Whonix Gateway VM作为它们的上游网络提供商,就像您的家庭计算机可能将它们的网络流量发送到您的家庭路由器一样。
使用该虚拟机,将所有数据发送到另一个虚拟机系统,可以防止虚假网络流量通过本地网络和本地ISP,并有助于保持您的在线匿名性。
检查你是否在使用Tor网络
无论您是使用Tor浏览器冲浪、Tor市场或谷歌的Chrome浏览器发送流量,通过Whonix访问您的目标的社交媒体页面,您都要确保您的流量实际上是通过Tor网络发送的。
想象一下,如果你为执法部门工作,必须浏览目标的一些网站。您肯定不希望您的执法机构IP地址被记录为访问他们的系统。那将是糟糕的OPSEC。所以,你建立了洋葱网络,通过它发送你的流量。但你怎么知道它是通过洋葱网络传输的呢?
这就是https://check.torproject.org网站的焦点所在。从web浏览器访问这个站点,它会显示你的IP地址是Tor出口节点(表明你正在使用Tor浏览)还是不是(表明你可能配置错误)。以上图片分别是在未启用Tor和启用Tor访问该网站时拍摄的。
Tor Surface Web退出节点
使用Tor在表面上访问网站就像在URL栏中输入一样简单。当你这样做的时候,Tor会找到一条到地面网络的路线,并选择一个出口节点。这些出口节点大多位于美国,但可以位于20多个不同的国家。这给我们带来了一个有趣的问题。如果我使用洋葱网络访问表面网站,增加我的匿名性,但在一个我不会说或不懂语言的国家的出口节点退出洋葱网络,这是一个问题吗?
它可以是,取决于网站是否根据出口节点的IP地址的位置定制我的界面。在上图中,我们展示了我们的Tor浏览器流量从罗马尼亚的一个出口节点退出Tor(箭头2)。因为Google.com,我们访问的网站,根据IP地址的位置定制了我们的网页(罗马尼亚),我们看到罗马尼亚语的谷歌链接和按钮(箭头3)。
当然,这对您来说可能不是问题,因为您可能懂这门语言,或者能够猜测按钮和链接的用途,或者您可以使用翻译服务。
相同的内容,不同的层用
Tor做的最冒险的事情之一就是访问地表网络。这是因为你用来到达地面网络的出口节点可能会干扰和监控你的交通。为了降低风险,许多地面网站在Tor中都有接口。当你使用他们的Tor接口时,你可以访问表面的网络内容,但要保持安全,因为你所有的流量都是在Tor内加密的。
为了证明我们访问的是相同的数据,在上图中,我们在地表网络(1)上和在DuckDuckGo.com洋葱服务(https://3g2upl4pq6kufc4m)中的Tor浏览器中执行了“Brexit”的搜索。在Tor的右边(2)。你可以看到这两个搜索的内容非常相似。其他网站也有Tor接口。从他们的Tor网站https://www.facebookcorewwwi.onion/可以访问Facebook.com的社交媒体网络并与之互动。
Tor隐藏服务名称-版本2
由于Tor的onion伪顶级域名(TLD)不是一个有效的表面网络顶级域名,你的计算机无法在互联网上找到Tor隐藏的服务。毕竟,它们是“隐藏”服务。每天有大约75000个隐藏服务被记录在Tor中他们的。onion地址是使用SHA 1哈希的公钥制作的。然后是Base32编码。将.onion TLD作为后缀添加,并且有Tor隐藏服务名称。
新的隐藏服务随机连接到一些中继,并共享其公钥。然后,它将公钥与共享密钥的介绍点摘要结合起来,创建一个隐藏的服务描述符。然后,这个描述符被上传到一个分布式哈希表中,当使用其.onion地址请求隐藏服务时,隐藏服务描述符将描述如何到达该服务。
Tor隐藏服务名称-版本3
Tor的隐藏服务名称文档包含Tor协议从版本2到3的更新概述。对第三版协议的细节感兴趣吗?它指出了该协议的一些主要增强:
a)更好的加密(用SHA3/ed25519/curve25519取代SHA1/DH/RSA1024)
b)改进的目录协议泄漏到目录服务器更少。
c)改进的目录协议,针对有针对性的攻击具有更小的表面。
d)更好的洋葱地址安全防范假冒。
e)更可扩展的引入/集合协议。
f)洋葱服务的离线密钥
g)高级客户端授权"从我们的OSINT角度来看,版本3隐藏的服务名称将会是56字节而不是16字节。
检查隐藏服务
虽然Tor的许多隐藏服务都是无害的,但暗网包含了以非法用户为食的市场。你可能会有访问Tor这些区域的目标。正如上面的幻灯片所示,人们在暗网上出售几乎任何东西,从信用卡、毒品到枪支和“杀手”服务。这些市场在Tor中非常多,可以通过简单的搜索引擎查询(如“暗网市场”)在地表网络上定位。
从互联网访问隐藏服务
而Tor为访问其隐藏服务的用户提供匿名服务(洋葱网站),在访问这些网站时存在一个小障碍。这可能是您在一个客户站点上,他们不允许您运行虚拟机或在他们的系统上安装Tor浏览器。或者您所处的位置Tor协议被防火墙过滤,因此您在访问Tor网络时面临挑战。不要放弃。在互联网上有几种服务,可以让你浏览隐藏的服务网站,而无需在你的系统上配置Tor !
要使用此服务,请替换“。洋葱”在洋葱地址与“。tor2web.io”。在上面的示例中,我们获取http://torlinkbgsbaabns.onion/站点,并通过在我们的surface web浏览器中访问https://torlinkbgsbaabns.tor2web.io来通过Tor2Web应用程序访问它。
可以想象,当我们使用这些代理服务时,我们的操作安全性会急剧下降,因为它们可以监视我们访问的地方和修改页面内容。事实上,我们知道它们会改变页面内容,因为返回页面上的链接使用hiddenservice.net重写了它们的链接。onion.guide,onion.city,onion.to或者onion.Cab等域名不是正常的,所以使用时要小心。
Hunchly每日隐藏服务报告
贾斯汀·塞茨(Justin Seitz)运行着几个暗网(Tor)扫描器,每天都能发现新的隐藏服务。他的工具会记录它们,并通过电子邮件和他的Hunchly Twitter账户(https://twitter.com/Hunchly)每天发布excel格式的XLSX文件。新的隐藏服务对于监视和检查您的工作可能很重要。
这些文件对于寻找类似的站点也很有用。上面,我们使用Microsoft Excel来过滤和排序“上”选项卡的结果(这个选项卡记录了在给定的一天中发现了哪些服务正在运行)。通过按网站标题对输出进行排序,我们可以看到几个组(1、2和3)的网站名称是相同的。这可能对你的调查很重要,因为它可以把其他洋葱地址和一个单一的所有者联系起来。
新鲜洋葱隐藏服务
Tor中的Fresh Onions隐藏服务包含有关隐藏服务的历史数据。它使用各种各样的站点和技术来发现新的洋葱站点,扫描它们,并记录可能对你的工作有帮助的数据。我们可以使用这个网站来查看哪些隐藏的服务可能通过使用相同的SSH密钥(表明它可能是一个克隆或从一个图像创建),通过HTML页面中的web链接,并通过数据,如电子邮件(4)和比特币地址(5)连接起来。每一个领域都可以进行深入研究,以发现其他服务器可能与这个系统相关。例如,如果三种不同的洋葱服务都注意到支付。应该是同一个比特币钱包,这可能会告诉你这些网站之间的关系。
如果你想为你的工作保留一份副本,或者对它发现的隐藏服务进行研究感兴趣,Fresh Onions收集的数据也可以下载。我们在上图的JSON链接上放置了一个“1”。单击它,您正在查看的JSON记录将被下载。
新鲜洋葱的洋葱地址在2019年10月改变为
http://vps7nsnlz3n4ckiie5evi5oz2znes7p57gmrvundbmgat22luzd4z2id.onion
新鲜洋葱有趣的路径
新鲜洋葱有助于指出我们可能希望研究的其他地方,例如网页的有趣路径部分。这些是新鲜洋葱扫描仪在目标洋葱服务的web服务器上发现的有趣目录。让我们访问这个路径,看看web服务器显示了什么。
本节还将介绍其他有趣的web目录。所有这些都应该进行调查和研究,因为它们可能会把服务器连接在一起,成为泄露数据的来源。目录/server-info可能会显示部分web服务器的配置文件(一些不应该被web访问的东西)。让我们在接下来的幻灯片中更深入地研究这个特定的/server-status路径。
Apache Web Server mod_status洋葱服务器
在安装和配置web服务器(如免费的Apache web server (https://httpd.apache.org))时,通常会对系统配置进行加固。这是因为系统管理员在第一次安装服务器时可能会启用许多调试功能,以检查某些功能和功能是否正常工作,如果一直启用,就会将服务器和站点数据泄露给不应该看到它的人。在匿名性高的地方禁用这些web服务器功能是很重要的。
之前的Fresh Onions幻灯片向我们展示了/server-status有趣的路径。在这里,我们参观了那个地方。我们看到的破坏了洋葱服务器的匿名性。我们看到:
1. 服务器已配置洋葱服务。
2. 底层操作系统、Apache web服务器和插件版本,可能容易被利用。
3.服务器上的当前时间,可以显示服务器在世界上的位置。
4. 虚拟主机(或VHost)是这个服务器所托管的网站。在这里,我们看到“site65.com”网站运行在洋葱服务上。所以这个运行Tor网站的服务器同时也在运行site65.com网站!如果你想更多地了解这个系统,你现在可以转向地表网络,然后转向研究这个领域。
5. 我们还可以查看用户提交给服务器的页面和参数。这揭示页面。可能会泄露敏感参数,如用户名、密码和会话id,这些可能会在URL中传递。
Tor总结
Tor的概况:
1. 它是跨平台兼容的基于代理的应用程序。
2. 其目标是提高用户和服务所有者的匿名性,无论他们是在互联网上还是在Tor内访问服务。
3.Tor电路是暂时的,通过继电器和节点产生跳跃。
4. 来自客户端应用程序的流量是源路由和加密的,只要信息保持在Tor网络内。
5. 根据您使用的软件和平台来访问Tor及其隐藏服务,您将有各种方法来配置如何创建和销毁电路,特殊的隐藏服务身份验证,等等。
6.Web浏览、文件共享、创建内容、电子邮件和论坛是这个暗网的许多功能。
监测和报警
监控互联网数据
有时候,你的公司或客户需要你随着时间的推移监控情绪、一个人、一个团体或一个术语。这就是互联网监控和警报成为我们OSINT工作重点的地方。根据客户/组织的目标,你可能会被赋予以下任务:
检查某些网站的变化。
找出你公司的数据是否泄露到其他网站。
通过社交媒体和新闻报道监控群体或人的活动。
看看你公司的竞争对手在做什么。
在设置这些警报之前,您需要确定要监视的术语、网站和组,然后选择能够协助您工作的平台。
泄露用户帐户- HIBP
Troy Hunt (@troyhunt)创建并运营了HavelBeenPwned.com网站。这是一个惊人的免费资源。当网站或应用程序被入侵,用户名和密码被盗,特洛伊亨特得到那些转储凭据,并把它们放入HIBP(我已被入侵)。虽然该应用程序不允许人们看到特定用户的密码,但你可以搜索电子邮件地址,看看该电子邮件是否在任何转储中找到。此外,HIBP有一个API,可用于以快速的方式对站点进行脚本调用。
如果您可以控制一个域,那么您可以注册以便在从该域导入HIBP的新凭证时接收电子邮件。与组织的安全团队合作,让他们在HIBP中注册所有电子邮件域,并将电子邮件警报发送到CIRT或SOC。
图片来自https://haveibeenpwned.com, 2018年3月31日。
为什么使用HIBP ?
HavelBeenPwned漏洞搜索和通知系统是OSINT分析师,蓝队,红队,甚至是我们每个人的宝贵资产。我们从本网站收集到的信息,以及它迅速发送的入侵通知电子邮件,使我们能够保护自己、我们的亲人和我们的用户不受攻击者的攻击,攻击者可能会使用他们被破坏的用户名、电子邮件和密码来攻击他们。
HIBP结果
在这张幻灯片中,我们展示了一个积极的结果,电子邮件地址在一个或多个违规中被发现,在左边,和一个消极的结果,电子邮件帐户没有在HIBP收集的违规中被发现,在右边。如果该电子邮件地址在一次或多次违规中被发现,网页下方会显示发现该邮件地址的违规名称,以及每个具体违规的范围和情况。HIBP还有一个API,可用于从站点快速检索数据。2019年,制止滥用Troy Hunt将API从免费服务改为付费服务,每个月花费3.5 s5。
图片来自https://haveibeenpwned.com, 2019年1月6日。
密码查找网站和OSINT
当犯罪分子侵入一个网络应用程序并窃取用户名、电子邮件和密码时,很多时候他们会将这些数据发布到共享网站上。其他人将检索并存储转储的数据。之后,当有人想破解某个特定系统或某个用户的帐户时,他们将打开这些数据转储,并搜索适当的被破解的凭据集。在其他网站重复使用用户名和密码可能产生有效的登录,如果用户使用相同的凭据在不同的网站。
我们也可以将这个信息用于OSINT。了解数据是如何关联的,可以帮助我们搜索用户使用特定电子邮件的其他账户。或者,如果用户设置了一个很少有人使用的唯一密码,我们可能会在这些转储中搜索使用该特定密码的其他帐户(电子邮件地址)。这样就能找到目标使用相同密码的无关电子邮件账户。
最后要考虑的是,搜索这些被泄露的数据是否合乎道德。有人从一个私人系统窃取了数据,并向公众发布。您和您的组织是否同意在OSINT中使用窃取的数据?
密码查询网站
我们使用标志性的“[email protected]”电子邮件地址在两个漏洞收集网站上进行搜索。Spycloud.com和dehashed.com网站允许用户对他们的系统进行免费搜索,从数据转储中找到记录。如果你想看看在Spycloud网站上发现了什么记录,“免费获得访问和完整的详细信息”按钮,将生成一封电子邮件到您提交的电子邮件地址与更多的详细信息。如果您正在网站上查找其他人的信息,这可能不是您所希望的。Dehashed.com网站显示,272个转储的电子邮件在(2)(3)中发现,如果你注册一个付费帐户,就会显示密码。
Dehashed结果
如果您购买了dehash的付费计划,您可以访问用户帐户的明文密码或散列密码(取决于转储数据)。在这种情况下,我们点击了在Exploit中找到的[email protected]帐户。在dump(1)和揭示密码“roma456”(2)。让我们使用这个密码,并找到其他帐户,dehash知道有相同的凭据。
基于密码的dehash
Pivot从前一次搜索的[email protected]记录中找到“roma456”密码,我们以该字符串为轴心进行搜索。dehash显示了在电子邮件地址和其他帐户密码中发现该字符串的结果。这可能表明这些帐户是由同一个人建立或维护的,或者可能是一个巧合,另一个人为他们的帐户选择了相同的密码。作为OSINT的分析师,我们会试图确认或否认这些新账户是我们目标的账户。
上图显示了我们在搜索“roma456”字符串(1),它的下面显示了几个结果。点击“ramler .ru”转储(2),我们发现帐户“r-erema”使用的密码是我们的字符串“roma456”。
外国字符集
你们中的许多人已经在非英语字符集中与世界互动,在OSINT工作中使用自己的母语或目标语言。Dehashed和其他漏洞网站也包含这些非英语字符。在上面的幻灯片中,我们把英文单词“password”翻译成日语。然后我们使用这些字符在Dehashed(1)中搜索条目。我们发现有55个条目的记录中有这个字符串。当我们点击一个条目(2)时,我们发现存储的密码与单词“password”(3)的翻译相匹配。我们还看到返回的条目具有“.jp”的顶级域(TLD),这是日本。对于日本人使用日文字符作为密码,您应该不会感到惊讶。
OCCRP 数据
有组织犯罪和贪污举报项目成立于2006年,旨在为世界各地调查犯罪和贪污的记者提供储存和共享消息来源的便利。该在线系统的核心包括数千封被泄露的电子邮件、被盗文件、公共数据以及可以协助调查工作的来源。搜索人员、事件、位置和其他感兴趣的主题并检索匹配的文本,然后检索在其中发现匹配的文档和电子邮件。
在上面的图片中,我们搜索了数据库(https://aleph.occrp.org)的术语“金正恩”(1)。你可以看到返回的数据集(2)包含电子邮件泄露数据,泄露数据,以及潜在的被盗内容。选择一个结果(3),我们可以提取文档(4)的文本,并解析与我们的OSINT工作相关的数据。在该网站上注册一个免费帐户,可以更方便地访问数据、系统警报和自动访问材料的API密钥。
什么是粘贴网站?
简单地说,粘贴网站是人们发布文本内容并以基本匿名的方式与他人分享的地方。虽然https://pastebin.com web应用程序是比较知名的粘贴站点之一,但还有许多其他web应用程序也在进行这种基于文本的内容共享。发布到这些web应用程序的内容是公开的,尽管有些网站允许隐藏粘贴。当有人将内容粘贴到这些站点之一时,他们将获得一个惟一的URL与他人共享。当这些人使用URL时,他们会看到原始内容。使用的URL通常是随机字符,如“Zv4baTPD”,当将其放置到正确的URL中时,将检索所请求的内容。在大多数粘贴站点上,都不需要身份验证。有人点击一个按钮来创建新的内容,一个页面被生成,他们粘贴内容,然后它被发布出来,以便公众可以阅读。其中一些网络应用程序允许用户购买带有这些用身份验证附加功能的“专业”账户。
人们分享什么?
人们几乎可以在这些粘贴网站上分享他们想要的任何文本,但通常我们会在这些网站上看到更多的上述类型的内容。SANS高级讲师Lenny Zeltser写了一篇博客,介绍了他在https://pastebin.com网站上看到的内容,以及他发现人们在使用该网站的情况。
发布文本内容似乎不会伤害任何人。毕竟,这只是文本。没有任何地方可以隐藏和执行恶意软件。但是,一些粘贴的内容可能会对个人和组织造成相当大的伤害。Pastebin.com网站显示了不应该发布到该网站的内容列表(如幻灯片右侧所示)。如果有人报告这个内容,Pastebin.com可能会把它离线,并禁止发布它的用户/IP地址。但对于违反这些服务条款的人来说,这些后果是非常轻微的。大多数人都是匿名发帖,IP地址可以通过使用VPN或Tor更改。
粘贴不是永久的
粘贴的内容可以设置自毁日期/时间,它将自动从网站删除。付费帐户的用户可能会选择删除他们的粘贴。其他时候,网站维护人员可能会删除违反网站服务条款(TOS)或其他人要求删除的内容。请记住,这些内容(无论如何,大部分的粘贴)都是公开的,因此可能会被谷歌和其他搜索引擎索引。谷歌可能包含已删除内容的缓存副本。另外,像archive.org这样的网站也可能被要求备份粘贴的内容,就像2010年Gnosis对Gawker.com数据的转储一样。原来的粘贴(http://pastebin.com/Zv4baTPD)不再托管在Pastebin.com网站。然而,在Archive.org上查找该站点,我们看到它被存档了很多次,并且包含被删除的数据。
Pastebin垃圾场收集站点
https://psbdmp.ws站点扫描,监控,并从Pastebin.com检索数据。它之所以有效,是因为Pastebin的大多数粘贴都是公共的,可以检索。该站点索引并存储粘贴的副本。我们可以访问“转储”页面(上面的箭头1),并看到该站点发现的最近粘贴列表(2)。点击左边的“2”列中的超链接将把用户带到Pastebin站点。如果粘贴仍然可见,则应该加载。
上面的第3列显示了psbdmp的数据类型。在膏体中检测到Ws这是基于术语和模式匹配的粗略猜测。最后,单击上面第4列中的“view”链接将把用户带到存档在psbdmp.ws网站上的粘贴的缓存副本。如上所示,该站点还允许用户通过其公共API (https://psbdmp.ws/api)检索数据。该API是基于url的,不需要验证。它返回JSON,这使它成为工具的绝佳资源。我们不仅可以通过API检索整个转储,还可以搜索它们的转储。https://sec487.info/w0链接将在存档中搜索“[email protected]”电子邮件,并返回带有粘贴的JSON结果,然后可以检索。
搜索和监控
当我们考虑访问Pastebin.com上的数据时,我们的技术大致分为三类:我们可以搜索内容,我们可以从页面中抓取内容,我们可以持续监控网站,看看一个词是否在新的粘贴中出现。搜索pastebin.com等粘贴站点,可以像使用站点自己的搜索字段一样简单,如上所示。有时网站的粘贴被搜索引擎索引(我们将在后面的幻灯片中看到),我们可以使用Duck DuckGo或谷歌来搜索它们。或者,我们可以使用诸如Corelan团队的pastenum或pastehunter工具来搜索和下载我们选择的内容。最后,如果你想要长期监控这些网站,看看某些条款是否以粘贴方式提交,那么你有几个选择。有些网站,如Pastebin.com,提供付费帐户,允许用户输入关键词,如果网站在新的粘贴中看到这些关键词,就会收到提醒。另一种更技术化的解决方案是使用Justin Seitz的Python和Searx系统来持续监控站点。
谷歌cses
谷歌允许用户创建自定义搜索引擎(CSEs)来执行对某些站点的特定搜索。CSE的创建者在配置CSE时可以设置各种参数。拥有有效谷歌帐户的任何人都可以创建自己的CSE并对其进行调整,以返回对他们来说很重要的结果。如上面的幻灯片所示,可以在CSEs中启用和定制的许多特性与您可以在谷歌Dork中定制的参数相同。Stephanie Proto (@sprp 77)非常喜欢CSE。她已经创建了数百个cse,并经常在https://sec487.info/py上发布新内容。我们在谷歌自定义搜索引擎上遇到的主要OSINT问题是,每个引擎都是一个“黑匣子”,你不知道它是如何配置的,也不知道它搜索的是什么网站。如果您认为CSEs可能对您的团队和客户有用,请考虑自己制作CSEs。
谷歌快讯
创建一个谷歌用户帐户(电子邮件地址),当谷歌索引您感兴趣的内容时,您可以开始使用它的警报来获得通知。输入搜索词,如“sec487”或“伊尼戈·蒙托亚”,当谷歌发现在线内容时,它会提醒你的Gmail帐户注意新的热门内容。您可以自定义触发警报所需的数据的语言、区域和来源。这可以帮助缩小搜索范围,从而为你和你的团队提供更相关的数据。事实上,您可以在这个字段中输入任何有效的谷歌搜索。因此,如果你想在一个名为“secretproject”的新PDF文件被索引时收到警报,可以使用一个谷歌傻瓜文件类型:PDF intitle:secretproject。
VisualPing.io
VisualPing类似于谷歌警报。当Internet上的内容发生变化时,IO发送电子邮件。VisualPing可以监视网页,并通过代码或可视化检查来寻找更改。如上面的幻灯片所示,您可以指定VisualPing观察web站点的某个区域的变化。当数据被更改时,你会收到一封电子邮件。免费提醒级别限制帐户每月检查65次。这相当于一个月里每天检查两次,或者你可以更频繁地监控某件事,更快地用完这些检查。
这个网站有付费版本,给你更多的提醒。在上图中,通过认证帐户,我们启动了一个警报来监控https://sans.org/sec487类页面(1)。我们选择了想要发送警报的电子邮件(2)和频率(3)。然后我们设置触发警报需要发生多少变化(4),并可以选择添加额外的字符串/单词来在页面中查找(5)。
Versionista.com
亚历克斯另一个网页监控服务是免费的https://versionista.com。它的工作原理与VisualPing类似,并定期扫描您指定的网站以寻找变化。
IFTTT.com网站
“If This Then That”(https://ifttt.com)可以通过小程序帮助OSINT分析人员监视和警告网络上的内容。小程序是当某个动作发生时执行某些操作的一小段代码。IFTTT可通过web界面和Android和iOS设备上的移动应用程序访问。这大大增加了可使用的服务数量。例如,当墨西哥城的温度上升到一定水平时,你可以在移动设备上收到Android警报。或者当用户在Instagram上发布照片时,将其发布到Slack的某个组中。IFTTT集成了物联网设备和许多其他web服务。已经创建了一些小程序(如幻灯片中所示的小程序),您可以选择从它们开始,也可以创建自己的小程序。
微软Flow
与IFTTT类似,微软的Flow应用程序连接您的帐户,并基于一个触发器自动处理事件。微软将这些“Flow”命名为“流”,它们所能做的远远超过IFTTT的系统所能做的,因为它们可以利用微软Office 365中的云应用和OneDrive这样的云存储。对您来说,这意味着您可以与事件交互、存储数据和活动警报,所有这些都在一个工具中。
虽然流量用户帐户是免费使用的,但注册时需要一个有效的电子邮件和电话号码。一旦创建了这个帐户,您就可以从数百个预先配置的模板中选择(如上图所示)或创建您自己的模板。流可以是自动的(基于预先配置的设置完成)、即时的(手动触发事件)或计划的(在特定日期和时间间隔触发)。
Flow和IFTTT最大的区别之一是触发器和可执行动作的复杂性。Flow允许创建带有条件语句的触发器,而不是在单个触发器上执行操作。举个例子,如果一条带有#sec487标签的新推文是从目标账户发布的,那么在Office 365 Excel电子表格中记录这条推文的详细信息。
Tweetdeck监视Twitter
https://tweetdeck.twitter.com网站放大了您可以在Twitter上看到和交互的数据。有了一个有效的帐户,您可以创建列来监视兴趣、位置、人物等话题标签。内容可以设置为流,当新的推文发布时,它们会显示在你的提要中。用浅色和深色的主题来显示数据,这不仅很有用,而且很漂亮!
国际问题
走向全球
您的OSINT工作可能需要您使用美国以外的资源。你们中的一些学生可能在美国以外的国家学习,也可能在培训结束后回到美国。在任何一种情况下,我们都需要考虑如何在美国以外执行OSINT集合。你可能会遇到一些挑战,首先是一些国家的人没有在互联网上发布很多数据。他们的政府不把文件放到网上,也不让文件在网页上容易被搜索到。缺乏数据会导致评估工作停滞。
我们还需要了解你所研究的国家的人们使用什么社交媒体应用程序和网站来分享数据和与朋友联系。很多时候,如果我们知道去哪里找,这些数据就在那里等着我们去找。在美国,许多人专注于某些社交媒体应用程序,并认为全世界都必须使用这些应用程序。这绝对不是现实。虽然世界各地的人们可能会选择使用大型社交媒体网站之一,但我们的调查可能会对许多地区和国家特定的社交媒体渠道感兴趣。
最后,在研究其他国家的内容时,我们需要考虑潜在的语言障碍。也许你能读懂目标国家使用的语言,也许你不能。我们可以使用一些资源来帮助解码用我们不熟悉的语言编写的页面。但是,如果我们不能发送适当的字符到其他国家的网站,我们可能会有问题与网络应用程序的交互。
国际的开始
我的页面我们提到了Technisette's start。我的主页(https://sec487.info/startme)以及艾曼纽•韦尔奇的主页(https://sec487.info/ca)。它们是您OSINT工作的优秀、分类良好的资源。更多要添加到这个列表的是Bruce Mortier (@digintelosint)启动的国际OSINT资源。我的页面(https://sec487.info/ia)。布鲁诺将国际资源分散在这个分类良好的网页中,使其成为您国际工作的宝贵资源。
语言工具
执行有效的国际OSINT的第一个障碍可能是语言。虽然我们会讨论用电子方法来完成图像、声音和文本的充分翻译,但事实上,让一个理解目标语言的人来查看、听或阅读你试图理解的内容是最好的翻译方法。人类理解上下文。他们能解释习语和俚语。受过训练的语言学家或母语者是最好的翻译。许多公司承担不起聘请语言学家的费用,必须使用现有的工具来完成他们的翻译工作。
在这些情况下,移动应用程序和web应用程序可以提供帮助。微软和谷歌都是优秀的翻译应用程序和网站。当然,您可以使用其他网站和应用程序,它们可能在转换特定语言或媒介方面做得更好,但就我们的一般目的而言,这些谷歌和微软产品将会很好。
谷歌翻译
在线翻译使用起来很简单。将文本或字符复制到它们的表单字段中,它们负责将内容翻译成另一种语言的所有艰苦工作。它们在可翻译的语言数量和语言种类上各不相同,您可能需要尝试几种语言来找到一种适合您的需求。在上面的例子中,我们使用了“生活是痛苦的”这个短语。任何持不同观点的人都是在向你推销某种东西。”在谷歌翻译应用程序。我们把英语翻译成阿拉伯语。OPSEC警报!将您的OSINT案例内容粘贴到在线工具可能会违反客户机密,将敏感数据交给第三方,并违反合同条款。在使用在线工具之前,确保您了解您的评估指南。
微软翻译
微软的Bing Translator也可以翻译大量语言。在支持的语言数量和它允许的输入方法数量方面,它不像谷歌那样广泛。但是,它使用了与谷歌不同的翻译引擎,可以为您在OSINT工作中找到的文本提供不同的视角。
DeepL Translator
除了谷歌和Microsoft之外,还有其他在线语言翻译选项。据DeepL Translator (deeppl.com)报道,对于它翻译的少量语言,它比它的竞争对手更准确。”SEC487的几名学生也证实了这一点。有了付费和免费帐户,你可能希望尝试它。
音频翻译
对于短音频片段,来自Microsoft和谷歌(如上所示)的移动翻译应用程序可能很有用。上面概述了使用它们的简单过程,尽管这个过程有明显的变化(例如使用一个在线网站来“收听”并将手机上的音频播放到电脑的麦克风上)。
图片/照片翻译
使用谷歌移动应用程序(如上所示)或微软翻译应用程序,我们可以将我们的设备指向我们想要翻译的东西,或者为它拍照,或者只是将内容保存在框架中,应用程序将为我们转换文本。谷歌和Yandex(如下所示)都从各自的web应用程序执行这种“图像到文本”的提取和翻译。
Yandex虚拟键盘
下图是乌克兰街头的一个广告牌,可以看到我们需要翻译的字符,但我们不知道如何使用移动设备或电脑上的特定字符设置打开键盘。Yandex.com的翻译页面(https://translate.yandex.com)有一个虚拟键盘功能,可能会派上用场。谷歌也有一个。上面,我们访问了站点,选择了翻译文本(1)。然后我们选择了从(2)转换到(3)的语言。点击虚拟键盘(4),会出现(5)的键盘。Yandex仅对某些语言具有此功能。从这里开始,我们点击组成图像中的单词的字母,它将显示在(6)处,翻译在右侧(7)处。
字符翻译
有时,我们寻找的翻译是在图像或其他地方发现的内容,我们不能只是复制过去的文本到译者。在这种情况下,如果你对输入目标语言不熟悉,你可以使用翻译人员的web应用程序中的字符绘制工具来创建要翻译的字母。下图是乌克兰街头的一个广告牌(https://sec487.info/dk)。上面,我们使用谷歌Translate的字符绘制功能,选择语言(1和2),选择绘制字符(3),绘制字符(4),然后选择正确的字母(5)放置在需要翻译的上部区域(6)。
离线翻译
不把你感兴趣的OSINT内容发送到在线站点进行翻译的原因有很多。在这些情况下,我们可以在“脱机”模式下使用相同的移动设备应用程序,使用之前下载的语言包执行翻译。在上面的幻灯片中,我们看到了谷歌和Microsoft的语言包选项。“1”箭头指向设备中已经下载的那些包,“2”箭头指向那些可以下载的其他语言包。
国际OSINT YouTube视频
柯比·普莱萨斯(@kirbstr, http://www.plessas.net/site/)在2017年11月录制了一段关于“调查全球化后该怎么办”的网络视频。它为在OSINT评估中处理外国内容提供了优秀的建议和流程。
受欢迎的网站
不同国家的人可以访问不同的网站。如果你在另一个国家研究内容,你应该检查该地区的人们使用什么网站来获取他们的新闻,分享他们的个人生活,购买东西。你的OSINT可能会更丰富、更完整。要找到流行的网站,可能在一个特定的国家使用,访问Alexa.com分析网站https://www.alexa.com/topsites。选择一个国家,你的浏览器会被重定向到一个页面,该页面包含该国家用户使用的前500个网页。在上图中,我们从洪都拉斯最受欢迎的网站中选取了11-14个条目。
APPLyzer手机应用世界排行榜
寻找目标在他们国家不使用的网站上的社交媒体流量会浪费你宝贵的OSINT时间。APPLyzer.com网站利用移动设备上最流行的几个应用程序商店和市场,为您提供特定地区的流行应用程序。在上图中,我们选择研究斯里兰卡谷歌Play商店(1)上的应用(2)。从分类字段中选择“Top Overall”下拉菜单,我们就会看到当天在该市场上的热门应用。现在我们知道斯里兰卡的许多用户使用WhatsApp和Messenger作为他们的消息服务(4)。我们可以将我们的OSINT数据收集转移到这些平台来寻找我们的目标。
受欢迎的手机应用程序
App Annie网站(https://www.appannie.com/)是一个跟踪移动应用程序流行程度的分析网站。它允许人们查看平台(苹果iOS,谷歌Android, Windows Phone Store,亚马逊应用商店等)和国家的顶级应用程序。选择你想要查看的国家,你可以看到那里使用最多的移动应用程序。上图是9月30日在韩国流行的iOS应用程序,2019.App Annie拥有免费和付费账号,以及匿名访问权限。
按地区搜索
每个主要的搜索引擎都允许用户选择不同的区域来搜索相关信息。为什么需要这个本地化数据?想想如果在国外发生了抗议活动。选择他们的地区,你会得到他们国家内部的结果,而不是世界其他地区如何看待这一事件。当然,也许你想获得世界上其他人对一个问题或事件的看法。在这种情况下,您可以选择几个不同的区域并检查返回的文章、报告和网站。在谷歌和Bing的搜索设置选项中可以找到每个应用程序中需要转移到新区域的位置。DuckDuckGo在搜索结果中显示区域选项(参见上面)。
搜索本地语言
Kirby Plessas在YouTube视频中提到的最后一个技巧是,当你在外国地区用英语搜索一个词和用当地语言搜索一个词时,你会得到不同的结果。上图是DuckDuckGo在英语和韩语中搜索“经济”的结果。虽然我们只展示了前三个结果;请放心,这两个搜索的结果有很大的差异。
国际风险
当我们的客户需要了解在一个遥远的国家做生意或旅行的风险是什么时,我们可以求助于一些互联网资源来帮助我们了解风险。这些web应用程序很多时候都有文化信息来帮助人们了解目标地点的习俗和做法。它们描述了犯罪水平和类型、诈骗、对特定人群(如女性或特定宗教)的风险、可能很重要的法律(如不要把口香糖带到新加坡),以及更多。
国际调查数据库
调查仪表盘的网站(https://sec487.info/an)有大量的数据库,可以用来加强国际OSINT的努力。链接将用户带到世界各地的数据库,这些数据库承载着企业、个人、政府等方面的数据。
搜索引擎巨人
创建于1998年的搜索引擎巨人网站(https://sec487.info/dp)包含了可以在不同国家使用的搜索引擎的有组织的链接。导航到国家希望搜索和查看在该地区正在使用的搜索引擎。网站上的“关于”页面简洁地描述了网站的目的:
《搜索引擎巨人:国际搜索引擎目录》可以被看作是给互联网“结构”的努力。这个WWW路线图允许冲浪者有效地获得访问网络的最远范围!他说:“我们希望参观者在浏览网页的同时,能了解世界各地的同胞,并获得丰富的资讯。”“搜索引擎巨人于1998年4月首次上线,现在它拥有来自全球317个国家和地区的2500个搜索列表!”
车辆的搜索
车辆、车主和活动
在世界的大部分地区,汽车、摩托车、飞机和船舶等车辆需要在多个政府机构中进行注册。这样做的目的可以是为了追踪所有权,以防被盗,也可以是为了税收目的,或者是出于监管原因。对于消费车辆,如汽车和卡车,登记包含谁拥有车辆的信息,在哪个国家或地区注册,可能包含车辆识别号码(VIN),通常会包含汽车的制造商,型号和年份。通过船只和飞机,可能会收集到额外的数据。
如果您在OSINT评估中遇到这些标识符,对车辆登记和标识数据执行搜索可以产生您可以以之为中心的优秀数据。
车辆牌照
让我们从消费级的交通工具开始,比如汽车、卡车、摩托车,有时还有自行车。这些车辆一旦在当地或地方政府登记,就会有一个独特的车牌,需要展示出来。我们可以收集这些数据,并根据车辆注册的地点,对车牌执行反向查找,以找到车主和其他数据。到目前为止,最容易查找车牌的地方是搜索引擎。在DuckDuckGo中查找一个像“6LHW149”这样的盘子,会显示一个优秀的链接作为顶部结果。在没有进入国家或州的情况下,DuckDuckGo找到了匹配。原来,这个加州牌照是在旧金山市政运输署的文件中发现的,车主支付了过多的费用(https://sec487.info/93)。
使用搜索引擎可以产生有效的结果,但在美国,找到有效数据的最佳地点是州一级。在其他国家,要检查车辆登记机关是谁,是否允许查询记录。在美国,一些州允许查询车牌,但这可能需要少量费用,并可能需要你是一名私家侦探或执法人员。此外,一些商业级别的人物搜索引擎可能会显示这些数据,但同样有成本和访问限制。
私家侦探(PI)获得的车牌数据在美国各州不同。有些州对数据更加宽容,相信PI就有很好的理由请求数据。其他州在发布信息前可能需要一个令人信服的理由。
车牌查找
faxvin.com网站将美国车牌识别为车辆识别号码(VIN)。在上面的示例中,我们搜索了纽约车牌GWF8627,并发现了与之相关的VIN)。然后,该网站将允许您根据用户身份进行额外的付费搜索。
免费和支付美国车牌查找
utocheck.com是一个相当不错、免费的美国车牌查询工具。访问这个页面,你可以在搜索框中输入一个车牌,比如加利福尼亚州的5HUH323,搜索结果应该显示,这个车牌注册在一辆2004年的宝马Z4车上。请注意,结果还显示车辆的车辆识别号码(VIN),可用于执行额外的搜索。
SearchQuarry.com网站还允许免费搜索车牌。它有一个付费功能,在那里你可以获得关于车牌或VIN的额外数据。2017年,弗吉尼亚州夏洛茨维尔的一群抗议者遭到袭击,之后就使用了这种武器。一个人开车撞向一群抗议者。
有人拿走了他的车牌号,并使用他们在SearchQuarry.com上的订阅来检索关于这个人的额外细节(幻灯片中右边的图片)数据聚合器,如IRBSearch和TLO(在课程前面提到过)也有车牌搜索功能,但对于谁可以访问数据以及与之相关的费用有更多限制。
PlatesMania.com
PlatesMania.com网站是一个惊人的众包牌照跟踪资源。它的国际用户群拍摄车辆的照片,从公共汽车、拖拉机拖车到摩托车和汽车,然后把它们发布到网站上。我们可以根据我们正在寻找的车辆的制造和型号、车牌和位置搜索站点数据。因此,如果你的目标驾驶着一辆挪威牌照为ZH 50694的房车(RV),你可以搜索该网站(https://sec487.info/vt),找到该车辆的识别码,以及它是在哪里被看到的,何时被登记的。
关于一辆车的记录数据各不相同。就像上面的例子一样,那辆房车的识别码系统中有一个识别码,但2005年在格鲁吉亚第比利斯注册的梅赛德斯-奔驰Axor卡车却没有。相反,它显示了某一天的里程数,并有另一张照片显示了这辆车在哪里被看到。这个网站允许我们搜索汽车的制造和模型,看看它在哪里被看到。或者,我们可以查看一个国家,看看那里有什么车辆——可能会告诉我们哪些车辆在那个国家很流行(https://sec487.info/vu)。
worldlicenseplates.com
对车牌执行OSINT,需要了解它是否是有效的格式,它可能来自哪个国家,或者它可能是从哪个时间框架发出的?http://worldlicenseplates.com/网站会很有用。它对国际车牌号有着历史性的看法。
车辆识别号码(VIN)
VIN是一串独特的编码字符,它被雕刻、蚀刻或嵌入(通常是机动的)车辆的一个或多个表面。绳子上的每个位置都代表了飞行器的某个方面,比如制造地、飞行器的特征等等。由于每个车辆识别码都是独一无二的,这让我们有机会调查或追踪一辆特定的车辆,穿越时间和车主。
VIN查找网站
因为解码VIN是一个简单的过程,有一些网站可以帮助完成这个功能。这张幻灯片展示了几个网站,这些网站将解码车辆识别码,并显示车辆的数据(制造商、型号、制造年份等),有时还会显示车辆的库存图片。虽然大多数VIN解码器网站都可以免费使用并提供这些基本数据,但有些网站会试图吸引用户获得更完整的报告,从而可能进入其他数据库,其中包含车主信息和事故/修理记录。这些都是付费服务。此外,总是使用搜索引擎(谷歌,DuckDuckGo)来检索VIN的数据,因为你不知道搜索结果中会显示什么。
一个例子是在一个通用搜索引擎中搜索2B3CJ4DV8AH111921。它会引出一些与你的评估相关的有趣内容。
英国汽车税检查
英国政府有一个网站,用于检索车辆是否登记和车主是否交税的信息。输入一辆在英国注册的车辆的车牌号码,该网站将显示最新的税务信息和车辆详细信息。
英国汽车税检查
英国的cartaxcheck.co.uk网站允许人们搜索英国牌照车辆的信息。输入一个牌照,结果可能包含维护历史、里程、车辆规格和税收数据。此网站不显示所有者信息。
高端汽车搜索
如果你有一辆高端(昂贵高性能)汽车的牌照,你可以使用Auto Gespot网站(autogespot.com)上的过滤器来查找人们是否找到了它并将其提交给该网站。车辆的图像是用户提交的,大多数没有经过过滤或编辑。
Aireraft注册
每一架飞机,无论是气球、直升机还是飞机,都应该“在其机身上清楚地标明注册号”。虽然它几乎可以出现在车辆的任何地方,但在飞机上,它曾经出现在尾部,因此,被称为尾号。这些字符串通常不是数字,而是英文字母和数字的组合,形成一个独特的字符串。飞机所有者在本国政府登记车辆时,会收到车辆的登记号码。每个国家都控制自己的注册,通常由一个政府机构执行。
补充说明:的确,所有飞机都应该有一个显示在飞机上的注册号码。然而,某些秘密政府和军事组织,犯罪分子,和其他人可能不会在他们的飞机上放置正确的尾号,可能会完全删除号码,或可能使用其他飞机的信息,以进行秘密或邪恶的业务。我们不涉及这些案例。
尾号是国际标准
国际电信联盟(ITU)是飞机尾翼编号的管理机构。”每个国家在幻灯片中显示的分配表中都有一个或多个条目。这是飞机注册号的第一个字符,必须显示在车辆上。
每个国家都维护一个注册数据库
追踪在一个国家注册的所有飞机通常是政府的职责,许多这样的组织允许人们通过网站查询该国飞机的尾号。可以在https://sec487.info/fx上找到许多特定国家航空网站的链接。上面的幻灯片展示了澳大利亚政府的民用航空安全局(CASA)和美国的联邦航空管理局(FAA)的查找页面为例。
Aireraft跟踪网站
互联网上有几个免费的、优秀的飞机追踪网站。上面列出的网站允许用户使用尾号或航空公司航班号搜索特定的飞机,并将显示有关这些飞机的历史和当前数据。关于飞机何时在哪里飞行的历史数据是一种令人惊奇的资源。这些网站显示额外的内容,如飞机所有者、飞机及其内部配置的图像等。每一个都能近乎实时地显示飞行中的飞机,这样你就能看到某架飞机在空中的位置,以及它大约何时抵达某个特定机场。
ads - b
自动相关监视广播(ADS-B)系统是一种更新的技术,旨在提高对飞机位置的感知,并向驾驶舱获取更多的实时数据(如天气)。由于这些飞机无线电广播ADS-B信号,地面站和个人无线电都能接收到。一些网站汇集这些数据,在地图上标出这架飞机,并显示某架飞机飞行的历史信息。你甚至可以注册一个免费的接收器,并将接收到的数据发送给网站收集器。或者你也可以用树莓派电脑创建自己的设备。
追踪执法飞机
人们可以轻松地使用航班追踪网站,并发现政府/执法机构的车辆,这让人感到赋权和恐惧。当一些飞机在上空盘旋时,任何人都可以通过这些网站检索机尾编号、飞行历史和机主信息。2015年,美国联邦调查局的一架飞机在执行执法侦察活动时在明尼阿波利斯上空盘旋,这一事件曾在几篇文章中曝光(https://sec487.info/pr和https://sec487.info/ps)。
飞机现在在哪里?
你的客户可能需要某架飞机在哪里飞行的情报。飞行跟踪网站以漂亮的视觉界面呈现这些数据。上图是来自flightradar24.com网站的一个例子,时间为2017年10月15日,美国东部时间下午12点。从圣多明各飞往波多黎各圣胡安的捷蓝航空JBU2038航班刚刚着陆。”红色的飞机(箭头指向它)在图像中是动画网站上,并从西(左)移动到东(右)在图像中。我们可以看到它的预定和预计飞行时间,飞机的尾数,飞机的类型。
ads - b交换(global.adsbexchange.com)
ADS-B Exchange网站显示了与上述其他网站相同的大部分数据类型。然而,它与那些web应用程序的不同之处在于,“所有从社区发送的数据,反过来,通过各种档案和api返回给社区[https://sec487.info/pe]。最重要的是,对于非商业用途,所有这些数据都可以免费提供给任何人!”它有可定制的过滤器,允许查看特定的自动依赖监视广播(ADS B)数据,你希望看到。你可以过滤掉某些类型的飞机或航空公司,查找飞机类别,或者查看一切。数据通过世界各地的社区和商业ADS-B接收器网络发送到站点。我们最喜欢使用的一些过滤器是“军用”和“有趣”,显示军用飞机和其他飞机,如直升机和消防飞机。
历史和未来飞机信息
FlightAware的网站有一个交互式的幻灯片显示,允许用户回溯飞行的位置,飞行的速度,以及飞机飞行过程中的高度(如上所示)。此外,FlightAware(和其他网站)有许多飞机即将起飞和之前飞行的数据。如果你发现目标发布了一个航班号,这可能会很有用。访问这些网站,找出飞机将去哪里或去某个特定的日期和时间。飞机是否发生故障,不得不紧急迫降在预定目的地以外的地方?是不是旅行那天有暴风雨,飞机延误了?这些类型的事件和活动将显示在这一历史页面。
船舶和船舶
与aireraft一样,我们也拥有一些免费站点去追踪穿越海洋和海岸线的船只。他们主要依靠自动识别系统(AIS)的设备发送VHC无线电信号,报告船舶的位置、航向和船名/呼号。其他船只可以通过这些AIS设备、陆基天线和卫星接收到这些信息。幻灯片上的网站都有动态的,漂亮的地图,可以定制显示某些类型的船只(游艇,军事和货物)。对一个地区感兴趣的OSINT分析师可以在地图上导航到那个地方,并观察报告的船只。另外,对于一些船只,我们可以搜索特定的船只并查看它的详细信息。
船舶详细例子
marinetraffic.com上面的图片展示了在这些跟踪网站中记录的一些关于船只的数据。在左图中,显示了正在新加坡海岸圣淘沙岛附近航行的北欧格雷斯号船的详细数据。右边的图像显示了历史运动:速度和吃水。在这些页面上还有许多其他数据点,包括以前的航向和过去的停靠港。根据您的OSINT目标,这些实时或历史信息可能会提供您正在寻找的必要答案。虽然在上一张幻灯片中提到的每个网站都展示了类似的内容,但也有不同之处。
海上工作(1)
雷·贝克(@wondersmith_rae)发表了一篇关于调查海事活动以及在船上工作和经营船只的人的博客文章。除了提到了maritime- traffic.com网站(之前展示过),Rae还提到了maritime-connector.com网站,“这是为了帮助在船上工作的海员找到下一份工作。”在这张幻灯片中,我们展示了MSC LIESELOTTE船(1)的图像,包括它的IMO编号(国际海事组织编号是船舶的唯一编号)?和名称(2),船舶在哪里注册(3),谁拥有和管理(4),以及该船的其他名称(5)。有关该船的更多细节可以在网站上找到。
海上工作(2)
从船只到在船上工作的人,maritimeconnector.com网站有大量关于这个话题的数据。举个例子,让我们看看上面所示的一个随机水手Milorad Polanovic (https://sec487.info/wp)。我们看到他的一个形象(1),他在什么类型的角色(2),他在船上做什么(3),以及他想要多少美元的薪水(4)。当我们向下滚动页面时,我们看到了证书、护照详细信息(5)、教育和疫苗接种信息,以及他的服务记录,其中详细说明了他在哪家公司的哪艘船在哪个日期做了什么几十年(6)。
港口网络摄像头
一名SEC487学生分享说,许多码头、港口、港口和码头都有网络摄像头直播活动。在谷歌/DuckDuckGo/Bing上搜索港口或码头的网络摄像头或“网络摄像头”,然后你选择的城市或国家应该有助于定位你的目标区域的摄像头。我们执行这个搜索时没有指定位置(https://sec487.info/vr),并收到了数亿个结果(其中许多很可能是误报)。上图展示了芬兰赫尔辛基港口的六个在线摄像头。也要记住,其他相机可能会指向这些水域。使用已经讨论过的网站,如昆虫。com和worldcam。欧盟可以定位其他感兴趣的摄像头。
我们在哪里?
不我们在哪里?好吧,对于你们中一些以前从未做过OSINT评估的人来说,你们正处于这样做的边缘。Solo CTF是关于将你所学到的所有过程、工具和技术用于实际目标。对于那些已有OSINT经验的人来说,挑战一下自己,尝试一些不同的工具或尝试一种新的记笔记的技巧。这次Solo CTF是关于您的个人成长。
规则很简单
Solo CTF是期末前的期末考试。把这次期末实验当作一次真正的评估。从课程开始的时候开始,完成我们所做的一切。这张幻灯片展示了我们在本课程中所涉及的一些提醒。在开始练习之前,花点时间来整理一下这些概念。
保持专注和公正
在OSINT评估过程中,容易出现数据和分析过载和偏离轨道的情况。最初的一个电话号码变成了一个拥有10个社交媒体账号的用户名。您深入这些帐户,试图获取数据,并意识到还有其他有趣的数据可以追踪。在评估过程中,时间过得很快,尤其是当你正在从事这项工作时。关注客户需求和目标。找到数据和分析来帮助你的客户,尽量减少对有趣但不相关的数据的附带调查。有经验的分析师会明智地利用他们的时间,并问自己:“我的数据和分析是否正确?”如果你发现你的答案不是“是”,那就考虑暂停你目前的数据收集和分析,换一个不同的。在你的时间管理技能达到你所需要的成功水平之前,考虑为自己设置一个计时器。可以是每30分钟,每小时,或者更长时间。当计时器停止时,从你目前的研究方向后退一步,检查整个评估的位置。然后你就可以调整来实现你的目标。
在我们走之前
我们的课程已经结束了。我们希望你这周学到了很多东西。如果你一直保存着你的问题,现在是问它们的好时机。明天,讲师将以“观察员”模式,不回答有关工具和技术的问题。在回答完问题并完成Solo CTF后,您可以自由离开。一定要加入OSINT社区,为制作更好的工具做出贡献,在会议上发表演讲,并分享您的知识,以便我们都能在我们的行业中更有效地成长。
上述资料原文PDF及机器翻译已上传知识星球
长按识别下面的二维码可加入星球
里面已有三千余篇资料可供下载
越早加入越便宜
续费五折优惠
机器翻译支持: 北京百分点科技集团股份有限公司
电话:400-6240-800
邮箱:[email protected] 2022