赋予数据灵魂——基于低频测绘数据的动态测绘
2023-9-8 17:23:0 Author: paper.seebug.org(查看原文) 阅读量:12 收藏

作者:知道创宇404实验室
English version: https://paper.seebug.org/3025/

一.摘要

获取网空测绘数据后,去分析数据和解读数据,让数据说话,这是ZoomEye团队常说的“赋予数据灵魂”,也是网空测绘的真正价值所在。网空测绘数据,不仅可以应用于网络空间领域,去感知网络空间层面的态势,也可以与其他行业领域的数据进行结合,通过分析挖掘去印证和感知现实实体空间的态势,进而发挥其更大价值。

近些年,ZoomEye团队多次在热点事件发生后,针对特定区域进行周期为天(甚至更短)的高频测绘,进而通过各种数据挖掘分析手段发现不同维度的知识,践行了“动态测绘”的理念。

本文基于ZoomEye平台近些年的历史测绘数据,以自然月为周期,数据时间跨度拉长为2018年至2022年,在相对低频的测绘数据中去筛选特定时间特定区域的数据,进行分析和解读,践行“动态测绘”的理念。

我们尝试通过分析低频测绘数据去感知印证历史上的断网事件,发现:时间跨度较长的断网事件,可以通过低频测绘数据去感知印证;由于网络运营商技术故障引发的短时间断网事件,通过低频测绘数据是无法感知的,只有通过高频的测绘数据方可感知事件的发生;而针对封禁社交网络的这类断网事件,由于在线网络资产并未发生变化,所以无法利用网络空间测绘数据去反映事件的发展。

接下来,我们以自然月为周期,统计国家在线IP数量占全球的比例,挑选美国、中国、印度、印度尼西亚、爱尔兰和沙特阿拉伯这六个国家,查看近五年间其在线IP数量占全球比例的变化趋势。发现美国的比例有所降低,这说明相比较而言,全球其他国家的互联网发展水平相对在提升,与美国的差距在缩小;中国的互联网发展水平稳中有升;印度的比例持续上升,反映出印度互联网发展水平的持续增长。

本文内容中,"在线IP"指的是,对互联网开放某个端口提供某种协议服务的IPv4地址。

基于“动态测绘”的理念,无论是低频测绘数据还是高频测绘数据,都可以进行分析和解读,去提炼获取不同维度的更多知识。低频测绘数据,适合持续时间较长的事件和跨度时间较长的分析需求;高频测绘数据,适合热点事情发生之后的分析需求。

笔者认为,近些年在多个行业中,热点事件发生之后,针对特定区域的高频测绘(测绘周期为天,甚至更短)和测绘数据分析的需求,会不断增多。

二.动态测绘理念的实践应用

黑哥在《谈谈针对现实战争中战场的网络空间测绘》[1] 中提到:“早在1999年科索沃战争期间来自美国贝尔实验室的Steven Branigan 和 Bill Cheswick在1999年3月~7月初针对南斯拉夫的网络拓扑进行每日不间断的测绘,从IP的“不断消失或者重现”的状态来验证、核实战争中军事打击对网络的摧毁程度及战后网络恢复状况的尝试 [2] 。这是我看到最早通过网络空间测绘技术在战争针对战场的测绘相关的工作,显然那个时候还没有shodan也还没有ZoomEye。”

ZoomEye团队将该这种“动态测绘”的理念进行了多次实践应用:

  • 《一洞观全球:看各国网络战防御能力》[3] ,在“心脏出血”漏洞爆发后的前三天,针对全球网络空间进行了动态测绘,得到全球各国的漏洞修复速度,反映了各国在抵御重要网络威胁、应急重要网络事件时的反应能力。

  • 《ZoomEye网络空间测绘——委内瑞拉停电事件对其网络关键基础设施和重要信息系统影响》[4] , 通过在大规模停电事件期间对影响地区进行动态测绘,反映出该事件的进展,以及该事件对网络关键信息基础设施的影响。

  • 《网络空间视角下的哈萨克斯坦动乱》[5] ,对哈萨克斯坦全境进行高频的动态测绘,观察网络切断和恢复期间的网络在线IP数量,从而感知各个城市的动乱爆发和平息情况。

  • 《ZoomEye赛博空间测绘,拨开俄乌战争迷雾》 [6] ,对乌克兰战场的网络时空数据的特征进行动态测绘及分析,通过网络空间时空数据动态变化来反映本次武装冲突的进程中的战场变化,也能找到对俄罗斯使用的战略、战法、战术特点的网络空间时空数据的特点映射,当然也包括对战场战损的评估等。

以上这些实际案例,是ZoomEye团队在热点事件发生后,针对特定区域进行周期为天(甚至更短)的高频测绘,进而通过各种数据挖掘分析手段发现不同维度的知识,践行了“动态测绘”的理念。

然而,受限于测绘资源,目前没有任何一家网空测绘平台可以做到对全球网络空间持续进行周期为天的高频测绘。那么基于网空测绘平台日常相对低频的测绘数据,是否也可以通过分析挖掘解读出内容呢?

本文中,我们基于ZoomEye平台近些年的历史测绘数据,以自然月为周期,数据时间跨度拉长为2018年至2022年,在相对低频的测绘数据中去筛选特定时间特定区域的数据,进行分析和解读。

三.窥探全球断网事件

全球历史上发生过多起断网事件,原因多种多样,可能是:自然灾害、电力故障、光缆破损、网络设备故障、人为干扰破坏、政府管控、网络运营商技术故障等。我们挑选3种类型的断网事件,尝试使用低频的历史测绘数据去感知印证。

3.1 印度查谟和克什米尔邦

印度是全球断网事件高发国家之一。由于政治因素,查谟和克什米尔邦发生的断网次数是印度最多的,曾发生过一次长达552天的断网事件 [7]。

  • 2019年8月5日,印度政府撤销了《印度宪法》第370条赋予查谟和克什米尔邦的特殊地位和自治权。此举随即在喀什米尔引发了大规模抗议,印度政府切断了该邦网络,并部署了上万的安全部队 [8] [9] 。

  • 2020年1月25日,该邦恢复了2G服务,但只有列入大约300个白名单内的网站可以访问 [7] [10]。

  • 直至2021年2月6日,该邦的网络封锁结束,包括4G在内的通信服务均恢复 [7] [9]。

2019年1月至2021年12月这3年间,印度查谟和喀什米尔邦的在线IP数量变化趋势如下图所示。通过观察发现:

  • 2019年8月,该邦在线IP数量陡降;2019年9月至12月这4个月的在线IP数量均为0。该变化趋势与8月5日印度政府切断该邦网络事件的时间点相吻合。

  • 2020年1月至2021年2月期间,该邦在线IP数量不再是0,有所回升但没有达到断网事件之前的在线IP数量级别。这是因为2020年1月份起,虽然该邦恢复了部分网络,但是网络访问仍然是受白名单限制的。

  • 2021年3月开始,该邦在线IP数量陡增,并且达到断网事件之前的在线IP数量级别。说明该邦的网络封锁已经结束,网络通信服务恢复正常。

图3-1 查谟和克什米尔邦在线IP数量变化趋势

序号 1 代表在线IP数量降为0;序号 2 代表在线IP数量回升,但未达到断网之前的数量级别;序号 3 代表在线IP数量回升至断网之前的数量级别。

3.2 乍得

乍得是非洲中部的一个内陆国家。从 2018 年 3 月到 2019 年 7 月,其政府封锁了国家对 Facebook、Twitter、WhatsApp、Instagram 和 YouTube 等社交网络的访问,为期 16 个月 [11]。

我们观察2017年1月至2019年12月这3年间,乍得的在线IP数量变化趋势,发现:在断网的16个月时间内,乍得的在线IP数量并未减少,反而呈现缓慢上升趋势。

这说明:针对封禁社交网络的这类断网事件,由于其在线网络资产并未发生变化,所以无法利用网络空间测绘数据去反映事件的发展。

图3-2 乍得在线IP数量变化趋势

3.3 技术故障引发的短时间断网

历史上,多个国家发生过由于网络运营商技术故障引发的断网事件,例如2019年澳大利亚断网事件 [12] 、2020年英国多地大面积断网事故 [13] 等,网络运营商都能在较短时间内(通常是几个小时内)恢复技术故障,恢复网络正常运行。

这类断网事件中,网络受影响的时间段仅仅是几个小时,而以自然月为周期的低频测绘数据是无法感知到如此短时间段的数据变化。因此,这类技术故障引发的短时间断网事件,低频的测绘数据是无法感知到的,只有通过高频的测绘数据方可感知事件的发生。

四.国家级动态测绘数据分析

本章节,我们以自然月为周期,统计国家在线IP数量占全球在线IP数量的比例。并且挑选数个国家,查看其近五年间的在线IP数量占全球比例的变化趋势。

注:ZoomEye网络空间搜索引擎随机针对全球IP地址进行测绘,所以会存在某个自然月某个国家的测绘结果数据突变(增大或减小)的情况。在本章节,我们不去关注单个自然月的数据突变,也不去关注绝对数量,而是关注:近五年间,国家在线IP数量占全球比例的整体变化趋势。

4.1 排名前二十国家

我们选取2022年在线IP数量全球排名前二十的国家,统计这二十个国家在线IP数量占全球比例的总和,其变化趋势如下图所示。

注:2022年在线IP数量全球排名前二十的国家是:美国、中国、德国、英国、韩国、日本、巴西、俄罗斯、意大利、印度、加拿大、法国、澳大利亚、荷兰、阿根廷、西班牙、越南、新加坡、墨西哥、爱尔兰。

近五年间,这二十个国家在线IP数量总和占全球的比例,绝大多数位于84%-86%区间,整体上该比例数据是平稳的。说明这五年间,头部国家与其他国家的互联网发展水平差距,基本不变。

图4-1 TOP20国家在线IP数量占全球比例的近五年变化趋势

4.2 美国

美国作为全球的超级大国,其在线IP数量占全球比例的变化趋势如下图所示。

近五年间,美国在线IP数量占全球的比例位于25%-37%之间,位列全球所有国家的第一位,这个数值可以直观反映出美国互联网发展水平高于全球其他国家。

我们通过观察变化趋势发现:2018年1月至2019年8月间,美国在线IP数量占全球的比例均高于30%;2019年9月至2022年12月间,该比例均低于30%。这个变化趋势,不能表示美国的互联网发展水平在下降;但可以说明,相比较而言,全球其他国家的互联网发展水平相对在提升,与美国的差距在缩小。

图4-2 美国在线IP数量占全球比例的近五年变化趋势

序号 1 代表2018年1月至2019年8月,比例均高于30%;2019年9月至2022年12月,比例均低于30%

4.3 中国

中国作为全球第二大经济体,其在线IP数量占全球比例的变化趋势如下图所示。

近五年间,中国在线IP数量占全球的比例位于9%-15%之间,位列全球所有国家的第二位,仅次于美国。

我们通过观察变化趋势发现:近五年间,中国在线IP数量占全球的比例平稳中有小幅提升,这说明中国的互联网发展水平稳中有升。

图4-3 中国在线IP数量占全球比例的变化趋势

4.4 印度

印度作为近些年互联网市场增长较快的国家之一,其在线IP数量占全球比例的变化趋势如下图所示。

印度在线IP数量占全球的比例,与美国和中国相比还有较大差距,这与印度互联网发展起步相对较晚有关。

我们通过观察变化趋势发现:2018年期间,印度在线IP数量占全球的比例均低于1%;2019年至2022年上半年,该比例位于1%和2%之间;2022年下半年,该比例均高于2%。这个持续上升趋势,显著的反映出印度互联网发展水平的持续增长。

图4-4 印度在线IP数量占全球比例的变化趋势

4.5 印度尼西亚

印度尼西亚作为东南亚GDP排名第一的国家,其在线IP数量占全球比例的变化趋势如下图所示。

近些年,印度尼西亚的互联网、云计算迅猛发展,互联网流量在2020年全年增长了20% [14] 。 这与近五年间该国在线IP数量占全球比例持续上升的表现一致。

该国在2021年发布了《2021—2024年印度尼西亚数字路线图》,加速促进经济、教育、金融、交通医疗等领域数字化转型,以实现数字经济的包容性发展 [15] 。相信在未来几年内,该国在线IP数量占全球比例仍然会持续上升。

图4-5 印度尼西亚在线IP数量占全球比例的变化趋势

4.6 爱尔兰

爱尔兰作为近些年经济增速较快的国家之一,其在线IP数量占全球比例的变化趋势如下图所示。

我们通过观察变化趋势发现:该国在线IP数量占全球比例是持续上升趋势。

2021年爱尔兰的GDP为5042亿美元,其数字经济规模2680亿美元,占GDP比例为53%,与其他国家进行横向比较,爱尔兰的数字经济规模占GDP比例是非常高的。由于爱尔兰公司税率很低,所以很多跨国公司把总部或者欧盟总部都设立在这里以进行合理避税,例如苹果、微软等IT巨头就将其欧盟总部设在爱尔兰;其软件行业已成为整个欧洲地区的标志性产业之一 [16] 。这些是近些年爱尔兰在线IP数量持续增长的原因之一。

图4-6 爱尔兰在线IP数量占全球比例的变化趋势

4.7 沙特阿拉伯

沙特阿拉伯作为G20集团中唯一的阿拉伯国家,其在线IP数量占全球比例的变化趋势如下图所示。

我们通过观察变化趋势发现:该国在线IP数量占全球比例呈现持续下降的状态。这个变化趋势,不能表示该国的互联网发展水平在下降;但可以说明:相比较而言,沙特阿拉伯互联网发展水平与其他发达国家的差距在拉大。

该国的经济以能源为支柱,对于数字经济的依赖不强,推测这是其在线IP数量占全球比例持续下降的原因之一。

图4-7 沙特阿拉伯在线IP数量占全球比例的变化趋势

五.结语

本文基于ZoomEye平台近些年的历史测绘数据,以自然月为周期,数据时间跨度拉长为2018年至2022年,在相对低频的测绘数据中去筛选特定时间特定区域的数据,进行分析和解读,践行“动态测绘”的理念。

基于“动态测绘”的理念,无论是低频测绘数据还是高频测绘数据,都可以进行分析和解读,去提炼获取不同维度的更多知识。低频测绘数据,适合持续时间较长的事件和跨度时间较长的分析需求;高频测绘数据,适合热点事情发生之后的分析需求。

笔者认为,近些年在多个行业中,热点事件发生之后,针对特定区域的高频测绘(测绘周期为天,甚至更短)和测绘数据分析的需求,会不断增多。

六.参考链接

[1]谈谈针对现实战争中战场的网络空间测绘:https://mp.weixin.qq.com/s/vCfv78lXNj-z9kkn0wlmCg

[2]科索沃战争期间来自美国贝尔实验室:https://web.archive.org/web/20060206171634/http://research.lumeta.com/ches/map/yu/index.html

[3]一洞观全球:看各国网络战防御能力:https://mp.weixin.qq.com/s/I1-1S_Dg1odFwEFkHjDSyQ

[4]ZoomEye网络空间测绘——委内瑞拉停电事件对其网络关键基础设施和重要信息系统影响:https://mp.weixin.qq.com/s/rGMggOde1XQjrYClphsi4A

[5]网络空间视角下的哈萨克斯坦动乱:https://mp.weixin.qq.com/s/0lelsXVH3UAYPeqERlRGrg

[6]ZoomEye赛博空间测绘,拨开俄乌战争迷雾:https://mp.weixin.qq.com/s?__biz=MjM5NzA3Nzg2MA==&mid=2649858895&idx=1&sn=5401ac244cab115842632cc3102ddc49&scene=21

[7]Longest Shutdowns:https://internetshutdowns.in/

[8]2019年克什米尔示威:https://zh.wikipedia.org/zh-hans/2019年喀什米爾示威

[9]Censorship in Kashmir:https://en.wikipedia.org/wiki/Censorship_in_Kashmir

[10]印控克区互联网封锁半年后终恢复,仍限于三百个白名单网站: http://news.china.com.cn/2020-01/26/content_75649287.htm

[11] Chad Lifted the 16-Months Social Media Shutdown But Concerns Remain:https://cipesa.org/2019/10/chad-lifted-the-16-months-social-media-shutdown-but-concerns-remain/

[12] 澳大利亚全国断网:http://www.xinhuanet.com/world/2019-07/13/c_1210192821.htm

[13] 英国伦敦等多地区宽带网络中断:http://m.news.cctv.com/2020/06/26/ARTIFFq3lytLv0YxnSQTrLrk200626.shtml

[14] 全球数字经济白皮书(2022年)- 中国信息通信研究院:http://www.caict.ac.cn/kxyj/qwfb/bps/202212/P020221207397428021671.pdf

[15] 印度尼西亚经贸发展概况及市场前景指南:https://www.ccpit.org/a/20230504/20230504uw78.html

[16] 赋予数据灵魂——探寻网空测绘数据和 GDP 的关联:https://mp.weixin.qq.com/s/hiDjbSPFeWiDfjOlJG8Deg


Paper 本文由 Seebug Paper 发布,如需转载请注明来源。本文地址:https://paper.seebug.org/3024/


文章来源: https://paper.seebug.org/3024/
如有侵权请联系:admin#unsafe.sh