背  景

随着物联网和5G的崛起，智能家居设备，特别是智能门锁，为生活带来便利，但也带来了PIN码泄露的安全隐患。攻击者可通过视频侧信道攻击分析PIN码，威胁用户安全。本文提出一种分析方案，结合关键点检测、滤波器和计算机视觉技术，旨在增强智能门锁的安全性。

如图1所示，该方案分为四个主要模块：解锁过程片段识别模块、肘关节位置识别与优化模块、按键动态识别模块以及PIN码序列计算模块。

图1  智能门锁PIN码认证机制分析方案架构

Fig.1  Smart door lock PIN code authentication mechanism analysis scheme architecture

步  骤

具体来说，方案可以分为以下步骤：

1、通过监控设备获取用户解锁智能门锁的视频。

2、利用关键点检测模块，通过肘关节弯曲角度定位视频中的解锁起始和结束帧。

3、对肘关节进行目标追踪，结合椭圆曲线拟合和SG滤波器优化肘关节的运动轨迹。

4、动态识别按键位置，通过计算肘关节的移动速度确定其位置。

5、生成肘关节的移动序列，并映射到二维坐标中。

6、根据智能门锁的输入模式，计算可能的键盘布局。

为了验证本文方案的优越性，本文设置了如图2所示的实验场景，并邀请了召集了10名受试者，采用常见长度的PIN码供受试者自由选择。

图2  实验场景实物图

Fig.2  Physical map of the experimental scene

如表1所示，本文所提方案在2米时，准确率与方案[1]持平，但弱于人眼直接观察的方案，在2米时，仅弱于方案[2]。如图3、图4表明，不论是随着距离变化，还是随着PIN码长度的变化，基于智能门铃的识别效果均好于监控摄像头。如图6所示，可以看出在本文方案可以在拍摄社交距离且PIN码长度较短时达到近100%的识别准确率。但受限于拍摄设备精度，在中等距离且PIN码长度较长时，精度降低明显。

表1  与其他方案正确率对比

Table 1  Compared with other schemes in terms of accuracy

图3  设备在不同距离的识别结果

Fig.3  Recognition results of devices at different distances

图4  设备在不同PIN码长度的识别结果

Fig.4  Recognition results of devices at different PIN code lengths

图5  不同拍摄距离在不同密码长度的识别准确率

Fig.5 Recognition accuracy at different password lengths at different shooting distances

如图6所示，经过SG滤波器进行平滑处理后，其用户的肘关节运动轨迹得到了很好的优化。

(a) 原始轨迹      (b) SG滤波器输出轨迹

(a) original trajectory (b) SG filter output trace

图6  SG滤波器输出轨迹与原始轨迹

Fig.6  SG filter output trajectory vs. original trajectory

对实验中使用的6位PIN码“159753” 如图7（a）和9位PIN码“147258369” 如图7（b），作为代表进行PIN码的不同位置对识别精度分析。综合分析图7中的结果，我们发现识别的主要误差存在于相邻位置的识别误差，如键“1”与键“4”，键“7”与键“8”之间。其原因在与，在如图4的PIN码输入过程中，上述两组按键的位置相对于肘部处于运动位置较小的区域，并且在本文方案中，需要通过用户键入“确认键”的位置来确定无法被直接拍摄到用户键盘的位置，上述按键的位置相对于确认键处于对角线的位置，存在部分计算误差。

(a) 6位PIN码           (b) 9位PIN码

(a) 6-digit PIN code          (b) 9-digit PIN code

图7  PIN码位置与识别结果的关系

Fig.7  The relationship between the position of the PIN code and the identification result

结  论

本文评估智能门锁PIN码安全性，引入OpenPose模型和SG滤波器进行自动化分析。实验显示，基于视频的侧信道攻击在常用社交距离内有86.6%的准确率，中等距离有50%以上准确率。

来源：《网络空间安全科学学报》第一期

电话：010-68370159 / 68372337

邮箱：[email protected]