数据抓取技术的学习笔记之二：常见的反面数据抓取行为

数据抓取技术的学习笔记之二：常见的反面数据抓取行为
2024-12-3 10:14:0 Author: mp.weixin.qq.com(查看原文) 阅读量:1 收藏

编者按

关于数据抓取和公开数据保护，本公号发布过以下文章：

今天和大家分享的是学习笔记之二——常见的反面数据抓取行为。

第一类：激进的抓取频率和服务器超载

最普遍的反面数据抓取行为之一是激进地抓取数据，从而使目标服务器不堪重负。这种方法无视伦理规范和网站服务条款，在短时间内发送过量请求。其反面影响包括：

服务器性能下降：咄咄逼人的搜刮行为会大大降低网站的运行速度，影响合法用户的体验。在极端情况下，可能会导致暂时或长期的服务中断。

成本增加：由于僵尸流量的涌入，网站所有者可能会面临更高的托管和带宽成本。

法律风险：这种做法可能会引发诉讼，Meta vs. Bright Data 等案例就证明了这一点，在这些案例中，过度提取数据导致了法律诉讼。

采用这种技术的抓取程序通常使用分布式网络或僵尸网络来扩大影响，使网站管理员的检测和预防工作更具挑战性。

第二类：绕过验证码（CAPTCHA systems）和身份验证系统

黑帽子程序经常使用复杂的方法来规避旨在防止自动访问的安全措施。这包括破解验证码系统和利用身份验证漏洞。常见的技术包括：

人工智能驱动的验证码解码器
被盗或购买的账户凭证
会话劫持

其反面影响包括：

安全漏洞：成功绕过这些系统可导致未经授权访问受保护数据。
削弱用户信任：当数据抓取者获得用户账户的访问权限时，就会削弱用户对平台安全措施的信任。
开发成本增加：网站必须不断更新和加强安全系统，导致开发和维护费用增加。

这些方法不仅违反了数据收集伦理标准，还可能触犯与未经授权访问计算机系统有关的法律。

第三类：伪装（Cloaking）和用户代理欺骗（User-Agent Spoofing）

伪装包括向搜索引擎和人类用户展示不同的内容，而用户代理欺骗则会掩盖数据抓取机器人的真实身份。这些技术用于逃避检测和规避反抓取措施。常见的方法包括：

修改 HTTP 标头以模仿合法浏览器
轮换 IP 地址和用户代理
使用居民住宅代理服务器冒充真实用户

其反面影响包括：

失实（Misrepresentation）：这些技术可能导致对数据源的歪曲，从而可能违反版权法和知识产权法。
难以阻止：网站所有者很难区分合法用户和数据抓取者，这可能导致在实施保护措施时出现误报。
数据完整性问题：伪装会导致数据收集不一致或不准确，从而影响抓取数据的可靠性。

使用这些方法通常会违反数据抓取的伦理准则，特别是违反了透明度原则和尊重网站所有者意愿的原则。

第四类：专门提取个人身份信息（PII）

有些数据抓取专门针对性地提取个人身份信息。这可能包括姓名、地址、电话号码和其他不允许公共访问或批量收集的敏感数据。常见的方法包括：

从社交媒体平台抓取用户资料
从职业网络站点（例如领英）提取人员联系信息
从公共记录或论坛收集个人数据

其反面影响包括：

侵犯隐私：这种做法直接侵犯了个人隐私权，可能导致严重的法律后果。
违反法规：抓取 PII 通常会违反数据保护法规，如欧盟的 GDPR 和加州的 CCPA，使抓取者面临巨额罚款和处罚。
身份盗窃风险：收集的 PII 可能会被用于身份盗窃、网络钓鱼攻击或在暗网市场上出售，从而给个人带来风险。

第五类：忽略 Robots.txt 和网站服务条款

此类数据抓取者经常无视robots.txt文件，该文件规定了网站的哪些部分不允许机器人访问。此外，它们还可能违反网站的服务条款，这些条款通常禁止自动数据收集。常见的方法包括：

故意访问 robots.txt 中指定的禁止区域
未经许可抓取受版权保护的内容
无视服务条款中规定的费率限制和访问限制

其反面影响包括：

法律处罚：根据美国的《计算机欺诈和滥用法》等法律，违反服务条款可能成为采取法律行动的理由。
违反伦理道德：这些行为表现出对网站所有者的权利和意图缺乏尊重。

虽然 robots.txt 不是一份具有法律约束力的文件，但故意忽略它有违既定的网络规范，会被网站所有者视为一种敌意行为。

反面数据抓取的危害概述

第一类：违反服务条款和版权法。上述反面数据抓取往往无视网站的服务条款，这些条款明确禁止未经授权的数据提取。这种做法会引起严重的法律问题，特别是与侵犯版权有关的问题。虽然事实本身没有版权，但这些事实的安排和表达可能受到保护。

第二类：隐私和数据保护问题。反面数据抓取通常涉及未经同意收集个人数据，从而引发严重的隐私问题。这种做法有可能违反各种数据保护法规，如欧洲的《通用数据保护条例》（GDPR）或美国的《加州消费者隐私法》（CCPA）。

第三类：技术和运营挑战。数据抓取行为通常采用会对目标网站性能产生负面影响的激进技术。这些方法可能包括请求次数过多、服务器超载或规避旨在防止自动访问的安全措施。这种做法会导致合法用户的服务质量下降，并可能对网站所有者造成重大经济损失。在某些情况下，激进的搜刮行为甚至会导致类似拒绝服务的效果，使网站崩溃或无法访问。此外，负面抓取程序通常会采用一些欺骗性的做法，如轮换IP、欺骗用户代理或模仿人类行为，以避免被发现。这些策略不仅会破坏信任，还可能导致法律问题。例如，从事此类行为的竞争情报公司一旦被发现，可能会面临严重后果。

第四类：数据准确性和可靠性问题。负面数据抓取经常被忽视的挑战之一是可能产生不准确或不可靠的数据。由于负面数据抓取者通常在未经目标网站许可或合作的情况下进行操作，因此他们可能无法察觉网站结构或数据组织的变化。这可能会导致几个问题：

误读数据：如果没有适当的上下文或对数据结构的理解，抓取者可能会曲解收集到的数据，从而导致错误的分析或决策。
过时信息：抓取者可能不知道目标网站更新数据的频率，从而可能导致收集和使用过时的信息。
不完整的数据集：网站为防止抓取而采取的安全措施可能会导致数据收集不完整，从而影响后续分析。
动态内容问题：许多现代网站使用动态内容加载技术，如果没有复杂的方法，抓取工具很难准确捕捉到这些内容。

使用这些可能不准确或不可靠的数据会产生深远的影响，尤其是在商业、研究或政策决策中使用时。

数据保护官（DPO）社群主要成员是个人信息保护和数据安全一线工作者。他们主要来自于国内头部的互联网公司、安全公司、律所、会计师事务所、高校、研究机构等。在从事本职工作的同时，DPO社群成员还放眼全球思考数据安全和隐私保护的最新动态、进展、趋势。2018年5月，DPO社群举行了第一次线下沙龙。沙龙每月一期，集中讨论不同的议题。目前DPO社群已超过400人。关于DPO社群和沙龙更多的情况如下：

DPO线下沙龙的实录见：

域外数据安全和个人信息保护领域的权威文件，DPO社群的全文翻译：

传染病疫情防控与个人信息保护系列文章

关于数据与竞争政策的翻译和分析：

健康医疗大数据系列文章：

网联汽车数据和自动驾驶的系列文章：

网络空间的国际法适用问题系列文章：

《网络数据安全管理条例（征求意见稿）》系列文章：

《数据安全法》的相关文章包括：

赴美上市的网络、数据安全方面的两国监管乃至冲突方：

个性化广告或行为定向广告（behavioral targeting advertising）系列的文章：

内容安全方面的文章如下：

第29条工作组/EDPB关于GDPR的指导意见的翻译：

数字贸易专题系列：

关于中国数据出境安全管理制度的文章

美国方面的个人信息保护立法的文章：

关于印度的数据保护和数据治理政策和技术文件的文章有：

关于数据的安全、个人信息保护、不正当竞争等方面的重大案例：

围绕供应链安全，本公众号曾发表文章：

围绕着出口管制，本公众号曾发表文章：

本公号发表过的关于数据执法跨境调取的相关文章：

通过技术增强对个人信息的保护的文章包括：

关于保护网络和信息系统安全的相关文章包括：

围绕着TIKTOK和WECHAT的总统令，本公号发表了以下文章：

地缘政治与跨国科技公司运营之间的互动影响：

关于我国数据跨境流动监管体制变革的系列文章：

人脸识别系列文章：

针对审计在数据安全、个人信息保护、A安全的作用与落地实操，本公众号发布过的文章：

关于中国的网络安全审查制度，本公号发表过的文章：

关于LLMs（大型语言模型）的风险和监管，本公号发布过以下文章：

人工智能安全和可信赖方面的文章：

关于个人信息安全影响评估的文章如下：

关于欧洲的人工智能监管方面的立法、政策和实践方面的文章

关于个人信息的去标识化、匿名化以及隐私增强技术，本公众号发表过以下文章：

关于欧盟技术主权相关举措的翻译和分析：

关于我国《个人信息保护法》的立法和执法，本公号发表的相关文章包括：

关于业务场景中数据跨境流动的文章如下：

关于AI与标准化工作，本公号发表的文章：

关于新加坡数字化（包括个人信息、网络安全、人工智能等）方面的改革，本公号发表的文章：

关于健康医疗数据方面的文章有：

关于数据要素治理的文章有：

针对美国的人工智能监管政策发展，本公众号发表过如下文章：

关于域外在数据、电信、外国投资方面所建立的国家安全相关的审查机制，本公号发布过以下文章：

关于我国对人工智能技术和应用的监管发展，本公号发布过以下文章：

文章来源: https://mp.weixin.qq.com/s?__biz=MzIxODM0NDU4MQ==&mid=2247505473&idx=1&sn=c02b0e13ee9180f54832e8d5c50a6c7b&chksm=97e96baba09ee2bd80960075ee8c34fefdfb09cb1a9366631ab90a42298097d1e2de2e04e10b&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh

第一类：激进的抓取频率和服务器超载

最普遍的反面数据抓取行为之一是激进地抓取数据，从而使目标服务器不堪重负。这种方法无视伦理规范和网站服务条款，在短时间内发送过量请求。其反面影响包括：

服务器性能下降：咄咄逼人的搜刮行为会大大降低网站的运行速度，影响合法用户的体验。在极端情况下，可能会导致暂时或长期的服务中断。

成本增加：由于僵尸流量的涌入，网站所有者可能会面临更高的托管和带宽成本。

法律风险：这种做法可能会引发诉讼，Meta vs. Bright Data 等案例就证明了这一点，在这些案例中，过度提取数据导致了法律诉讼。

第二类：绕过验证码（CAPTCHA systems）和身份验证系统

黑帽子程序经常使用复杂的方法来规避旨在防止自动访问的安全措施。这包括破解验证码系统和利用身份验证漏洞。常见的技术包括：

第三类：伪装（Cloaking）和用户代理欺骗（User-Agent Spoofing）

第四类：专门提取个人身份信息（PII）

第五类：忽略 Robots.txt 和网站服务条款

此类数据抓取者经常无视robots.txt文件，该文件规定了网站的哪些部分不允许机器人访问。此外，它们还可能违反网站的服务条款，这些条款通常禁止自动数据收集。常见的方法包括：

美国电信行业涉及外国参与的安全审查（一）：基本制度介绍

美国电信行业涉及外国参与的安全审查（二）：国际性的第214节授权

美国电信行业涉及外国参与的安全审查（三）：建立外国参与安全审查的行政令

美国电信行业涉及外国参与的安全审查（四）：FCC对中国企业的陈述理由令