“清朗·网络平台算法典型问题治理”专项行动中的推荐和决策算法的工作原理

“清朗·网络平台算法典型问题治理”专项行动中的推荐和决策算法的工作原理
2024-11-25 09:28:0 Author: mp.weixin.qq.com(查看原文) 阅读量:0 收藏

编者按

近日，网信办等四部分决定开展【关于开展“清朗·网络平台算法典型问题治理”专项行动的通知】。通知中的“算法专项治理清单指引”给出了核验项目、核验要点、核验内容。为了据此开展算法优化工作，显然需要对通知所指向的推荐算法和决策算法有详细的了解，才能知道从哪些方面进行干预。本篇文章的目的就在于此。

关于开展“清朗·网络平台算法典型问题治理”专项行动的通知算法专项治理清单指引
序号	核验项目	核验要点	核验内容
1	信息茧房	用户兴趣选择	1.平台不得强制用户选择兴趣标签，允许用户跳过标签选择页面。
2		用户标签管理	2.平台应提供兴趣标签查看功能，向用户展示用于内容推送的个人兴趣标签。 3.平台应向用户提供用于个性化推荐服务的个人兴趣标签管理功能。 4.平台应向用户提供便捷的关闭算法推荐服务的选项。用户选择关闭后，平台应立即停止算法推荐服务且不影响用户正常使用，不得频繁通过弹窗等方式提醒用户开启。
3		“不感兴趣”功能设置	5.平台应向用户提供“不感兴趣”等功能选项，如“对话题不感兴趣”“对内容质量不满意”“此类内容过多”“重复推荐”等。用户操作后，平台应减少同类内容推送频率。
4		防沉迷举措成效	6.平台应构建用户沉迷防范机制，及时总结相关成效，配合有关部门的监督检查工作。 7.平台应具备针对“信息茧房”“同质化推荐”等网民重点关注问题的防范举措，通过内容去重、打散干预等策略提升推送内容多样性丰富性，及时总结相关成效，配合有关部门的监督检查工作。
5		个人信息权益保障	8.平台应向用户告知用于内容推送的收集处理的个人信息种类，并征得用户同意。
6	热搜榜单	算法规则公示	9.平台应公示榜单排序机制机理，如基本原理、排序依据、主要因素等详细信息，并通过事例予以说明。
7		日志留存核验	10.平台应留存榜单相关网络日志，日志内容包括时间、榜单排名、热度值计算相关数据等信息，配合有关部门的监督检查工作。
8		水军账号识别	11.平台应健全异常账号监测机制，防范违规操纵榜单、控制热搜等现象，总结相关成效，配合有关部门的监督检查工作。
9	新就业形态劳动者权益	算法优化效果	12.平台应统计算法升级后订单超时率、平均配送超时率、交通事故发生率等相关数据，留存相关数据及日志，配合有关部门的监督检查工作。
10		规则透明度	13.平台应公示配送时间预估、路线规划、配送费用计算明细等相关算法机制机理。
11		申诉渠道	14.平台应向用户提供申诉和公众投诉、举报入口，及时处理用户反馈。 15.平台应说明申诉处理流程、反馈时间等信息，公开近期申诉成功案例，留存处理日志，配合有关部门的监督检查工作。
12	大数据“杀熟”	差异化定价	16.平台不得存在相同商品不同用户原始定价不一致情况。
13		优惠规则公示	17.平台应说明优惠促销规则，如适用范围、参与条件、特定限制等。 18.对于使用优惠券的场景，平台应说明优惠券发放范围、用户身份限制、发放数量、使用条件等信息。 19.在订单结算页面，平台应展示优惠券、满减规则等优惠明细。
14		优惠券领取失败原因	20.平台应向用户说明优惠券领取失败的真实原因，如领取截止时间、领取要求等。
15	算法向上向善	未成年人保护	21.平台应及时总结防范未成年人网络沉迷、过度消费所采取的优化算法推荐服务措施及成效，配合有关部门的监督检查工作。
16		老年人保护	22.平台应持续优化完善面向老年人的算法推荐服务，便利老年人获取有益身心健康的信息。
17		优化内容生态	23.鼓励平台坚持主流价值导向，利用算法提升优质内容推送、识别违法网络谣言等信息。
18		生成合成信息标识	24.平台应对由自身提供算法的生成合成信息作出显著标识，及时总结检测识别生成合成信息、发现处理违法违规生成合成信息的措施及成效，配合有关部门的监督检查工作。
19	落实算法安全主体责任	算法机制机理审核	25.平台应及时总结建立算法机制机理审核的管理制度和技术措施的机制及成效，配合有关部门的监督检查工作。
20		算法模型安全评估	26.平台应定期对算法模型开展安全评估，及时总结评估成效，配合有关部门的监督检查工作。
21		数据安全	27.平台应及时总结建立数据安全管理制度和技术措施的机制及成效，配合有关部门的监督检查工作。

从上述算法专项治理清单可见，治理主要针对两类算法：推荐算法和决策算法。

推荐算法的详细工作原理

在当今的数字时代，我们每天都会接触到大量的信息和内容。为了帮助用户从海量的信息中找到最符合其兴趣和需求的内容，推荐算法应运而生。推荐算法的核心目标是根据用户的历史行为、兴趣偏好和特征，为他们提供个性化的内容推荐。这不仅提升了用户体验，也增加了平台的活跃度和黏性。下面将以通俗易懂的语言，详细介绍推荐算法的主要类型及其工作原理，帮助我们更好地理解这一技术。

1. 协同过滤（Collaborative Filtering）

协同过滤是最早也是最广泛使用的推荐算法之一。它的基本思想是利用用户之间或物品之间的相似性，来预测用户可能感兴趣的内容。

（1）基于用户的协同过滤（User-Based Collaborative Filtering）

原理解释：这个方法假设，如果两个用户在过去对相似的内容表现出了喜好，那么他们在未来也可能对相似的内容感兴趣。就像在生活中，兴趣相投的朋友往往会相互推荐书籍、电影或餐厅一样。

工作过程：

计算用户相似度：首先，算法会分析所有用户的行为数据（如浏览、点赞、购买等），计算出用户之间的相似度。常用的方法包括计算他们共同喜欢的内容比例。
找到相似用户群：对于目标用户，算法会找到那些与他兴趣最相似的其他用户群体。
推荐新内容：从这些相似用户喜欢的内容中，筛选出目标用户尚未接触过的内容，进行推荐。

举例说明：如果小明和小红都喜欢科幻电影和推理小说，那么系统会认为他们的兴趣相似。如果小红最近喜欢上了一部新出的科幻电影，而小明还没看过，系统就会把这部电影推荐给小明。

（2）基于物品的协同过滤（Item-Based Collaborative Filtering）

原理解释：这个方法假设，如果两个物品被许多相同的用户喜欢，那么这两个物品之间具有相似性。基于这一点，如果用户喜欢了其中一个物品，那么他可能也会喜欢另一个。

工作过程：

计算物品相似度：算法会分析哪些物品被相同的用户群体所喜欢，计算出物品之间的相似度。
找到相似物品：对于用户已喜欢或互动过的物品，找到与之相似的其他物品。
推荐相似物品：将这些相似的物品推荐给用户。

举例说明：如果很多用户同时购买了某款手机和一副特定型号的耳机，那么这两件商品被认为是相关的。如果用户买了这款手机，系统可能会推荐那副耳机给他。

2. 基于内容的推荐（Content-Based Filtering）

基于内容的推荐算法侧重于分析内容本身的特征，来匹配用户的兴趣偏好。

原理解释：这个方法认为，每个用户都有自己独特的兴趣特征，这些特征可以从他过去喜欢的内容中提取出来。然后，系统会寻找与这些特征匹配的新内容进行推荐。

工作过程：

提取内容特征：对每个内容（如文章、商品、视频等），提取其关键特征。这些特征可能是关键词、主题、风格、类别等。
建立用户兴趣模型：根据用户过往喜欢的内容，建立一个用户兴趣模型，反映用户偏好的特征集合。
匹配新内容：将新内容的特征与用户的兴趣模型进行比较，计算匹配度。
推荐高匹配度内容：将匹配度高的内容推荐给用户。

举例说明：如果用户经常阅读科技领域的文章，特别是关于人工智能和大数据的内容，系统会认为用户对这些主题感兴趣。于是，当有新的人工智能相关文章发布时，系统会优先推荐给该用户。

3. 混合推荐（Hybrid Recommendation）

混合推荐算法综合了协同过滤和基于内容的推荐方法，以弥补单一方法的不足，提供更准确和多样化的推荐。

原理解释：单一的推荐方法可能存在一定的局限性。例如，协同过滤可能在新用户或新物品缺乏足够数据时效果不佳，而基于内容的推荐可能无法捕捉用户兴趣的变化。混合推荐通过结合多种方法，取长补短，提高推荐质量。

工作方式：

结果加权组合：分别使用协同过滤和基于内容的算法生成推荐列表，然后根据一定的权重，将两个列表进行合并。
情境切换：根据具体的情境或数据情况，动态选择最适合的算法。例如，对新用户使用基于内容的推荐，对老用户使用协同过滤。
算法融合：将一种算法的结果作为另一种算法的输入，形成更深入的推荐模型。

举例说明：在一家音乐流媒体平台上，系统可能同时考虑用户喜欢的音乐类型（内容特征）和与用户兴趣相似的其他用户的喜好（协同过滤），为用户推荐新的歌曲。

4. 基于深度学习的推荐

随着人工智能技术的发展，深度学习被引入到推荐系统中，带来了更强大的数据处理和模式识别能力。

原理解释：深度学习利用多层神经网络，能够从大量的数据中自动学习复杂的特征表示，捕捉用户和内容之间更深层次的关系。

特点和优势：

处理复杂数据：深度学习模型可以处理多种类型的数据，如文本、图像、音频、视频等，拓展了推荐系统的应用范围。
自动特征学习：无需人工提取特征，模型可以自动从数据中学习，有效提升推荐的准确性。
捕捉非线性关系：能够建模用户和内容之间复杂的非线性关系，发现传统算法难以识别的模式。

工作过程：

数据准备：收集用户行为数据和内容特征数据，可能包括点击、浏览时间、评论、点赞等。
模型训练：使用深度神经网络（如卷积神经网络、循环神经网络、Transformer等）对数据进行训练，学习用户偏好和内容特征的映射关系。
生成推荐：利用训练好的模型，对每个用户预测其对未接触过内容的兴趣度，选择预测值高的内容进行推荐。

举例说明：在视频推荐平台上，深度学习模型可以同时分析用户的观看历史、视频的内容（包括视频帧、音频、字幕等），以及用户对视频的互动行为，综合这些信息，为用户推荐最可能感兴趣的视频。

总结

推荐算法在我们日常的互联网使用中扮演着重要的角色，它帮助我们在信息爆炸的时代，更快捷地找到自己感兴趣的内容。理解推荐算法的工作原理，有助于我们认识技术优势：了解推荐算法如何提升用户体验，促进信息高效传播。关注潜在问题：意识到算法可能带来的信息茧房、隐私泄露等问题，促进制定合理的监管政策。推动技术发展：支持对推荐算法的研究和改进，鼓励技术创新与社会责任的平衡。通过协同过滤、基于内容的推荐、混合推荐和深度学习等多种算法，推荐系统不断进化，变得更加智能和人性化。在享受技术带来便利的同时，显然也需要共同关注和解决其中的挑战，确保技术发展向善、普惠。 决策算法详细工作原理

决策算法在现代社会中扮演着关键角色，广泛应用于金融、医疗、交通、物流、招聘等领域。它们通过分析大量数据，帮助企业和机构做出高效、准确的决策，从而提升运营效率、优化资源配置。然而，随着算法在社会生活中的影响力日益增强，政策制定者和公众需要深入了解这些算法的工作原理、应用场景以及可能带来的影响和挑战。以下将对决策算法的主要类型和工作原理进行详细论述。

一、规则引擎（Rule-Based Systems）

规则引擎是一种基于预先设定的规则和逻辑条件来执行决策的系统。它按照“如果……那么……”的方式，对输入的数据进行评估和处理。这些规则通常由领域专家或业务人员根据经验、业务需求和政策法规制定。规则引擎的特点在于透明性高，规则明确，易于理解和解释，可控性强，业务人员可以直接管理和调整规则，灵活应对业务变化。

在实际应用中，规则引擎的工作过程主要包括四个阶段。首先是规则设定，确定一系列业务规则，每条规则包含条件和动作。例如，在金融机构的信贷审批中，可能设定规则：“如果申请人的信用评分低于600分，那么拒绝贷款申请。”

其次是数据输入，系统收集需要处理的输入数据，包括用户信息、环境数据、交易记录等，并确保数据格式符合系统要求。

接下来是规则匹配，系统逐一检查数据是否满足每条规则的条件。当多条规则条件同时满足时，按照优先级或预设策略处理。

最后是执行动作，如果条件满足，系统执行对应的动作，如批准、拒绝、提醒等，并将决策结果反馈给用户或其他系统。

规则引擎的优势在于透明性高，业务规则清晰明了，方便解释和审计，用户和监管机构可以理解决策依据。同时，规则引擎具有灵活性强的特点，可以根据业务需求、政策变化快速添加或修改规则。然而，它也存在一些可能的问题，例如规则冲突，大量规则可能导致冲突，需要精心管理和测试。此外，规则引擎难以处理复杂情况，对于非线性或复杂模式的决策能力有限，无法自动学习新的模式。

二、机器学习决策算法

机器学习决策算法通过从历史数据中学习模式和规律，建立预测模型，用于对新数据进行预测、分类或决策。与规则引擎不同，机器学习算法不依赖于人工设定的规则，而是通过数据训练自主学习，能够处理复杂的非线性关系，具有自我学习和适应的能力。机器学习主要分为监督学习、无监督学习和强化学习三种类型。

以监督学习为例，其工作过程包括数据收集、数据预处理、模型训练、模型验证和模型应用五个阶段。

首先，收集大量的历史数据，包括输入特征和对应的输出标签。

然后，对数据进行预处理，处理缺失值、异常值，提取和选择对模型有用的特征。

接下来，选择合适的算法，如决策树、支持向量机、神经网络等，使用训练数据拟合模型。

模型训练完成后，需要使用验证数据集测试模型的性能，根据评估结果，调整模型参数以提高性能。

最后，将训练好的模型应用于新数据，生成预测结果或决策建议。

举例来说，在招聘过程中，公司希望通过机器学习模型预测应聘者是否适合某个职位。通过收集历史招聘数据，包括应聘者的教育背景、工作经验、技能、面试评分，以及最终的录用结果，对数据进行预处理，提取重要特征，训练模型，并在新一轮招聘中使用模型对新应聘者进行评估，辅助人力资源部门做出决策。

机器学习决策算法的优势在于能够从数据中自动提取规律，减少人为主观偏见，提高决策客观性。模型可以根据新数据进行更新，适应业务和环境的变化。然而，它也存在一些可能的问题，如数据偏见，如果历史数据存在偏见，模型可能继承并放大这些偏见，对特定群体造成不公平。此外，某些复杂模型（如深度学习）难以解释，影响透明度和可解释性。

三、优化模型

优化模型通过数学方法，在满足一定约束条件的情况下，找到目标函数的最优值（最大或最小）。它广泛应用于资源配置、计划安排、成本控制等领域，帮助企业和机构做出高效的运营决策。优化模型的工作过程包括确定目标、建立模型、求解模型和结果应用四个阶段。

首先，明确需要优化的指标，如最小化成本、最大化利润、最短时间、最佳效率等。例如，物流公司希望最小化配送总距离，以降低燃油成本和提高配送效率。

接着，定义决策变量，构建目标函数，用数学表达式表示需要优化的目标，并设定约束条件，包括资源限制、政策法规、物理条件等。

然后，根据模型的特性，选择合适的优化算法，如线性规划、整数规划、动态规划、遗传算法等，使用算法求解目标函数的最优值。

最后，将数学解转换为实际的决策方案，在业务中应用最优解，执行决策，并监控效果。

在物流配送中，某快递公司需要为一天的配送任务制定最优路线。通过确定优化目标、建立车辆路径规划模型、求解最优解，得到各车辆的最优路线安排，分配给司机执行。优化模型的优势在于精确性高，在明确的条件下，能够找到最优或接近最优的解决方案，提高资源利用效率。但它也存在模型复杂度高、数据依赖性强等问题。

四、深度学习决策算法

深度学习是一种基于人工神经网络的机器学习方法，具有多层结构，能够从大量数据中自动学习复杂的特征表示。它在处理非结构化数据（如图像、语音、文本）和复杂模式识别任务中表现出色，已经成为人工智能领域的重要技术。深度学习决策算法的工作过程包括数据准备、模型构建、模型训练和模型应用四个阶段。

首先，收集大量相关数据，如图像、音频、文本、传感器数据等，为数据打上标签，以便进行监督学习。接着，根据任务选择合适的神经网络结构，如卷积神经网络（CNN）、循环神经网络（RNN）、Transformer模型等，设置网络的层数和参数。

然后，使用训练数据拟合模型，通过正向传播计算输出，比较输出与实际标签，计算损失函数值，通过反向传播调整网络参数，优化模型。

最后，将训练好的模型集成到业务系统中，实时提供决策支持。

以医疗诊断为例，医院希望利用深度学习模型辅助医生进行疾病的早期检测。通过收集大量医学影像数据，由专业医生进行标注，选择卷积神经网络模型，训练模型，让其学习影像特征与疾病之间的关系。评估模型在测试集上的诊断准确率，确保其性能达到临床要求，将模型部署在医院的诊断系统中，医生在查看影像时，可以获得模型的辅助诊断结果。

深度学习决策算法的优势在于特征自动学习，无需人工提取特征，模型能够自动学习重要特征，处理非结构化数据，拓展了应用领域。然而，它也存在数据需求量大、可解释性差、计算资源消耗大等问题。在医疗领域，决策的可解释性尤为重要，需要提供模型决策的依据。

总结

决策算法在各行各业中发挥着越来越重要的作用，通过自动化和智能化的方式，帮助人们做出更有效的决策。然而，随着算法的广泛应用，也带来了新的挑战，包括数据隐私、算法偏见、可解释性等问题。

数据保护官（DPO）社群主要成员是个人信息保护和数据安全一线工作者。他们主要来自于国内头部的互联网公司、安全公司、律所、会计师事务所、高校、研究机构等。在从事本职工作的同时，DPO社群成员还放眼全球思考数据安全和隐私保护的最新动态、进展、趋势。2018年5月，DPO社群举行了第一次线下沙龙。沙龙每月一期，集中讨论不同的议题。目前DPO社群已超过400人。关于DPO社群和沙龙更多的情况如下：

DPO线下沙龙的实录见：

域外数据安全和个人信息保护领域的权威文件，DPO社群的全文翻译：

传染病疫情防控与个人信息保护系列文章

关于数据与竞争政策的翻译和分析：

健康医疗大数据系列文章：

网联汽车数据和自动驾驶的系列文章：

网络空间的国际法适用问题系列文章：

《网络数据安全管理条例（征求意见稿）》系列文章：

《数据安全法》的相关文章包括：

赴美上市的网络、数据安全方面的两国监管乃至冲突方：

个性化广告或行为定向广告（behavioral targeting advertising）系列的文章：

内容安全方面的文章如下：

第29条工作组/EDPB关于GDPR的指导意见的翻译：

数字贸易专题系列：

关于中国数据出境安全管理制度的文章

美国方面的个人信息保护立法的文章：

关于印度的数据保护和数据治理政策和技术文件的文章有：

关于数据的安全、个人信息保护、不正当竞争等方面的重大案例：

围绕供应链安全，本公众号曾发表文章：

围绕着出口管制，本公众号曾发表文章：

本公号发表过的关于数据执法跨境调取的相关文章：

通过技术增强对个人信息的保护的文章包括：

关于保护网络和信息系统安全的相关文章包括：

围绕着TIKTOK和WECHAT的总统令，本公号发表了以下文章：

地缘政治与跨国科技公司运营之间的互动影响：

关于我国数据跨境流动监管体制变革的系列文章：

人脸识别系列文章：

针对审计在数据安全、个人信息保护、A安全的作用与落地实操，本公众号发布过的文章：

针对已公开数据的个人信息保护研究，本公号发表过以下文章

关于中国的网络安全审查制度，本公号发表过的文章：

关于LLMs（大型语言模型）的风险和监管，本公号发布过以下文章：

人工智能安全和可信赖方面的文章：

关于个人信息安全影响评估的文章如下：

关于欧洲的人工智能监管方面的立法、政策和实践方面的文章

关于个人信息的去标识化、匿名化以及隐私增强技术，本公众号发表过以下文章：

关于欧盟技术主权相关举措的翻译和分析：

关于我国《个人信息保护法》的立法和执法，本公号发表的相关文章包括：

关于业务场景中数据跨境流动的文章如下：

关于AI与标准化工作，本公号发表的文章：

关于新加坡数字化（包括个人信息、网络安全、人工智能等）方面的改革，本公号发表的文章：

关于健康医疗数据方面的文章有：

关于数据要素治理的文章有：

针对美国的人工智能监管政策发展，本公众号发表过如下文章：

关于域外在数据、电信、外国投资方面所建立的国家安全相关的审查机制，本公号发布过以下文章：

文章来源: https://mp.weixin.qq.com/s?__biz=MzIxODM0NDU4MQ==&mid=2247505423&idx=1&sn=0d8c696244e3887c6977577ba42c6e6b&chksm=97e96be5a09ee2f3395b0e39f84c0da334b6a1bf6c01528866a84d942de1108bbc41dad6bd82&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh

美国电信行业涉及外国参与的安全审查（一）：基本制度介绍

美国电信行业涉及外国参与的安全审查（二）：国际性的第214节授权

美国电信行业涉及外国参与的安全审查（三）：建立外国参与安全审查的行政令

美国电信行业涉及外国参与的安全审查（四）：FCC对中国企业的陈述理由令