随着短视频和高清视频的普及，媒体内容的生产和消费模式正在发生深刻的变化，对媒体内容的生产、存储、处理、传输和分发提出了更高的要求。这一趋势不仅改变了用户的观看习惯，也对企业和媒体行业提出了新的技术和基础设施要求，企业需要从多个方面进行全面布局和优化，通过引入先进的技术和管理方法，提升内容质量和制作效率，为用户提供更加丰富、高质量的媒体内容。这不仅能够提升用户的观看体验，还能在激烈的市场竞争中占据优势。

对于媒体行业而言，数字化超高清转型已经成为全球最主流的趋势之一。随着媒体节目质量的日益高清和制作的愈加精良，海量媒体文件的存储及高效处理需求也在不断提升。分布式存储系统，以海量数据存储管理为核心，满足互联网时代多样化的业务需求，支持弹性扩展和标准网络访问，提供几乎无限的存储容量，可轻松实现千万级IOPS性能和百微秒级延迟，满足各类业务的苛刻性能和动态增长需求。

图2-1 广播电视媒体资产业务流程

电视节目从素材采集到节目播出的整个流程涉及素材采集、素材管理、节目制作、节目播出、内容归档等多个阶段，每个阶段都需要专业的技术和工具来确保节目的质量和效率，电视台媒体资产（后续简称为“媒资”）存储是媒体行业中一个重要的环节，随着4K和8K视频的普及，媒资存储的需求越来越高。高效的媒资存储系统不仅能提高媒体内容的管理和使用效率，还能确保数据的安全性和可靠性。电视台媒资存储主要需求如下：

海量数据

4K和8K视频文件体积庞大，对存储空间提出了极高的要求。为了有效管理这些海量数据，需要采取一系列技术和措施，确保高容量、高可用性、高性能和高扩展性的存储解决方案；

长期保存

媒体内容，尤其是4K和8K视频文件，因其体积庞大，需要长期保存以备后续使用和归档。这不仅是为了满足业务需求，还可能涉及法律法规的要求，确保数据在长期保存过程中不丢失、不损坏，即使在多年后，也能快速检索和访问所需数据。

视频编辑、渲染和传输是电视节目制作中的关键步骤，特别是对于4K和8K视频文件，这些操作需要极高的读写性能，因此存储设备需要提供高速的数据读写性能，确保编辑和渲染过程流畅无阻，同时支持高带宽的数据传输，确保媒体文件的快速加载和播放，满足多用户并发访问的需求。

在媒体内容管理生命周期中，确保数据的高可用性和容错性是非常重要，特别是在处理4K和8K视频文件这样的大型数据集时，需要确保数据在多个位置存储，防止因单点故障导致的数据丢失。

为达到存储建设目标，除了系统硬件要符合技术要求外，与之相配的软件也应符合未来一段时间的技术发展，保证整套系统具备一定的技术前瞻性，所采用的技术不会在短时间内被淘汰或弃用，以利于整个系统今后的升级、维护，根据广电媒资业务特点和面临的问题，我们将在分布式存储系统的设计过程中遵循如下原则：

多台节点共享同一存储空间，系统设计应该从实际应用出发，提供共享环境下的高性能访问，保证系统响应时间、输出带宽不会因为客户端数量的增加而明显下降。

系统符合开放性设计原则，具备优良的可扩展性、可升级性，可以支持开放系统平台，运行于现有的技术标准之上。

从方案设计和产品选型上，保证系统的安全性、高可用和稳定性及系统的高性能处理能力，所有产品在生产环境下必须提供7x24小时安全运行，满足业务系统对存储系统安全性、高可用稳定性及性能的较高要求。保证系统运行的稳定性，使系统运行风险降至最低。

为保证数据存储空间的可管理性和减少结构的复杂性，要减少管理的复杂性。方案应采用先进的存储技术和成熟易用的系统管理软件，可有效方便对系统进行管理和监控，保证大数据量简便管理并能够充分发挥系统性能。

软硬件选型及系统架构具提供多样化、标准化、通用化的对外接口，能够和用户现有环境良好兼容，对未来升级扩容等提供开放的系统平台。对主流厂商的软硬件环境具有稳定、广泛的兼容能力，从而保障用户的建设投资具备延续性。系统应支持标准的文件共享协议，应具备异构（Windows、Linux等）环境下数据共享能力，以及有效的统一命名空间管理。

针对广电媒资电视节目对存储的高要求，我司提供了一套全面的分布式存储解决方案，旨在确保数据的高可用性、高性能和高扩展性，具体细节如下：

图4-1 威努特媒资分布式存储解决方案

整个存储系统均采用鲲鹏处理器以及麒麟操作系统，存储系统采用威努特分布式存储鲲鹏版软件组成分布式统一存储平台，将集群中的存储资整合为存储池，为用户存储系统建设提供底层支撑，为前端应用提供块、文件和对象存储服务。

同时，分布式存储具有高性能，能够轻松应对各类高负载管理的要求，其中包括业务关键型应用与核心业务系统；多副本及强一致性技术的应用提供高可用特性；极强的横向扩展能力则为业务扩张带来的管理维护提供了极大的灵活性和便利。

威努特分布式存储系统采用去中心化的无元数据服务设计，使用弹性Hash算法来定位文件，从根本上解决元数据管理这一难题，从而获得近乎无限规模的线性高扩展性，同时也大幅提高了系统性能和可靠性。集群中任何节点只需要相对路径和文件名就可以对数据进行快速定位和读写，无元数据交互过程。不存在元数据性能瓶颈和单点故障问题，可以弹性扩展至上千集群节点，容量和性能可随着节点增加实现线性增长，构建超大的存储规模。

分布式存储系统逻辑上由存储节点、存储网关以及访问客户端以组成。数据分布于存储服务器的磁盘上，最终的文件数据通过统一的调度策略分布在不同的存储服务器上。可以将文件系统管理、节点管理以及RAID管理集合在一起，横跨集群内的所有节点,向前端应用呈现单一文件系统，提供全局单一名字空间的文件系统服务。系统内所有数据节点的存储资源被整合为单个超大容量的文件存储空间，以实现统一的管理和大规模存储服务。

对于分布式存储系统来说，确保各类业务数据的稳定、可靠的保存以及快速、有效的读写是系统安全稳定运行的基本保障。为了实现这一目标，分布式存储系统需要具备高可靠性、高性能和大容量的特点。

威努特的分布式存储系统采用了全对称分布式存储架构，确保整个存储系统没有单点故障，并通过系统的纠删码及多副本技术，将数据同时存在于多个存储节点中，最大限度提高数据容灾能力。

全对称分布式存储架构

纠删码（Erasure Coding）与多副本技术

• 数据冗余：通过纠删码技术，将数据分割成多个块，并生成额外的校验块，即使部分数据丢失也可以恢复；

• 多副本存储：在多个节点上存储相同的数据副本，确保数据的高可用性和容错性；

• 高效利用存储资源：相比传统多副本技术，纠删码可以更高效地利用存储空间，降低存储成本。

威努特分布式存储由多个独立的服务器实现，所有节点是完全对称架构，无主次之分，可以在不停机的情况下动态增加存储节点，实现存储容量和性能的动态扩展，“对称”意味着各节点可以完全对等，能极大地降低系统维护成本，且无单点故障。支持理论上无限水平扩展，支持EB级别的大规模存储。

图4-2 统一存储扩展能力

节点冗余

图4-3 分布式存储多重数据冗余保护

威努特的分布式存储一体机支持多副本和N+M纠删码（EC），提供硬盘级、节点级、机柜级等多级故障域保护能力。针对广电媒资分布式存储集群的需求，推荐采用多副本或纠删码数据保护机制，以确保在所有存储节点同时损坏一块硬盘，以及任意一个节点故障的情况下，数据不丢失，充分保证存储系统的可靠性。此外，存储系统的虚拟化可实现集群HA（高可用性），保障任意节点损坏时，其承载的所有业务均会迁移到其它空余节点，充分保证业务连续性。

链路安全

为了确保分布式存储系统的高可用性和可靠性，威努特的分布式存储网络采用了全冗余设计，即交换机和网络连接线均实现双份冗余，实现任意一条链路或交换机出现故障时不会造成业务中断，具体实现方式如下：

所有交换机采用堆叠方式部署，提升性能的同时提供冗余保护。

• 高可用性：通过堆叠技术，多个物理交换机可以作为一个逻辑单元工作，提高了网络的可靠性和管理的简便性。

• 负载均衡：堆叠交换机之间自动进行流量负载均衡，避免单点过载，提升整体网络性能。

• 故障切换：当主交换机发生故障时，备用交换机会自动接管，确保网络服务不中断。

• 链路冗余：所有设备节点的网络连接线均采用双上联方式，分别连接到不同的交换机，确保任意一条链路或交换机出现故障时不会造成业务中断。

• 快速恢复：在检测到链路故障后，系统会立即切换到备用链路，减少业务中断时间。

数据保护

图4-4 分布式存储快照管理

威努特的分布式存储系统通过集成快照功能，为数据保护和恢复提供了强有力的保障，确保在数据不慎被误删除或其他意外情况下能够迅速、可靠地进行数据恢复。

快照功能基于COW事务技术，可以在所有节点的数据卷上同时创建快照信息，并可实现全局统一创建和单一命名空间挂载恢复。快照所占空间根据存储卷的数据量变化与快照频率而定，一般应用占用10%-20%存储空间。目前支持快照创建、快照激活、快照回滚等操作，快照激活可将指定快照数据以具备可读取权限的目录的形式挂载至集群内部，由运维技术人员对数据进行按需操作。

对存储卷创建快照后，如果原始数据需要改动，首先将原始数据拷贝到新数据块中，将指针映射到新数据块，然后再进行改写。在创建快照时，并不会发生物理的数据拷贝动作，仅是拷贝了原始数据所在的数据块物理位置元数据。因此，快照创建非常快，可以瞬间完成。在创建了快照之后，快照软件会监控跟踪原始数据的变化，一旦原始数据块中的数据被改写，则会将原始数据块上的数据拷贝到新数据块中，然后将新数据写入到原始数据块中覆盖原始数据。其中所有的原始数据块组成生产卷，而新数据块组成了快照卷。

数据防篡改

图4-5 分布式存储数据防篡改

WORM（Write Once Read Many）是一次写入多次读取技术，即文件被写入完成后通过设置使其进入只读状态。在该状态下保护期内文件只能被读取，无法删除、修改或重命名。通过采用WORM技术对存储数据进行保护后，可以防止其因意外而修改，这就保证了企业或组织对一些重要的业务数据安全存储的需求。保护期内的文件，普通用户和有WORM操作权限的系统管理员都不可修改、删除或重命名。超过保护期的文件，用户和系统管理员不可修改或重命名，但可以删除。

支持卷级别的WORM功能，开启该功能后，数据一经写入存储系统就无法再修改删除。WORM是长久安全存储大量数据信息的理想解决方案，可以满足法规遵从要求，实现追溯真实的原始数据。

远程复制

图4-6 分布式存储数据防篡改

支持Geo-replication功能，可实现持续、异步、增量的数据异地复制。复制支持通过LAN局域网、WAN广域网和Internet互联网实现从一个站点到另一个站点的数据连续、异步的复制。

Geo-replication支持自定义时间策略，以设置不时的同步频率与复制粒度。远程复制通过判断文件的修改操作为触发条件，当文件系统内的文件或目录发生修改操作时，会文件或目录的属性信息，并且调用复制进程，生产端复制进程与Slave端通信，校验同名的文件和目录的属性信息，获取需要同步的文件列表，并对列表文件进行同步。

使用异步复制机制实现容灾，在RPO要求较严苛的业务中，须保证复制链路的高带宽及5ms以内的延迟要求。

数据回收

图4-7 分布式存储数据回收

为避免用户误删除重要文件，存储系统提供了回收站功能，开启后每个文件系统都会维护一个隐藏的 .trashcan目录，该目录将用于存储用户删除的文件，并允许用户访问已删除文件。为避免名称冲突，在发生删除动作时，会将时间戳附加到原始文件名，然后再将其移至垃圾目录。

回收站功能默认关闭，可以文件系统管理中开启。垃圾回收根据删除文件的尺寸大小进行过滤：管理员可以限制被回收的最大文件尺寸，比如限制为5GB，那么大于5GB的文件将会被直接删除，不再转存到垃圾目录。

数据归档

图4-8 分布式存储数据归档

针对广电媒资海量数据存储与归档需求，x-Archive是实现海量数据归档的有效方案，结合蓝光、云存储构建二级存储架构，实现海量低频数据的归档迁移管理，将低频数据始终保存在经济、大容量的存储空间，为高频数据释放出更高性能的存储资源，并实现数据在两级存储设备之间的自动迁移与快速访问。

通过S3或NAS接口与蓝光存储对接，将蓝光存储资源作为低频数据存储资源池。内置的x-Archive归档迁移功能可智能检测数据的冷热属性，将访问次数少、存储空间占比最大的低频数据迁移归档到蓝光存储设备进行长久保存。被迁移的数据会在磁盘存储池保留“存根”，一旦被归档数据的“存根”被访问触发，后台会自动将相应数据从蓝光介质中回调，实现归档数据的快速访问。在统一元数据管理下，蓝光资源作为存储资源池的一部分，以统一的命名空间的方式对外提供存储服务。

支持将云存储资源通过S3接入本地，并将其空间作为云端归档池，与本地存储池构建冷热分层存储，对外提供统一命名空间。用户的非敏感数据都可以存储到该分层存储池，在x-Archive的策略管理下，高频数据保存在本地实现高效访问，低频数据自动流动到云端，如数据需要被访问，可以自动从云端在线回调，实现云存储的无逢对接，构建经济立体的数据存储体系。

对硬件配置要求低，可实现单节点、两节点及多节点部署；

相比较ceph系产品，文件存储（尤其是大文件场景）性能、可靠性更高；

同时支持RAID、副本、纠删码保护，相对于ceph系产品，纠删冗余更加稳定；

支持在线动态扩容，包括磁盘、节点扩容，用户无需规划停机时间，可随时按需扩容。扩容期间，数据的可靠性、系统的可用性不受影响；

支持灵活的扩容方式，可以独立扩容硬盘、存储节点，或者同时进行扩容；扩容存储节点后不需要做大量的数据搬迁，系统可以快速达到负载均衡状态；

支持标准POSIX、NFS、CIFS、HTTP、FTP、S3、iSCSI接口，可完整支持各类数据访问模式；对于特定应用，威努特可通过二次开发提供API级的接口调用；

鲲鹏/飞腾/海光/兆芯/龙芯/申威，麒麟/OpenElur/统信全线适配。

广电媒资行业通过部署威努特分布式存储解决方案，不仅显著提升了数据存储能力，而且在管理效率、成本控制、数据安全等方面均获得了显著改善。分布式存储不仅强化了用户机房的现场管理水平，还为用户的业务持续扩展和技术创新提供了坚实的基础支撑，保障业务安全稳定运行的同时，也展示了现代化、智能化的运维管理水平。