全球同步的边缘计算存储方案

发布时间：2022-05-23 00:00:00

金山云全球同步的边缘计算存储方案，将视频云的能力下沉到边缘，直播生产端完全自主可控，具备任意选择分发端的能力，同时采用了热流回源、冷流分发等核心技术，降低源站回源带宽，提高资源利用率，成本更优。

       作者：北京金山云网络技术有限公司

1    目标和概述

随着5G时代的到来，视频用户数及视频业务量发 展迅猛，用户对视频服务的体验性要求越来越高，视频 数据如何高效、低成本地存储、分发面临极大的挑战。

当前视频行业内从客户端产生的视频数据均会在中 心云进行汇聚存储，然后根据业务需求进行计算或者分 发、调阅。这种传统的直播架构，会出现全量源站转码 业务无法错峰、资源利用率低、使用多厂商系统需求排 期长、故障难以定位等问题。

这种架构下业务产生的大流量给骨干网络和中心 云带来了非常大的负担，同时由于中心云的承载能力有 限，成本较高，也给业务的发展带来了限制。

针对此情况，将中心云的能力选择性下沉到边缘成 了边缘计算必须要解决的问题。金山云全球同步的边缘 计算存储方案，将视频云的能力下沉到边缘，直播生产 端完全自主可控，具备任意选择分发端的能力，同时采 用了热流回源、冷流分发等核心技术，降低源站回源带 宽，提高资源利用率，成本更优。

当前的解决方案通过在边缘计算部署存储系统，先 解决数据存储的问题，从客户端产生的数据将优先按照 区域归属进行集中。数据在边缘落地后进一步进行计算 和分析。再按照业务需求到中心做二次集中。

该解决方案可以有效地降低中心云的负载，同时 数据按照归属地边缘和业务需求进行分级存储和按需集 中，有效地降低业务的成本。系统会自行根据访问者划 分归属地，全程业务无感知，零侵入。

2    方案介绍

图1是系统架构图，边缘计算部署计算和存储服 务。调度系统根据客户端的来源确定其归属边缘节点。设备直接访问归属地的边缘节点。数据直接在对应的边缘节点落地并存储，利用边缘计算进行分析或者计算转码等业务流程，再根据业务需求集中到中心存储。

图1 系统架构图

这种架构下，由于数据在边缘进行落地，需要解决数据的异地访问问题。所以在存储的基础上，进一步拓展数据同步和互访的能力。客户访问数据会优先访问归属地边缘计算的存储系统，存储系统再根据该数据是否存在于归属地存储本地，自动地进行数据同步拉取和返回。

2.1  产品定义

边缘产品由边缘存储与边缘计算两个部分构成。核心从降低处理延时和降低与中心机房交互带宽两个层面优化用户体验。在IoT场景下，特别在网络视频监控的场景下，对处理延时和成本要求都非常显著。此时边缘相比于中心而言优势非常明显。

（1）边缘存储

边缘存储是在边缘建设独立的存储节点，与中心相关联，使得边缘具备绝大部分的存储能力。并遵循网络访问最优原则进行区域内的网络调度，以达到最优化的访问性能。同时，系统会根据各节点带宽的状态，动态地对边缘的上行流量、边缘与中心的数据同步进行调整，合理地对边缘与中心的带宽进行复用，以达到成本 的最优化。

（2）边缘计算

边缘计算是通过在边缘提供应用式的容器化的计 算能力实现的。中心可以灵活地对边缘的应用进行配置 和管理，可以任意指定其使用的镜像版本、资源规格及 配置，并支持对应用进行灰度发布。一般认为，边缘计 算所需的数据会存在于同区域的存储中。且对于边缘存 储，边缘计算也会依照最优原则进行网络调度，以实现 访问性能的最优化。

2.2  产品设计

整个架构中，中心拥有最充裕的资源和最完整的能 力。包括全量的元数据、计算的配置信息等。一般认为 边缘的数据最终会迁移回中心进行存储，且由于边缘与 边缘之间网络状态完全不可控。所以有以下几点设计原 则：

通过数据流与请求流进行说明，数据流主要由上 传下载请求构成，其数据量较大，对网络稳定性要求较 高。请求流包含计算请求、内部控制请求等，数据量较 小，重试成本较低。

对于数据流：由于网络的关系，一般认为边缘与边 缘之间不存在数据流。若存在跨边缘数据读取的情况， 考虑直接回中心。且由于边缘与中心之间的数据最终会 迁移回中心存储，所以一般情况下，认为边缘与中心的 数据流为单向的，即数据由边缘流向中心。非必要情况 下不考虑中心往边缘回吐数据。

对于请求流：对于内部控制请求，出于安全考虑， 边缘与边缘的交互经由中心进行路由。对于计算请求，若 存在跨运营商等恶劣网络条件下的访问，考虑直接回中 心，若同运营商的访问，考虑重定向请求至对应节点。

上传：分为普通上传、分片上传、追加上传三种模 式，普通上传中数据直接上传到边缘节点，元数据信息 会写到中心机房；分片上传数据直接上传到边缘节点， 分片元数据信息会写到中心机房；追加上传数据直接上 传到边缘节点，追加上传元数据信息会写到中心机房。

下载：当用户访问下载域名或使用SDK进行下载 时，调度系统将根据用户网络情况按照和上传时一致的 调度规则返回给用户当前的下载节点。

调度：边缘调度分为内部流量调度和外部访问调度。

外部访问调度主要是根据用户区域将用户的访问请 求调度至对应的边缘。内部流量调度主要用于调度边缘 与中心间的同步流量，充分进行流量复用，以达到成本最优。

3    代表性及推广价值

近期，“能耗双控”政策纷纷执行落地，限电限产 措施在多个省份密集推出，“双高”企业轮番接到限产 通知。企业与相关产业链都受到波及。

2021年8月，国家发展改革委在例行新闻发布会上 直接点名青海、宁夏、广西、广东、福建、新疆、云 南、陕西、江苏9地上半年能耗强度同比不降反升。此外，还有10个省份的能耗强度降低率未达到进度要求， 全国节能形势十分严峻。

根据要求，上述地区2021年将暂停国家规划布局 重大项目以外的“两高”项目节能审查，确保完成全年 能耗双控目标特别是能耗强度降低的目标任务。

对于视频行业客户而言，如果将所有数据都汇存在 中心云，假如中心云地理位置在北京，北京的用户访问 北京数据，上海的用户也要通过网络来北京访问数据， 全国用户都向北京数据中心访问，就会造成网络堵塞， 能耗加大导致电力中断或不稳定，可能会对作为企业数 字命脉的IT系统持续运行造成重大影响。选择一家专业 云服务商，日常将数据上传到云厂商的对象存储保存， 同时将数据文件下沉到离用户最近的边缘节点存储备 份，这样就可以将业务中断时间的数据丢失和损害的可 能性降到最低；也可在紧急情况发生时，直接切换流量 到边缘端，保证业务和生产环境的连续性。

经过一段时间的使用，全球同步的边缘计算存储 方案为客户带来的效益是可观的。很多客户向金山云反 映，他们体会到了边缘计算存储方案的优秀存储、分发 机制，在访问边缘存储文件时速度比以前快了很多，而 且再没有出现过网络堵塞现象。这表明，边缘计算存储 方案的部署节省了客户在读取文件过程中所消耗的时 间，并且几乎杜绝了访问过程中的断线情况。在客户对 边缘计算存储方案的评估过程中，金山云全球同步的边 缘计算存储方案对网络性能起到了惊人的加速效果，并 且将带宽的使用效率进行了大幅度的提高，节省了43% 的带宽并将访问时间缩减为测试前的2/3。

来源 | 《自动化博览》2022年第二期暨《边缘计算2022专辑》