CDN调度方法、系统、设备和存储介质与流程

cdn调度方法、系统、设备和存储介质
技术领域
1.本申请涉及网络调度技术，例如涉及一种cdn调度方法、系统、设备和存储介质。


背景技术：

2.内容分发网络(content delivery networks，cdn)是构建在网络之上的内容分发网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。随着互联网和第五代移动通信(5th generation，5g)的发展，现有的cdn网络在应对新技术、新业务方面有些力不从心。
3.规模的增长和cdn更深的边缘化下沉部署带来的是cdn网络运维复杂度的提升，传统的以人工为主辅以统计报表和检测告警的运维模式已经不能适应cdn业务发展的需要，需要一种更加智能化的方式来提升cdn系统的运维效率，保障cdn系统运行的稳定性、可靠性和服务质量。


技术实现要素：

4.本申请提供一种cdn调度方法、系统、设备和存储介质，提高cdn网络的运维效率，节约成本。
5.第一方面，本申请实施例提供一种cdn调度方法，包括：
6.从cdn节点设备实时采集cdn数据并生成cdn指标系统；
7.从城域网上实时采集城域网数据并生成城域网指标系统；
8.基于cdn指标系统生成cdn节点负载智能画像，并通过ai训练和算法优化调节生成区域内调度算法；
9.基于cdn指标系统和城域网指标系统生成cdn区域负载智能画像，并通过ai训练和算法优化调节生成区域间调度算法；
10.根据区域内调节算法和区域间调度算法确定cdn调度策略，并执行cdn调度策略。
11.第二方面，本申请实施例提供一种cdn调度系统，包括：
12.cdn指标模块，设置为从cdn节点设备实时采集cdn数据并生成cdn指标系统；
13.城域网指标模块，设置为从城域网上实时采集城域网数据并生成城域网指标系统；
14.区域内调度模块，设置为基于cdn指标系统生成cdn节点负载智能画像，并通过ai训练和算法优化调节生成区域内调度算法；
15.区域间调度模块，设置为基于cdn指标系统和城域网指标系统生成cdn区域负载智能画像，并通过ai训练和算法优化调节生成区域间调度算法；
16.策略执行模块，根据区域内调节算法和区域间调度算法确定cdn调度策略，并执行cdn调度策略。
17.第三方面，本申请实施例提供一种cdn调度设备，包括处理器和存储器，处理器用
于运行储存在存储器里的程序指令以执行第一方面的cdn调度方法。
18.第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的cdn调度方法。
附图说明
19.图1为一实施例提供的一种cdn调度方法的流程图；
20.图2为一实施例提供的一种cdn指标系统的流程图；
21.图3为一实施例提供的一种城域网指标系统的流程图；
22.图4为一实施例提供的一种区域内负载调度的流程图；
23.图5为一实施例提供的一种区域间负载调度的流程图；
24.图6为一实施例提供的一种热点预测和智能分布的流程图；
25.图7为一实施例提供的另一种cdn调度方法的流程图；
26.图8为一实施例提供的一种cdn调度系统的结构示意图；
27.图9为一实施例提供的一种cdn调度设备的结构示意图。
具体实施方式
28.下文中将结合附图对本申请的实施例进行详细说明。
29.图1为一实施例提供的一种cdn调度方法的流程图，如图1所示，本实施例提供的方法包括如下步骤。
30.步骤s1010，从cdn节点设备实时采集cdn数据并生成cdn指标系统。
31.本实施例提供的数据库查询方法应用于cdn中的管理系统，cdn管理系统可以位于cdn中的管理节点，cdn中的管理节点负责对cdn中的各cdn节点进行管理和调度。目前的cdn调度主要以人工调度为主，存在如下几个问题：1、评判体系不足，没有一套有效的衡量和评判体系来度量cdn服务和调度效果；2、cdn节点负载不均衡：调度执行智能化不足，依靠手动调整且均衡效果差，整体利用率低；3、跨区域调度流量冲击：跨区域调度没有参考依据，依靠经验判断，造成城域网流量冲击；4、热点服务不均衡：热点分布智能化不足，热点统计滞后并依靠手动分布，造成热点服务不均衡和设备服务不均衡。
32.因此本申请实施例提供一种基于人工智能(artificial intelligence，ai)的cdn调度方法，通过对cdn中数据的实时采集，实现对负载的智能调度，从而解决目前cdn调度的问题。
33.首先，在cdn节点设备上部署代理(agent)，通过实时处理框架实时采集cnd数据。然后实时处理框架生成cdn指标系统。
34.在一实施例中，如图2所示，图2为一实施例提供的一种cdn指标系统的流程图，从cdn节点设备实时采集cdn数据并生成cdn指标系统包括：从cdn节点设备实时采集服务日志和设备基本信息；对服务日志和设备基本信息进行汇聚计算后实时计算形成cdn的区域指标、cdn节点指标、设备维度的服务质量类指标、均衡类指标、热点类指标、调度类指标；其中，服务质量类指标包括服务成功率、服务下载速率、服务首包延迟；均衡类指标包括负载率、负载偏离度；热点类指标包括直播和点播热点排行、字节命中率热点存储利用率；调度类指标包括跨区域调出用户、跨区域调入用户。
35.服务质量类核心指标定义如下：1、服务成功率：统计时间范围内用户服务请求成功次数/用户服务请求总次数；作为卡顿类质量评估指标；2、服务下载速率：设备单位时间内发送给用户的总字节数；作为卡顿类质量评估指标；3、服务首包延迟：设备从接收到用户服务请求到发送第一个报文的时间差；作为首缓类质量评估指标。
36.负载类核心指标定义：1、负载率：设备服务带宽/最大设计带宽；2、负载偏离度：是指同一区域、同一区域下同一级别的cdn节点、同一cdn节点下不同设备负载率之间的差值；可分为区域、节点峰值、设备负载偏离度和均值负载偏离度；(1)区域、cdn节点、设备峰值负载偏离度：是指统计周期内区域、cdn节点、设备负载率峰值之间的差值，一般是衡量晚高峰均衡效应；(2)区域、cdn节点、设备均值负载偏离度衡量：是指统计周期内区域、cdn节点、设备负载率均值之间的差值，一般是总体均衡效应。
37.热点核心指标定义：1、直播和点播热点排行：统计范围内直播频道和点播内容的服务流量占比和请求次数占比加权排行；作为热点取值依据；2、字节命中率：统计范围内设备接收用户本地命中的服务流量/设备总服务流量；作为热点取值和效果评估依据；3、热点存储利用率：统计范围内设备热点内容总大小/设备存储媒体盘总大小；作为热点取值和效果评估依据。
38.跨区域调度用户定义：1、跨区域调出用户：即本区域用户去其他区域服务；以用户区域属性为依据，用户服务的cdn节点区域属性与用户区域属性不一致的服务用户；2、跨区域调入用户：即其他区域用户到本区域服务；以cdn节点区域属性为依据，cdn节点的区域属性与cdn上服务用户区域属性不一致的服务用户。
39.步骤s1020，从城域网上实时采集城域网数据并生成城域网指标系统。
40.在城域网上部署代理(agent)，通过实时处理框架实时采集城域网数据。然后实时处理框架生成城域网指标系统。
41.在一实施例中，如图3所示，图3为一实施例提供的一种城域网指标系统的流程图，从城域网上实时采集城域网数据并生成城域网指标系统包括：实时采集城域网数据设备上分配给cdn服务的各区域上、下行负载和延迟数据，生成城域网的指标系统，城域网指标系统包含区域维度的上、下行服务带宽、最大设计带宽、延迟。上述指标作为负载智能调度的参考依据。
42.步骤s1030，基于cdn指标系统生成cdn节点负载智能画像，并通过ai训练和算法优化调节生成区域内调度算法。
43.cdn调度可以分为cdn区域内调度和cdn区域间调度，其中cdn区域内调度指在同一区域的cdn内进行调度的方案，cdn区域间调度指在不同区域的cdn间进行调度的方案。
44.根据cdn指标系统采集到的cdn区域内的各节点的cdn数据，就能够得到cdn区域内的节点负载智能画像，节点负载智能画像表示区域内节点的负载情况，那么就可以通过ai训练和算法优化调节生成区域内调度算法，确定区域内的节点进行负载调度的方法。
45.在一实施例中，首先接收用户发送的负载调度请求，根据负载调度请求采集区域内cdn节点的数据，并生成基准区域内负载调度算法；然后基于cdn指标系统生成cdn节点负载智能画像，并通过ai训练和算法将cdn节点负载智能画像和基准区域内负载调度算法结合，通过非线性回归负载率、权重的动态基线算法迭代优化得到区域内负载调度算法。
46.如图4所示，图4为一实施例提供的一种区域内负载调度的流程图，在步骤s4010
中，用户向负载调度执行模块发起请求，在步骤s4020中，负载调度执行模块按照系统配置的调度原则对用户进行负载分发到cdn节点服务，在步骤s4030中，通过实时cdn指标系统获取均衡类核心指标数据，在步骤s4040中，输出到cdn节点的负载调度算法模块，生成基准区域内负载调度算法。在步骤s4050中，cdn节点负载画像模块采集cdn指标系统获取均衡类核心指标数据，生成cdn节点负载画像；在步骤s4060中，ai训练模块将cdn节点负载画像数据和cdn节点的负载调度算法结合，在步骤s4070中，通过非线性回归负载率、权重的动态基线算法不断优化区域内负载调度算法。在步骤s4080中，优化后的cdn节点负载调度算法输出给负载调度决策模块，在步骤s4090中，负载调度决策模块根据和负载调度执行模块约定的接口，下发调度策略给负载调度执行模块，负载调度执行模块根据优化后的负载调度算法分发用户请求到cdn节点服务。系统不断重复上述步骤s4010-步骤s4090，不断的机器学习、ai训练、迭代优化区域内负载调度算法。另外，还可以通过效果验证模块实时从实时cdn指标体系获取数据，检测区域内多cdn节点负载智能调度效果。
47.在一实施例中，区域内负载调度算法，包括多维动态权重算法：cdn节点动态权重w＝g(m，r)，其中g为非线性函数，m为cdn节点的最大设计带宽，r为cdn节点当前剩余带宽。流量抖动抑制算法：在一个区域内多个cdn节点，分摊到具体某个cdn节点的概率：p＝h(wi/(w1 w2 ... wn))，其中：h为线性函数；wi为要分摊cdn节点的动态权重；w1 w2 ... wn为所有cdn节点动态权重之和。
48.ai训练和优化算法(即趋势分析算法)包括：动态基线算法根据历史数据建立的cdn节点负载率基线，再通过设定cdn节点负载率偏离度上、下门限，系统生成cdn节点服务权重等新数据，自动更新负载率基线和cdn节点负载率偏离度上、下门限；针对不同的cdn节点，通过应用统计规律，建立不同的cdn节点负载率偏离度门限判别标准和服务权重。
49.区域内负载调度算法的评判指标包括：1、负载率：设备服务带宽/最大设计带宽；2、区域内cdn节点负载偏离度：同一区域下同一级别的cdn节点的负载偏离度，分为cdn节点峰值负载偏离度和均值负载偏离度衡量；(1)cdn节点峰值负载偏离度：是指统计周期内cdn节点负载率峰值之间的差值，衡量晚高峰均衡效应；(2)cdn节点均值负载偏离度衡量：是指统计周期内cdn节点负载率均值之间的差值，衡量总体均衡效应。
50.步骤s1040，基于cdn指标系统和城域网指标系统生成cdn区域负载智能画像，并通过ai训练和算法优化调节生成区域间调度算法。
51.cdn区域间调度指对不同区域的cdn间进行调度的方案，根据cdn指标系统采集到的cdn区域内的各节点的cdn数据和根据城域网指标系统采集的城域网数据，就能够得到cdn区域负载智能画像，cdn区域负载智能画像表示各cdn区域间节点的负载情况，那么就可以通过ai训练和算法优化调节生成区域间调度算法，确定区域间的节点进行负载调度的方法。区域间负载智能调度流程相对于区域内负载智能调度流程，增加了城域网的指标服务带宽、负载率、延迟、可调度带宽门限数据作为调度算法的决策因子。
52.在一实施例中，首先接收每个区域用户发送的负载调度请求，根据负载调度请求采集各区域cdn节点的数据；根据城域网指标系统实时采集城域网数据；根据各区域cdn节点的数据和城域网数据生成cdn区域负载智能画像；基于cdn区域负载智能画像，并通过ai训练和算法将cdn节点负载智能画像通过非线性回归负载率、服务权重的动态基线算法得到区域间负载调度算法。
53.如图5所示，图5为一实施例提供的一种区域间负载调度的流程图，在步骤s5010中，每个区域用户请求向负载调度执行模块发起请求，在步骤s5020中，负载调度执行模块按照系统配置的调度原则对用户进行负载分发到相同区域的cdn节点服务，在步骤s5030中，通过实时cdn指标系统获取均衡类核心指标数据；在步骤s5040中，城域网指标系统实时采集城域网数据设备数据，指标包含区域维度上、下行服务带宽、最大设计带宽、负载率、延迟等；在步骤s5050中，实时cdn指标系统获取均衡类核心指标数据，输出到cdn区域负载画像模块；在步骤s5060中，城域网指标系统实时采集城域网数据设备数据，输出到cdn区域负载画像模块，共同形成以cdn区域维度服务带宽、负载率等核心指标的区域负载画像；在步骤s5070中，区域负载画像通用非线性回归负载率、服务权重的动态基线算法，在步骤s5080中，生成cdn区域负载调度算法；在步骤s5090中，生成的cdn区域负载调度算法输出给负载调度决策模块，在步骤s5100中，负载调度决策模块根据和负载调度执行模块约定的接口，下发调度策略给负载调度执行模块，负载调度执行模块根据优化后的负载调度算法分发用户请求到区域cdn节点服务。
54.在一实施例中，区域间调度算法包括如下步骤：
55.步骤1：区域负载率调度门限：当区域负载率超过该阀值时参与区域调度。
56.步骤2：区域负载偏离度：区域负载率-区域负载率调度门限；正值表示需要调出用户、负值表示可以调入用户。
57.步骤3：区域负载率偏离度门限：为防止负载震荡，系统预制的门限值，当区域负载偏离度的绝对值小于或等于区域负载率偏离度门限则不参与区域调度。
58.步骤4：预调度带宽计算：参与调度区域的最大设计带宽*区域负载偏离度；正值表示该区域需要降低负载率，将本区域用户调度到其他区域服务；正值表示该区域可以提高负载率，将其他区域用户调度到本区域服务。
59.步骤5：城域网区域上、下行门限：为防止cdn流量跨区域过度调度对城域网造成的冲击，系统预制城域网区域上、下行门限，限制区域调度带宽小于或等于城域网区域上、下行门限值。
60.步骤6：区域实际调度带宽计算。
61.1、将各个区域的预调度带宽、城域网区域的服务带宽和最大设计带宽、城域网区域上、下行门限数据纳入计算模型；区域调出带宽、区域调出带宽必须小于或等于城域网区域上、下行门限；
62.2、区域调出带宽(本区域用户调度到其他区域服务)与城域网区域下行门限比较，取小值作为区域可调出带宽；区域调入带宽(其他区域用户调度到本区域服务)与城域网区域上行门限比较，取小值作为区域可调入带宽；
63.3、区域总调出带宽和区域总调入带宽取两者之间的小值，使区域总调出带宽等于区域总调入带宽；
64.4、将新得到的区域总调出带宽根据区域的可调出带宽重新归一化分配得到区域实际调出带宽；将新得到的区域总调入带宽根据区域的可调入带宽重新归一化分配得到区域实际调入带宽；
65.步骤7：区域调度分配算法：从需要调出带宽权重最高的区域开始分配，根据城域网延迟情况分配到延迟最低的可以调入带宽的区域，按照最大能力分配原则分配；以此类
推直到所有调出带宽和调入带宽分配完毕；
66.步骤8：cdn区域间调度算法：区域调度分配算法与cdn区域负载率数据结合生成(区域多维动态权重算法)；w＝g(m1,r1) g(m2,r2)，其中g为非线性函数，m1、m2分别为区域和城域网的最大可用带宽，r1和r2分别为区域和城域网可用带宽；
67.步骤9：非线性回归区域负载率、权重的动态基线算法说明(即：趋势分析算法)：动态基线算法根据历史数据建立的区域负载率基线，再通过设定区域负载率偏离度上、下门限，生成区域服务权重等新数据，自动更新负载率基线和区域负载率偏离度门限值；针对不同的区域，通过应用统计规律，建立不同的区域负载率偏离度门限判别标准和分配权重。
68.步骤s1050，根据区域内调节算法和区域间调度算法确定cdn调度策略，并执行cdn调度策略。
69.在根据步骤s1030和步骤s1040得到区域内调度算法和区域间调度算法后，即可执行各调度算法，从而实现cdn的智能调度。由于本实施例中，采用基于ai技术的cdn智能调度，在cdn网络服务中将极大的提升运维智能化的程度、有效性、合理性；充分发挥现有系统的服务能力，减少建设成本和人力维护成本。区域内负载智能调度策略和调度执行，均衡区域内cdn节点负载，提升cdn节点整理利用率；跨区域智能调度策略，结合城域网负载和延迟，通过用户合理跨域服务，实现应急、跨域流量支援的服务要求。
70.本实施例提供的cdn调度方法，通过从cdn节点设备实时采集cdn数据并生成cdn指标系统，以及从城域网上实时采集城域网数据并生成城域网指标系统，然后基于cdn指标系统生成cdn节点负载智能画像，并通过ai训练和算法优化调节生成区域内调度算法，并基于cdn指标系统和城域网指标系统生成cdn区域负载智能画像，并通过ai训练和算法优化调节生成区域间调度算法，从而根据区域内调节算法和区域间调度算法确定cdn调度策略，并执行cdn调度策略，提高了cdn的运维效率，减少了成本，并结合区域内调度和区域间调度，均衡了cdn节点的负载，提高了cdn节点的利用率。
71.在一实施例中，根据区域内调节算法和区域间调度算法确定cdn调度策略，并执行cdn调度策略之后，还包括：对跨区域调出用户服务指标和跨区域调入用户服务指标进行评价，将评价结果反馈给ai训练和算法优化。从而形成一套完整的cdn指标体系，可以快速给cdn系统的服务情况，做出快速评价，并作为效果验证提供指标评判依据。
72.评价的具体方法可以包括：步骤1：跨区域调出用户服务指标：根据第二实施例中，跨区域调出用户计算方式，生成以区域维度的调出服务指标，区域调出指标包含：服务带宽、并发用户、服务成功率、首包延迟、服务下载速率等；步骤2：跨区域调入用户服务指标：根据第二实施例中，跨区域调入用户计算方式，生成以区域维度的调入服务指标，区域调入指标包含：服务带宽、并发用户、服务成功率、首包延迟、服务下载速率等。
73.在一实施例中，本申请实施例提供的cdn调度方法还包括：实时采集cdn节点设备的直播和点播数据，生成cdn的热点统计基础画像；根据热点统计基础画像采集进行热点预测，生成热点预测画像，并通过ai训练和算法优化调节生成热点智能分布算法；根据区域内调节算法和区域间调度算法确定cdn调度策略，并执行cdn调度策略，包括：根据区域内调节算法、区域间调度算法和热点智能分布算法确定cdn调度策略，并执行cdn调度策略。直播和点播热点智能识别和智能分布，结合cdn节点、设备负载和存储等情况智能动态创建热点和回滚热点；冷片集中服务和存储。提升边缘cdn节点命中率，并均衡设备负载偏离度。
74.如图6所示，图6为一实施例提供的一种热点预测和智能分布的流程图，在步骤s6010中，cdn指标体系实时采集cdn设备的直播和点播内容数据，在步骤s6020中，生成全局、区域、cdn节点维度的热点统计基础画像，热点统计基础画像分为静态画像和动态画像,直播画像基本元素为频道id、内容特征、区域特征、事件特征等；点播画像基本元素包含内容id、内容名称、导演、演员等信息：静态画像按照历史统计长周期(如天粒度)数据生成，动态画像按照实时(如分钟级)统计数据生成；动态画像实时增量更新静态画像的热点数据。在步骤s6030中，点播智能关联模块根据热点统计画像的内容数据，在步骤s6040中，从内容库的内容数据，做内容相似性分析，通过经典贝叶斯网络模型生成点播热点预测数据。直播热点预测分析主要是针对重大包含国家重大节日、庆典、赛事等重大事件，通过热点分析引擎，分析结果与直播频道相关联，通过经典贝叶斯网络模型生成直播热点预测数据。在步骤s6050中，热点预测画像采集点播热点预测数据、在步骤s6060中，采集直播热点预测数据和在步骤s6070中，采集热点统计画像数据，生成热点预测画像，在步骤s6080中，并通过ai训练和调优来不断优化热点关联算法、直播预测算法和热点预测画像的准确性，在步骤s6090中，最后生成cdn节点维度cdn节点智能画像。在步骤s6100中，cdn节点智能画像根据直播热点、点播热点情况，结合cdn节点的负载、存储、命中率等数据，生成热点智能分布算法，在步骤s6110中，再输出热点分布决策；在步骤s6120中，热点分布决策模块根据与热点分布执行模块协商接口生成全量与增量接口数据，在步骤s6130中，通过热点分布执行模块下发给cdn节点执行。在步骤s6140中，cdn节点根据下发的热点分布策略执行直播和热点自动创建和老化策略；效果验证模块采集cdn指标体系的数据，对热点智能分布效果做出指标评判。
75.在一实施例中，直播和点播热点分布算法可以包括如下几个步骤：
76.步骤1：建立全局、区域、cdn节点、设备四种热点模型：
77.1、全局热点模型主要是采集全网cdn节点数据，针对直播和点播的预测新增热点以及全局topn(n可配置)的直播频道和点播内容数据；
78.2、区域热点模型主要是采集本区域的cdn节点数据，以区域topn(n可配置)的直播频道和点播内容为依据，形成区域直播和点播热点排行；
79.3、cdn节点热点模型主要是采集本cdn节点全部的直播频道和点播内容数据，形成本cdn节点topn(n可配置)的直播和点播热点排行；
80.4、cdn设备热点模型主要由cdn节点热点模型根据设备的负载和存储，动态分配设备的直播频道和点播内容数据，形成cdn设备topn(n可配置)的直播和点播热点排行。
81.步骤2：cdn节点热点分布算法分为直播和点播两种：
82.1、直播热点智能分布算法：全局热点模型取直播热点topn(n可变)和直播预测热点；区域热点模型取直播热点topm(m可变)；cdn节点热点模型取cdn节点直播热点topl(l可变)；topn、topm、topl三种数据去重取合集并重新排行，形成新的cdn节点直播热点列表，并依据通过cdn节点直播字节命中率来动态调整cdn节点直播热点列表；
83.2、点播热点智能分布算法：全局热点模型取点播热点topa(a可变)和点播预测热点；区域热点模型取点播热点topb(b可变)；cdn节点热点模型取cdn节点点播热点topc(c可变)；topa、topb、topc三种数据去重取合集并重新排行，形成新的cdn节点点播热点列表，并依据通过cdn节点点播字节命中率和存储利用率来动态调整cdn节点点播热点列表。
84.步骤3：针对cdn节点内的设备，根据设备负载和存储情况，根据节点热点列表，将
最热的热点频道和内容快速创建和复制到所有设备，次热的热点频道和内容使用互斥方式存储。
85.步骤4：对于直播和点播热点列表中排行最后的频道和内容，集中创建到固定cdn节点；用户请求重定向到该cdn节点，集中提供服务。
86.步骤5：直播和点播热点老化策略都是根据根据直播和点播热点列表执行。
87.图7为一实施例提供的另一种cdn调度方法的流程图，如图7所示，本实施例提供的方法包括如下步骤。
88.本实施例提供的cd调度方法可以分为六个部分。
89.第一部分为基础实时数据采集部分，在cdn节点设备上和城域网数据上部署agent，实时处理框架模块实时采集cdn数据(步骤s7010)和实时采集城域网数据(步骤s7020)。
90.第二部分为三大基础数据指标建立部分，实时处理框架模块输出各种维度的cdn指标体系(步骤s7030)、城域网指标体系(步骤s7080)和热点基础画像(步骤s7140)。
91.第三部分为节点智能调度决策过程：初始化cdn节点调度算法；基于cdn指标体系生成cdn节点负载智能画像(步骤s7040)，通过ai训练和算法(步骤s7050)调优模块优化节点调度算法(步骤s7060)，并输出给调度决策模块(步骤s7070)。
92.第四部分为区域智能调度决策过程：初始化区域调度算法；基于cdn指标体系(步骤s7100)和城域网指标体系(步骤s7090)生成cdn区域负载智能画像，通过ai训练和算法(步骤s7110)调优模块优化区域调度算法(步骤s7120)，并输出给调度决策模块(步骤s7130)。
93.第五部分为热点预测和智能分布决策过程：初始化热点分布算法；热点预测模块根据热点基础画像(步骤s7150)生成多维度的热点预测画像(步骤s7160)，通过ai训练和算法(步骤s7170)调生成新的热点智能分布算法(步骤s7180)，并输出给调度决策模块(步骤s7190)。
94.第六部分为决策执行、效果评估与向量反馈：调度决策模块通过协商接口下发策略给cdn调度执行模块(步骤s7200)，cdn调度执行模块将新策略执行负载调度策略与热点智能分布策略(步骤s7210)，cdn指标体系和城域网指标体系获取新数据，上报给服务度量和评价模块(步骤s7220)；服务度量和评价模块根据评价原则生成向量，反馈给ai训练和算法调优模块(步骤s7230)，整个系统形成闭环流程，不断迭代调优。
95.图8为一实施例提供的一种cdn调度系统的结构示意图，如图8所示，本实施例提供的cdn调度系统包括：
96.cdn指标模块81，设置为从cdn节点设备实时采集cdn数据并生成cdn指标系统；城域网指标模块82，设置为从城域网上实时采集城域网数据并生成城域网指标系统；区域内调度模块83，设置为基于cdn指标系统生成cdn节点负载智能画像，并通过ai训练和算法优化调节生成区域内调度算法；区域间调度模块84，设置为基于cdn指标系统和城域网指标系统生成cdn区域负载智能画像，并通过ai训练和算法优化调节生成区域间调度算法；策略执行模块85，根据区域内调节算法和区域间调度算法确定cdn调度策略，并执行cdn调度策略。
97.本实施例提供的cdn调度系统用于实现图1所示实施例的cdn调度方法，本实施例提供的cdn调度系统实现原理和技术效果类似，此处不再赘述。
98.在一实施例中，本实施例提供的cdn智能调度方法及系统，可以分为三大核心模块；cdn指标体系模块、负载智能调度模块、热点智能分布模块；
99.1、指标体系模块：该模块实现原始数据实时采集，形成一套完整、多维度的cdn的服务、回源、跨域服务等场景的指标监控和评价系统；
100.2、负载智能调度模块：包含两个子模块：
101.区域内智能调度子模块：建立区域内cdn节点维度的负载智能画像，负责区域内多个cdn节点负载均衡；区域间智能调度子模块；建立区域维度的负载智能画像，负责跨区域的cdn流量调度和区域间的负载均衡；
102.3、热点智能分布模块：包含两个子模块：
103.直播热点预测与智能分布子模块：建立cdn节点维度的直播热点智能画像，将热点动态创建到cdn节点，并根据热点的变化更新创建和老化策略；点播热点分析和智能分布子模块：建立cdn节点维度的点播热点智能画像，将热点动态创建到cdn节点，并根据热点的变化更新创建和老化策略。
104.图9为一实施例提供的一种cdn调度设备的结构示意图，如图9所示，该cdn调度设备包括处理器91、存储器92cdn调度设备中处理器91的数量可以是一个或多个，图9中以一个处理器91为例；cdn调度设备中的处理器91和存储器92可以通过总线或其他方式连接，图9中以通过总线连接为例。
105.存储器92作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本申请图1实施例中的cdn调度方法对应的程序指令/模块(例如，cdn调度系统中的cdn指标模块81、城域网指标模块82、区域内调度模块83、区域间调度模块84、策略执行模块85)。处理器91通过运行存储在存储器92中的软件程序、指令以及模块，从而完成cdn调度设备至少一种功能应用以及数据处理，即实现上述的cdn调度方法。
106.存储器92可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据数据库查询设备的使用所创建的数据等。此外，存储器92可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
107.本申请实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种cdn调度方法，该方法包括：从cdn节点设备实时采集cdn数据并生成cdn指标系统；从城域网上实时采集城域网数据并生成城域网指标系统；基于cdn指标系统生成cdn节点负载智能画像，并通过ai训练和算法优化调节生成区域内调度算法；基于cdn指标系统和城域网指标系统生成cdn区域负载智能画像，并通过ai训练和算法优化调节生成区域间调度算法；根据区域内调节算法和区域间调度算法确定cdn调度策略，并执行cdn调度策略。
108.以上仅为本申请的示例性实施例而已，并非用于限定本申请的保护范围。
109.本领域内的技术人员应明白，术语用户终端涵盖任何适合类型的无线用户设备，例如移动电话、便携数据处理装置、便携网络浏览器或车载移动台。
110.一般来说，本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中，尽管本申请不限于此。
111.本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现，例如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构((instruction set architecture，isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。
112.本申请附图中的任何逻辑流程的框图可以表示程序步骤，或者可以表示相互连接的逻辑电路、模块和功能，或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现，例如但不限于只读存储器(read-only memory，rom)、随机访问存储器(random access memory，ram)、光存储器装置和系统(数码多功能光碟(digital video disc，dvd)或光盘((compact disc，cd))等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型，例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、可编程逻辑器件(field-programmable gate array，fgpa)以及基于多核处理器架构的处理器。

技术特征：
1.一种cdn调度方法，其特征在于，包括：从内容分发网络cdn节点设备实时采集cdn数据并生成cdn指标系统；从城域网上实时采集城域网数据并生成城域网指标系统；基于所述cdn指标系统生成cdn节点负载智能画像，并通过人工智能ai训练和算法优化调节生成区域内调度算法；基于所述cdn指标系统和所述城域网指标系统生成cdn区域负载智能画像，并通过ai训练和算法优化调节生成区域间调度算法；根据所述区域内调节算法和所述区域间调度算法确定cdn调度策略，并执行所述cdn调度策略。2.根据权利要求1所述的方法，其特征在于，所述从cdn节点设备实时采集cdn数据并生成cdn指标系统，包括：从cdn节点设备实时采集服务日志和设备基本信息；对所述服务日志和设备基本信息进行汇聚计算后实时计算形成cdn的区域指标、cdn节点指标、设备维度的服务质量类指标、均衡类指标、热点类指标、调度类指标；其中，服务质量类指标包括服务成功率、服务下载速率、服务首包延迟；均衡类指标包括负载率、负载偏离度；热点类指标包括直播和点播热点排行、字节命中率热点存储利用率；调度类指标包括跨区域调出用户、跨区域调入用户。3.根据权利要求1所述的方法，其特征在于，所述从城域网上实时采集城域网数据并生成城域网指标系统，包括：实时采集城域网数据设备上分配给cdn服务的各区域上、下行负载和延迟数据，生成城域网的指标系统，所述城域网指标系统包含区域维度的上、下行服务带宽、最大设计带宽、延迟。4.根据权利要求1所述的方法，其特征在于，所述基于所述cdn指标系统生成cdn节点负载智能画像，并通过ai训练和算法优化调节生成区域内调节算法，包括：接收用户发送的负载调度请求，根据所述负载调度请求采集区域内cdn节点的数据，并生成基准区域内负载调度算法；基于所述cdn指标系统生成cdn节点负载智能画像，并通过ai训练和算法将所述cdn节点负载智能画像和所述基准区域内负载调度算法结合，通过非线性回归负载率、权重的动态基线算法迭代优化得到区域内负载调度算法。5.根据权利要求4所述的方法，其特征在于，所述区域内负载调度算法包括多维动态权重算法和流量抖动抑制算法；所述ai训练和优化算法包括：动态基线算法根据历史数据建立的cdn节点负载率基线，再通过设定cdn节点负载率偏离度上、下门限，系统生成cdn节点新数据，自动更新负载率基线和cdn节点负载率偏离度上、下门限；针对不同的cdn节点，通过应用统计规律，建立不同的cdn节点负载率偏离度门限判别标准和服务权重；所述区域内负载调度算法根据负载率和区域内cdn节点负载偏离度进行评判。6.根据权利要求1所述的方法，其特征在于，所述基于所述cdn指标系统和所述城域网指标系统生成cdn区域负载智能画像，并通过ai训练和算法优化调节生成区域间调度算法，包括：
接收每个区域用户发送的负载调度请求，根据所述负载调度请求采集各区域cdn节点的数据；根据所述城域网指标系统实时采集所述城域网数据；根据所述各区域cdn节点的数据和所述城域网数据生成cdn区域负载智能画像；基于所述cdn区域负载智能画像，并通过ai训练和算法将所述cdn节点负载智能画像通过非线性回归负载率、服务权重的动态基线算法得到区域间负载调度算法。7.根据权利要求6所述的方法，其特征在于，所述区域间负载调度算法包括如下步骤：区域负载率调度门限、区域负载偏离度、区域负载率偏离度门限、预调度带宽计算、城域网区域上、下行门限、区域实际调度带宽计算、区域调度分配算法、cdn区域间调度算法；所述ai训练和算法包括：动态基线算法根据历史数据建立的区域负载率基线，再通过设定区域负载率偏离度上、下门限，生成区域新数据，自动更新负载率基线和区域负载率偏离度门限值；针对不同的区域，通过应用统计规律，建立不同的区域负载率偏离度门限判别标准和分配权重。8.根据权利要求1～7任一项所述的方法，其特征在于，所述根据所述区域内调节算法和所述区域间调度算法确定cdn调度策略，并执行所述cdn调度策略之后，还包括：对跨区域调出用户服务指标和跨区域调入用户服务指标进行评价，将评价结果反馈给ai训练和算法优化。9.根据权利要求1～7任一项所述的方法，其特征在于，还包括：实时采集cdn节点设备的直播和点播数据，生成cdn的热点统计基础画像；根据所述热点统计基础画像采集进行热点预测，生成热点预测画像，并通过ai训练和算法优化调节生成热点智能分布算法；根据所述区域内调节算法和所述区域间调度算法确定cdn调度策略，并执行所述cdn调度策略，包括：根据所述区域内调节算法、所述区域间调度算法和所述热点智能分布算法确定cdn调度策略，并执行所述cdn调度策略。10.一种cdn调度系统，其特征在于，包括：cdn指标模块，设置为从内容分发网络cdn节点设备实时采集cdn数据并生成cdn指标系统；城域网指标模块，设置为从城域网上实时采集城域网数据并生成城域网指标系统；区域内调度模块，设置为基于所述cdn指标系统生成cdn节点负载智能画像，并通过人工智能ai训练和算法优化调节生成区域内调度算法；区域间调度模块，设置为基于所述cdn指标系统和所述城域网指标系统生成cdn区域负载智能画像，并通过ai训练和算法优化调节生成区域间调度算法；策略执行模块，根据所述区域内调节算法和所述区域间调度算法确定cdn调度策略，并执行所述cdn调度策略。11.一种cdn调度设备，包括处理器和存储器，其特征在于，所述处理器用于运行储存在所述存储器里的程序指令以执行根据权利要求1-9中任意一项所述的cdn调度方法。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～9中任一所述的cdn调度方法。
技术总结
本申请提出一种CDN调度方法、系统、设备和存储介质，一种CDN调度方法，包括：从CDN节点设备实时采集CDN数据并生成CDN指标系统；从城域网上实时采集城域网数据并生成城域网指标系统；基于CDN指标系统生成CDN节点负载智能画像，并通过AI训练和算法优化调节生成区域内调度算法；基于CDN指标系统和城域网指标系统生成CDN区域负载智能画像，并通过AI训练和算法优化调节生成区域间调度算法；根据区域内调节算法和区域间调度算法确定CDN调度策略，并执行CDN调度策略。行CDN调度策略。行CDN调度策略。


技术研发人员：王琦
受保护的技术使用者：中兴通讯股份有限公司
技术研发日：2019.12.31
技术公布日：2021/7/15