云监控在联通国际多媒体传输平台中的应用

中国联通

一、项目背景

2015年，联通集团公司管理层提出“实施聚焦战略，创新合作发展”，将 TV 视频业务定位为中国联通的战略性基础业务。为客户提供低时延、高速安全的传输通道，能有效的提升中国联通在视频业务市场的竞争力。 按照这个战略规划的要求，联通决定建设多媒体传输平台，第一阶段先覆盖国内重点城市以及部分海外POP点，部署多媒体传输平台设备以及媒体网关、编解码器等设备，利用专线或者公网解决海外 POP 点与国内以及国内重点城市间高质量的实时视频、语音的承载、汇聚及分发，服务广电、网络视频提供商等重要客户。第二阶段扩展到海外的重点区域，实现国内与国外间低延时、高可靠的实时音视频传输。 视频媒体网络是以北京作为媒体中心，通过连接国内、国际POP点，形成联通视频媒体网络，覆盖国内、国际媒体客户，提供全球媒体内容传送服务。

多媒体传输平台是基于OTN网络并结合光缆、卫星、专线及互联网等传输网络上的增值业务，主要传输视频、数据等，服务对象为国内外媒体客户、互联网视频公司及视频版权公司等，具有重大的经济效益。面向集团客户提供专业化的多媒体视频传送服务，构建覆盖全球的视频媒体网络，通过多媒体传送平台的方式满足客户灵活组网及广泛视频内容的传送需求。

二、难点和挑战

1、跨地域

空间上，整个传输网散布在国内东南西北，多个城市，海外还有香港、东京、伦敦、洛杉矶等，跨洲跨洋； 目前多媒体传输平台的节点有北京、上海、广州、天津、武汉、沈阳、西安、成都、福州等9 个境内城市，以及香港、东京、伦敦、洛杉矶4个境外城市覆盖。 三期，还将增加如下几个节点：长沙站、浙江站、乌鲁木齐站、卫星站、CCTV站、移动站；

传输网散布在国内外多个城市，跨洲跨洋
空间上跨度大，距离远，构建一个统一的网管，自身有难度和挑战；

2、使用者分散在不同的部门，不同的分公司，因此需要分权分域，以支持更大规模的组织机构

系统规模、复杂性和安全性的保证；当系统规模和使用人数达到一定范围时，从访问安全的角度考虑，往往需要给予使用者不同的权限层级以简化系统运维管理；反之，若所有账户权限扁平甚至是相同，会造成资源访问上的冲突和管理的混乱； 跨地域的系统；当被控设备和使用分别位于不同地点，就需要按照所在区域划分权限，当地用户只能拥有本地设备资源的访问权；

3、系统规模大

体现在设备数量多，网络分段，需要检测的环节多； 信号的多样，包括格式转换等

系统网络概览（一期）

4、复杂性

海量的设备，庞大的信号数量，多样化的信号格式，伴随业务流程自动化而来的任务单驱动的报警过滤，智能联动的需求，都会加大系统的复杂性。

4、需要与预约和自动传输等业务系统联动

本系统需要与联通既有系统实现互联互通，包括预约、路由、信号调度、传输、业务报表等。传输平台不是一个孤岛，而是与既有系统融合贯通的有机整体的一部分。 系统之间的交互，意味着这些Web应用应该使用精心设计的接口调用来完成跨系统的访问，实现信息的流动和控制的远程传递，同时还要保证系统的访问安全性。

三、系统组成

传输平台节点组成

四、监控系统功能

云监控是一款面向云环境、IP化的综合监控平台；该平台基于微服务架构，支持分层监控的代理机制，可提供无限的缩放能力；

平台提供全面的监控，自动、联动，敏捷灵动；支持基于大数据的统计、预测；规律抽取、趋势提炼；报表生成；运营优化、推荐；一键式云上部署，采用B/S架构，方便浏览器的快速访问。

云监控首页

1、软件功能

（1）IP环境下系统状态直观形象的实时展示；

实时参数展示

实时报警展示

（2）IP化的视音频流的检测；

实时报警列表展示

（3）信号的调整、调度和分发；

（4）IP环境下设备的智能发现；

（5）完备的设备监控能力；

参数设置和调整

（6）完备的信号检测能力；

信号链路检测

（7）完备的网络监测能力；

（8）数据采集和数据分析能力，包括汇聚、存储、建模、处理和运营推荐等；

数据处理分析平台

• 企业级的事后数据分析处理平台；
  
• 适用于不同来源的海量数据的采集、汇聚、存储和在线查询处理；
  
• 综合使用Redis和MongoDB等NoSQL数据库，提供卓越的性能和可用性；
  
• 支持集群和横向扩展，支持并行处理；
  
• 在线报表生成；
  
• B/S架构，支持多用户并发访问；
  
• 简便，易维护，易部署；
  
• 支持数据的高速批处理；
  
• 提供GUI界面，支持交互式的数据导出；
  
• 支持XML、JSON、MS Excel、CSV等多种文件格式的导出；
• 支持多源数据的汇聚，生成统一视图和报表；

大数据分析平台

NoSQL数据库的副本集+分片集群提供了卓越的性能和可用性

指标参数的统计和指示

各种报表的输出

（9）分权分域

分权分域的内容涵盖用户管理、部门组织管理、权限管理、分视图等内容；其中，权限管理是重点，毕竟系统多人、异地、并发访问的时候需要强化授权和权限检查； 系统提供机制，包括登陆验证、部门管理、权限控制等，为设备读写、信号调度和链路状态展示等提供了完备的访问控制机制； 分权分域，主要是依照用户所属的部门，如各地分公司等，授权其只能访问特定的拓扑图和设备集合，比如外地分公司的用户只能访问外地分公司机房的设备和对应的拓扑图、信号流图等；这部分的开发是建立在上述的访问控制机制基础上的； 用户管理，可按照用户的角色（超级管理员，游客，运营等）和部门给予操作者不同的权限；也可按照账户角色划分权限；也可按照所在部门划分权限； 严密周全的权限管理将若确保未分配访问权限将无法访问资源。

按照部门给用户授权

严密的授权检查

1、非功能性需求

（1）易用；

虚拟桌面，允许定制首页，简化日常使用

（1）用户界面、体验可定制；

报警关断和过滤屏蔽

组合显示，仪表盘实时参数

五、系统特点

1、B/S架构，满足用户随时随地访问系统的需要；

提供浏览器为代表的多样化客户端，支持随时随地系统访问

2、完善的解决方案；

3、高度自动化；

支持与预约传输等业务系统联动，执行报警的任务单过滤等；提供事件响应机制，可实现联动、追随等自动化模式；提供了标准的Restful API，可在之上搭建流程自动化系统；

4、极佳的弹性缩放能力；

支持二级代理，设备巡检代理，集群等；通过增加更多的代理实例，水平扩展，可支持更多的系统负载；

设备驱动代理是应对多样化控制和海量设备的关键手段

设备驱动代理，是基于微服务架构，实现对不同接口类型，不同协议规范，不同设备类型，不同访问介质的适配。具体特点如下：

• a)微服务模块，符合统一标准，可灵活拔插组合，适配千变万化的设备类型和通讯方式；
• b)提供了Restful API，向监控中心提供统一的接口，上报信息和执行指令；
• c)支持高速缓存和消息总线等机制和设置，可利用读写分离、集群负载均衡等相关的加速设施来提效增速；
• d)支持代理池的概念，通过多实例部署实现横向线性扩展，支持更多的设备，更大范围的部署；
• e)支持跨机器跨网段跨地域的分布式部署；比如，着眼于密集的设备访问可将驱动代理就近部署在被控设备的同一个机房甚至是同一个机架；着眼于安全，可与被控设备部署在同一个网段，实现访问的有效管控等等；

• 
  服务多实例动态部署是性能横向扩展的关键

微服务模块监管器，用于对上述的设备驱动代理等相关微服务模块做监管和调度；作为基础设施之一，监管器会密切监管上述微服务模块的工作，特别是其健康状况；具体的：

• a)对被监管模块做健康检测和存活检测；
• b)当个别微服务模块工作不正常甚至是宕机异常退出时，监管器会自动发现，并自动重启；
• c)负载均衡，特别是动态负载均衡；可以人工操作，在GUI界面上参照载荷和健康状态做实例的部署扩展和服务的启停；也可以依照特定的规则启动自动模式，会依照载荷和模块健康状态自动创建部署实例和卸载实例；
• d)支持业务服务和代理等的一键主备倒换；
• e)提供Restful API，发布代理模块和其他的微服务模块的健康状态；可基于这些微服务模块的健康状态，做联动和干预；比如，短信通知，邮件通知，动态负载倒换等等；

• 
  设备驱动代理列表

5、微服务架构，可快速适应用户定制化的业务流程；

微服务架构模式（Microservices Architecture Pattern）是将大型的、复杂的、长期运行的应用程序构建为一组相互配合的服务，每个服务都可以很容易得局部改良。由于每个服务可以各自进行x扩展和z扩展，而且，每个服务可以根据自己的需要部署到合适的硬件服务器上，通过多实例部署实现性能的横向扩展；

6、提供多层级、多来源的数据采集和汇总能力，以大数据分析来驱动运营的持续优化；

可采集设备配置参数、运行指标、设备状态，信号质量、网络流量、收发活动、服务器运行指标、用户访问活动、机房环境等多方面的信息；

实时数据处理平台

可以基于实时参数做报警分析，如设置意外变更、指标过限告警、目标消失告警、目标突发出现告警等，也可做多参数联合分析，以规则公式等方式指定参数间约束和关联，进行逻辑推理，趋势分析；

7、结合数据分析处理，提供不同视角的运营报表，提升对系统工作的洞察和见解；

日常运营的趋势分析

参数值的时间历程曲线

7、提供标准的API接口，Restful API

（1）标准的接口，HTTP协议+Json，易读，简化防火墙等端口设置；

（2）接口范围，涵盖资源访问、能力访问、功能访问和公共服务等多个方面；

（3）提供完善的在线文档，与接口保持时时同步；

（4）可基于此搭建流程自动的系统，如自动收录、任务执行、追随联动等；

五、项目历程及使用效果

云监控于2017年中至年底完成系统本身的调试和测试，并于2018年上半年交付使用，一直稳定运行至今。期间，云监控软件与多媒体传输平台一起参加了冬奥会现场制播，亚运会，世界杯等重大节目制播活动。其强大的检测监控能力，智能化的使用体验，直观的界面展示、全面的数据采集、分析处理能力，多样的报表输出等，获得了客户的认可。

中国联通视频智能精品网运营服务中心

其间，系统二期扩容，在之前的几个国内城市的基础上，增加了香港、东京、伦敦、洛杉矶4个境外城市的海外节点；2019年，进行了三期扩容，增加长沙站、浙江站、乌鲁木齐站、卫星站、CCTV站、移动站这些国内节点。 伴随着多媒体传输平台分阶段的扩容，云监控展示出绝佳的扩展性，特别是其横向扩展能力，以微服务架构和设备代理等为代表的核心框架的应用，保证了系统的无缝演进和弹性扩展，同时为后继的进一步扩容留下了余地。

云监控作为最重要的辅助系统之一，为联通国际多媒体传输平台实现安全播出、优质播出保驾护航。