新闻中心
—— NEWS CENTER ——
传统的数据运维管理的人工及被动响应方式,已经无法支撑数字化业务灵活、快速的发展,要靠智能运维(AIOps)能力来获得数据分析和决策支持。而从传统ITOM到智能运维的演进过程中,需要一系列关键技术的支撑。
大数据智能运维的平台,可分六个层面:数据采集层、数据汇聚层、数据存储层、建模应用层、分析学习层、应用反馈层。
1、数据采集层
运维数据的产生和采集来自于ITOM监控工具集,通常包括:基础服务可用性和性能监控、网络性能监测与诊断、中间件服务可用性和性能监控、应用性能管理、系统运行日志管理、IT资产管理、IT服务支持管理等。
数据采集层技术要求:
跨平台、跨语言栈、高兼容性的多模式统一采集质量标准;
兼容多种非容器化与容器化运行环境;
一致的维度关联属性;
在资源占用、数据压缩比、时效性之间可权衡、可调节的传送机制;
可靠的熔断和止损机制;
易于部署和维护、统一的配置和任务管理。
2、数据汇聚层、数据存储层、数据建模层
数据的增量是迅猛的,或将达到网络的上行极限或磁盘的写入极限,因此对汇聚层的服务自身可用性和吞吐性能要求极高。汇聚层更像“数据湖”,提供元数据限制更为宽松的数据写入和获取途径、简易的数据清洗任务创建与管理、灵活的数据访问控制和使用行为审计、具备从原始数据的发掘中更便利的进行价值发掘、具备更敏捷的扩展特性等。
数据汇聚层技术要求:
多数据源、海量数据的快速接入能力;
元数据提取和管理能力;
极其简易的、高性能的数据清洗转换能力;
可根据数据字典或特征算法对数据进行关键字识别、模式识别的标记能力;
自动的、自助的,对敏感数据进行脱敏或加密处理能力;
对数据质量检验并对质量标准进行归一化处置的能力;
数据可依据某种维度或特征进行所属和应用权限控制的能力;
自动的、自助的,数据建模探索能力;
对已建立的搜索、过滤、关联、探索模型,友好的进行数据输出能力;
自动的、自助的,分布式集群伸缩能力;
对外提供高效、敏捷数据服务的能力。
3、分析学习层、应用反馈层
在智能运维(AIOps)落地实践中,算法体系的建设是至关重要的一个环节。
算法体系建设方面,应从三个角度来去考虑实现思路:
感知:如异常检测、趋势预测、问题定位、智能告警;
决策:如弹性扩缩容策略、告警策略;
执行:如扩缩容执行、资源调度执行。
智能分析系统将感知、决策、执行三个角度落地到智能运维解决方案中,形成发现问题、产生告警事件、算法模式定位问题、根据分析结果解决问题的闭环功能。
因此,智能分析平台应具备交互式建模功能、算法库、样本库、数据准备、可扩展的底层框架支持、数据分析探索、模型评估、参数及算法搜索、场景模型、实验报告、模型的版本管理、模型部署应用等功能或模块。