解决方案

算力平台运维监控解决方案

看清基础设施状态,保障算力业务运行

统一监测 GPU、计算节点、网络、存储及平台依赖,结合告警与运行关系,快速排查异常。

算力平台运维监控主视觉

客户挑战

算力业务稳定运行,依赖整条基础设施链路

节点、网络、存储和平台服务彼此关联,局部异常可能影响作业执行,需要结合多个对象的运行信息判断问题。

01

资源异构,状态难统一

GPU 型号、驱动与操作系统并存,监控对象和指标需要统一梳理。

资源异构,状态难统一
02

链路关联,问题跨专业

网络质量、存储时延与节点负载相互影响,排查需要结合多方信息。

链路关联,问题跨专业
03

依赖分散,健康难掌握

数据库、中间件和接口分别运行,平台健康信息缺少集中呈现。

依赖分散,健康难掌握
04

处理分散,协同成本高

告警来自不同工具,影响确认、通知和派单需要跨团队反复沟通。

处理分散,协同成本高

方案架构

CEMC 统一监控,Soque 组织告警协同

以 CEMC 汇集资源状态、性能与运行关系,通过 Soque 关联多源告警和处理动作,与算力调度平台交换健康与异常信息。

CEMC 统一监控,Soque 组织告警协同

监控范围

覆盖计算、网络、存储与平台依赖

按算力业务运行链路组织监控对象,集中查看设备状态、性能变化与关联风险。

计算、网络、存储与平台依赖监控范围

计算节点与 GPU

关注 GPU 利用率、显存、温度、功耗及节点硬件健康,结合操作系统资源状态查看运行变化。

算力网络

关注设备与端口状态、链路流量、丢包及错误指标,结合拓扑查看异常位置和关联链路。

存储与数据访问

关注容量、读写性能、控制器与磁盘状态,识别存储空间和访问性能风险。

操作系统

集中查看 CPU、内存、磁盘、负载、进程和端口,关联主机上的服务运行情况。

平台依赖服务

关注数据库、中间件的连接、线程、内存及服务状态,辅助定位平台运行问题。

调度平台健康

通过接口、日志或 Webhook 接入组件与集群健康信息,按需关联作业状态摘要。

方案介绍

沿算力运行链路,查清异常与影响

当节点温度异常、网络错误或存储访问延迟出现时,将指标、拓扑与告警放在关联对象中查看,帮助工程师缩小排查范围并组织处理。

查看异常对象,核对运行指标

应用场景

服务集群值守、链路排查与容量评估

集中查看资源健康,及时发现异常

  • 健康监测
  • 异常关注
  • 重点核查

统一查看 GPU、节点、网络、存储和平台依赖的运行情况,通过告警与巡检识别需要关注的对象,减少逐个系统查看的工作量。

  • 健康监测查看节点与 GPU 健康、温度和资源使用情况。
  • 异常关注关注网络、存储及平台依赖的异常变化。
  • 重点核查结合巡检结果安排重点核查。
日常运行值守

方案价值

看清运行链路,为算力稳定运行提供支撑

基础设施统一可见

基础设施统一可见

集中查看计算、网络、存储与平台依赖,减少运行状态分散造成的信息缺口。

运行风险及时感知

运行风险及时感知

关注温度、容量、链路质量和性能变化,通过告警与巡检发现异常。

故障排查更有方向

故障排查更有方向

结合指标趋势与资源关系缩小检查范围,为跨专业排查提供具体线索。

维护规划有数据支撑

维护规划有数据支撑

通过容量、性能与可用性记录识别维护重点,为资源规划提供依据。

与慧鹰同行

开启智能运维新阶段

从产品能力到落地方案,慧鹰与你一起构建适合业务的运维体系。