9999算力GPU Reliability
两个业务 · 流程

钱漏在两个地方,
我们分两条线各自去堵。

一台机器一年能卖出多少卡时,由两个乘数决定:利用率(卡在跑,还是卡在等)和可售率(卡交得出去,且交出去不坏)。两条业务线各管一个,流程不一样、交付物也不一样。

一台机器,两个漏点 —— 12 秒看完整条逻辑
00

共同的前提:一笔账

不算这笔账,谈性价比没有意义。

一张卡一年的收入 = 8,760 小时 × 利用率 × 可售率 × 单价
8,760 是固定的,单价是市场给的 —— 能动的只有中间两个乘数
利用率 —— 卡在跑,还是卡在等决定一天能卖出几个小时。卡在等数据时,机器开着、电照付、租约在走,但产出是虚的,而监控上通常什么都看不到。
这条线是存算协同。
可售率 —— 卡交得出去,且交出去不坏决定有多少小时是废的。这会同时打在退租、验收和二手处置上 —— 说不清的那部分,最后都是折价。
这条线是卡健康 365。
卡健康 365勘查→只读接入→建基线→出报告→留档
存算协同量基线→定位瓶颈→改数据面→复测对照
01
业务一

卡健康 365

管「可售率」

一个只读盒子 + 六周试点 + 年度订阅。它不加速你的卡,它让「这批卡到底什么状态」有记录、有责任、有处置。下面五步就是从进场到能拿出材料的过程。

STEP 01

勘查机房

看单柜功率、制冷方式、承重和走线 —— 先判断这批机器接不接得住。

接入方案(含能不能接的结论)
STEP 02

只读接入

盒子并到带外口,采集范围在接入前书面定死:不采模型、不采训练数据、不采文件名。

采集范围确认单
STEP 03

建基线 · 3–5 周

持续采集,让同型号的卡自己比。差异通常在这三周里就能看出来。

同型离群清单
STEP 04

出报告与复盘

按卡汇总:哪些有问题、哪些在观察、哪些不用动。一次复盘会排优先级。

按卡报告 + 复盘记录
STEP 05

留档与追责

返修、退租、验收、二手处置时,能拿出的不是聊天记录,是按卡时间线。

可提交的返修材料
02
业务二

存算协同

管「利用率」

在现有栈上接数据面,不替换你的存储与监控。四步走完,你会拿到一组自己量出来的前后对比 —— 不是我们说的数字。

STEP 01

先量基线

改造之前先量四个数:利用率、上下文长度、并发、Checkpoint 时间。

一份改造前的基线
STEP 02

定位在哪一关

数据要过三道关:喂得进来吗?上下文留得住吗?卡在互相等吗。

瓶颈定位结论
STEP 03

改数据面

并行存储、分层缓存、KV Cache 复用、调度与并行调优 —— 四选几,不动计算面。

实施方案(分步)
STEP 04

复测对照

同样的四个数再量一遍,把改造前后的差摆在一起。结论你自己下。

前后对照表
03

什么情况下帮不了你

这一段比上面都重要。先说清边界,后面谈的数字才有意义。

卡本身不够

显存、算力不够是换卡的问题,不是数据面的问题,也不是记录能解决的问题。

模型没优化、代码没并行

这三样先排掉,否则改完数据面也提不上去,报告还会告诉你「卡没问题」。

机房条件差到接不住

电力、制冷、承重不够 —— 那是机房的事。我们能告诉你差在哪,但变不出电和空间。

想要「保证不掉卡」

没有人能保证。能做的是:掉的时候有记录、能定位、能和厂家对上账。

想让我们替换现有监控

不替换。只读接入、并行跑,多给一层能对账的证据,不是换一套系统。

担心数据被带走

不采模型、不采训练数据、不采文件名。采集范围接入前书面定死,报告归机房所有。

下一步只做一件事

我们要的不多:一个机柜,六周,一次复盘。试点期间不动你的生产,跑完你自己判断值不值。