首字时延
衡量请求进入后，第一个 Token 到达用户所需的时间。
HOLYCORESLLM INFERENCE
让长上下文推理，
进入生产系统。
从首个 Token 到持续生成，从单节点验证到跨节点扩展，HOLYCORES 将计算、内存、互联与软件调度作为一个完整推理系统协同设计。
MEASURE THE EXPERIENCE
推理速度， 不只是一个峰值数字。
真正的服务体验由提示词处理、首字响应、持续生成、并发容量与稳定性共同决定。我们围绕真实模型、上下文、精度和服务等级建立可复现基线。
持续生成
观察 Decode 阶段相邻 Token 的间隔与交互流畅度。
吞吐与并发
在目标时延约束内，评估系统可稳定承载的请求规模。
单位服务成本
将能耗、容量、利用率和可用性纳入每次推理的系统成本。
首个 Token 时间减半，输出速度提升 4 倍。
面向长上下文推理与实时智能体工作负载，AETHER 与 HOLYFLOW 分别优化 Prefill 和 Decode：并行处理大规模输入，并围绕 KV Cache、片上存储与互联持续生成。
首个 Token 时间
并行展开输入计算，重叠数据放置与数据流，让长上下文请求更快进入生成阶段。
持续输出速度
协调片上存储、显存与跨节点数据流，在保持低时延的同时提升连续 Token 生成能力。
性能目标用于架构与验证规划；实际结果取决于模型、上下文长度、精度、批量、系统规模和软件版本，并以正式测试报告为准。
PREFILL + DECODE
为不同计算阶段， 安排正确的资源。
Prefill 需要快速处理大规模输入，Decode 则需要低延迟地反复访问权重与 KV Cache。HOLYFLOW Runtime 在统一服务层中协调两种阶段，并依据请求长度、并发和服务目标动态安排资源。
请求整形
按上下文长度、优先级与服务等级形成批次。
REQUEST并行 Prefill
拆分输入计算，在节点间建立可扩展提示词处理能力。
CONTEXT流水 Decode
协调片上存储、显存与互联，持续输出 Token。
GENERATE服务回传
流式返回结果，并将时延、吞吐和异常写入遥测。
OBSERVEHOLYFLOW SOFTWARE
让每一层优化， 回到端到端结果。
开放的软件路径连接模型框架、编译器、算子、运行时与生产服务；既支持快速导入，也允许开发者逐层下探。
连续批处理
随请求完成动态补充批次，提高利用率并控制排队时间。
KV Cache 管理
按会话生命周期分配、复用与回收缓存，减少内存碎片。
精度与量化
在目标质量下验证 BF16、FP8 与 INT8 等执行策略。
推测解码
在适用模型上以候选 Token 减少串行 Decode 等待。
性能剖析
定位算子、内存、互联和调度瓶颈，形成可追踪证据。
生产服务
提供版本、灰度、扩缩容、健康检查与可观测接口。
VALIDATION PATH
先用证据回答问题， 再决定如何扩展。
- 01
定义服务目标
确定模型、精度、上下文、TTFT、TPOT、吞吐与可用性边界。
- 02
建立单节点基线
用代表性数据复现质量、性能、显存占用和功耗结果。
- 03
验证扩展效率
逐步增加卡、节点和并发，观察通信与尾部时延变化。
- 04
进入持续运营
接入监控、容量规划、版本管理、故障恢复与成本分析。
FAQ
从真实模型开始。
哪些模型可以部署？+
模型支持需要结合架构、算子、精度与上下文配置验证。建议提交目标模型和服务指标，由双方建立明确的兼容性与性能基线。
应该优先优化 TTFT 还是吞吐？+
取决于业务。交互式助手通常更看重 TTFT 与 TPOT，批处理任务更关注吞吐和单位成本；生产方案应明确优先级和可接受边界。
能否从单卡验证后再扩展？+
可以。先在 NOVA 或 AETHER 单节点验证模型质量和性能，再依据并行策略与网络效率扩展到多节点系统。
BRING YOUR MODEL