DEVELOPER CENTER

开放未来,
由你构建。

从快速开始到性能调优,为开发者提供构建、移植和部署 AI 工作负载所需的一切。

DEVELOPER START

把模型带来。 把路径跑通。

从熟悉的 PyTorch、ONNX 与 Python 工作流出发,完成导入、编译、运行、分析和部署。每一步都有明确输入、输出与验证门槛。
01准备环境

安装 HOLYFLOW

在 Linux 开发环境中配置 Python、编译工具链与目标设备运行时。使用同一套项目结构连接模拟器、开发套件和生产系统。

02导入模型

从框架进入图编译

导入 PyTorch 导出图或 ONNX,固定输入形状、精度策略与动态维度,生成可重复的基线构建。

03验证结果

先正确,再加速

对齐参考框架输出,检查算子覆盖、数值误差与端到端延迟,再定位需要融合或自定义实现的热点。

04面向生产

打包并部署

把已验证构建交付到 SPARK、NOVA 或 AETHER,接入批处理、服务化、遥测与版本回滚机制。

HOLYFLOW / DEVELOPER PREVIEWMODEL → BUILD → RUN
# 1. 创建可复现的项目环境
python -m venv .venv && source .venv/bin/activate
pip install holyflow-preview

# 2. 编译 ONNX 模型并指定目标平台
holyflow compile model.onnx --target spark-s20 --precision bf16

# 3. 运行、校验并生成性能报告
holyflow run build/model.hfb --input sample.npy --verify
holyflow profile build/model.hfb --report profile.html

以上命令用于说明 HOLYFLOW Developer Preview 的目标工作流;正式软件包、支持矩阵和版本要求将随开发者预览发布。

CHOOSE YOUR PATH

按工作任务进入, 而不是按产品标签进入。

同一模型可能同时需要框架适配、内核优化、系统集成与生产运维。选择与你当前问题最接近的入口。
01 / MODEL

模型开发者

导入 PyTorch / ONNX 模型,处理动态图、输入形状、混合精度与量化,建立精度和性能基线。

  • 模型导出检查
  • 算子覆盖报告
  • 端到端精度验证
02 / KERNEL

算子与内核开发者

使用 HOLYFLOW NN 与 Kernel API 扩展算子,控制数据布局、片上存储、并行分块与融合策略。

  • 自定义算子模板
  • 数据移动与计算流水
  • 周期级性能分析
03 / SYSTEM

系统开发者

管理设备、队列、内存与多卡通信,把单模型执行扩展到服务、节点与集群。

  • Runtime C++ / Python API
  • 异步执行与流
  • 多卡与 Fabric 拓扑
04 / PRODUCTION

生产工程师

把构建产物接入在线推理或批处理,定义容量、可观测性、灰度发布与故障恢复策略。

  • 服务化与并发控制
  • 延迟、吞吐与能效指标
  • 版本固定与回滚

MODEL ONBOARDING

先建立兼容性证据, 再承诺生产指标。

模型名称只是起点。真正决定迁移工作的,是任务类型、参数规模、序列长度、输入分辨率、精度目标以及未覆盖算子。
参考工作负载任务首要验证项建议目标
Llama 3.1 8B / Qwen 8B 级文本生成KV Cache、长序列、首 Token 延迟NOVA / AETHER
Qwen2.5-VL 7B 级多模态理解视觉编码器、动态分辨率、跨模态算子NOVA
BGE Large 级Embedding / RAG批大小、向量精度、吞吐稳定性SPARK / NOVA
Whisper Large 级语音识别变长音频、解码循环、实时系数NOVA
Stable Diffusion 级图像生成UNet / DiT 覆盖、显存峰值、迭代延迟NOVA / AETHER
ResNet / ViT 级视觉推理预处理、批处理、INT8 / BF16 精度SPARK / NOVA

表中列出的是优先评估模板,不代表对应模型已经完成正式兼容认证。正式支持范围以未来发布的版本化兼容矩阵为准。

OPEN TOOLCHAIN

从框架图, 一直看到设备执行。

保留高层生产力,也为需要极致性能的团队开放编译、内核和运行时边界。
FRAMEWORKSPyTorch ExportONNXPython / C++
01

Graph Import

读取模型图、形状和常量,生成算子覆盖与降级路径报告。

02

HOLYFLOW Compiler

执行图优化、算子融合、布局选择、精度传播与目标相关编译。

03

NN & Kernel API

为未覆盖或性能敏感路径提供可组合算子与低层内核扩展接口。

04

Runtime

管理设备、内存、命令队列、事件、数据流以及多设备执行。

05

Profiler

关联模型图、算子、内核和时间线,定位等待、带宽与利用率瓶颈。

ONE SOFTWARE BASESPARK 边缘NOVA 数据中心AETHER 云端集群

VALIDATION TO PRODUCTION

让每次扩展, 都有证据可循。

不要从单次 Demo 直接跳到规模部署。沿着正确性、性能、稳定性和运维四道门槛推进。
GATE 01

正确性

固定数据集和框架基线;记录容差、失败样本、精度指标与可复现环境。

输出:验证报告
GATE 02

性能

测量预热、P50/P95 延迟、吞吐、内存峰值与能效;区分主机和设备时间。

输出:性能基线
GATE 03

稳定性

执行长稳、并发、热状态、异常输入和设备恢复测试,确认容量边界。

输出:上线门槛
GATE 04

可运营性

接入日志、指标、追踪、版本管理与回滚;明确故障域和升级窗口。

输出:运行手册

RESOURCE STATUS

知道现在能做什么, 也知道下一步等什么。

开发者资源采用版本化发布。预览内容用于联合验证,正式支持内容将给出明确的平台、软件与模型版本范围。
现在可用

架构与评估入口

平台架构、产品目标、工作负载需求模板与联合验证沟通入口。

提交工作负载 →
Developer Preview

SDK 与示例工程

HOLYFLOW 编译、运行时、参考模型、Profiler 与自定义算子样例。

分阶段开放
规划中

兼容矩阵与 Model Zoo

按模型、任务、精度、硬件和软件版本发布验证结果与已知限制。

版本化发布
规划中

文档、社区与贡献机制

API Reference、教程、问题跟踪、技术讨论和可复现性能提交规范。

开放生态路线

FAQ

开始之前, 先把边界说清楚。

现在可以下载 HOLYFLOW SDK 吗?+

公开下载尚未在本页面承诺。现阶段可通过联系页面提交非保密工作负载、现有基线和目标设备,进入 Developer Preview 联合验证流程。

迁移一个模型需要准备哪些信息?+

建议提供模型来源与版本、输入输出、代表性数据集、精度要求、并发与延迟目标、当前硬件基线,以及必须支持的部署环境。

如何判断需要自定义算子?+

先查看编译覆盖报告和 Profiler。只有在算子未覆盖、数值行为特殊,或热点无法通过图优化解决时,才进入 NN / Kernel 扩展路径。

如何从 SPARK 扩展到 NOVA 或 AETHER?+

保持模型工程、验证集和指标定义一致,重新选择目标、编译并通过对应的性能与稳定性门槛;规模扩展还需验证数据并行、模型并行和 Fabric 拓扑。

准备好开始了吗?

带上你的工作负载, 我们提供计算平台。

hello@holycores.com →