HAMi 2.10 发布解读:Flexible MIG、AMD vGPU 与调度生态全面升级

近日,CNCF 孵化项目 HAMi 正式发布 v2.10.0。这个版本围绕三条主线展开:调度更灵活(动态 Flexible MIG、可组合调度策略链、成组调度)、加速器版图更广(AMD Instinct **MI 系列、壁仞、更完善的昇腾管理)、生态扩大**(KAI Scheduler + HAMi-core 集成、Volcano vNPU)。

本文梳理 v2.10.0 的重要特性,并给出可直接上手的配置示例。

亮点速览

调度更灵活:Flexible MIG 基于 NVML 按工作负载动态创建与回收 MIG 实例,无需排空节点;mutex 互斥策略与可组合策略链(如 mutex,binpack,numa)覆盖独占、紧凑与 NUMA 亲和的组合诉求;NUMA 排序缺陷修复让 binpack 与 spread 在多 NUMA 拓扑下符合预期。此外,PodGroup 成员绑定不再互相挤垮,init-container 资源记账对齐 Kubernetes 标准语义。

加速器版图扩张:AMD Instinct MI300X 获得软件 vGPU 支持,显存与算力双重隔离;壁仞加速器支持整卡与 SVI 分区两种模式;昇腾集群可在同一集群内混布 vNPU 硬切分与 HAMi-core 软切分节点,软切分资源新增容器级 Prometheus 监控。

生态集成:全新伴生项目 KAI Resource Isolator 把 HAMi-core 的运行时硬隔离能力接入 KAI Scheduler;Volcano 可直接调度昇腾软切分资源,让批量调度语义与容器级隔离协同工作。

工程改进:DRA 组件独立成 chart,主 chart 更精简;面向昇腾 NPU 的 Ascend-DRA 支持也即将推出,将随 HAMi-DRA chart 独立发布;编译链路迁移到 ubi8 镜像,同一份构建产物可运行在更多目标发行版上。

调度:更灵活、更可组合

Flexible MIG:彻底告别 mig-parted 的动态 MIG

这可能是 v2.10.0 调度侧最值得关注的变化,由 @FouoF 主导实现(HAMi #2378)。

NVIDIA MIG(Multi-Instance GPU)是 A100 及更新架构上的硬件级隔离方案,但它“怎么切”一直是个麻烦事:

方案切分依据感知工作负载主要问题
NVIDIA 原始 MIG manager节点维度预切分,依赖 mig-parted否换模板要重配节点,不感知负载,不支持 CDI
HAMi 旧版动态 MIG(v2.5.0+)第一个工作负载提交时触发,仍依赖 mig-parted部分切分由“第一个负载”决定:如果第一个负载只要 1g.5gb,整卡就按小模板切死,后续大规格任务无法运行
v2.10.0 Flexible MIG每个工作负载按需创建与回收,基于 NVML 原生 API是暂不支持 CDI,多设备 MIG 场景待进一步验证
新实现:用 NVML 完整接管 MIG 生命周期

新实现不再依赖 mig-parted,通过 NVML 直接控制 MIG 实例信息的获取、上报、创建和回收。调度器不仅决定“切多大”,还决定“切在哪里”(placement),MIG 实例的完整生命周期如下:

实现围绕一组 NVML 原生 API 展开:

  • 发现与放置规划:GetGpuInstanceProfileInfo(查询 Profile 的显存与 SM 能力)、GetGpuInstancePossiblePlacements(查询可放置位置)

  • 创建与回收:CreateGpuInstanceWithPlacement(在调度器指定位置创建 GI)、CreateComputeInstance;GetGpuInstanceById / GpuInstance.Destroy() 等负责查找与销毁

  • 状态恢复:GI/CI 状态通过 Pod 注解记录,GetGpuInstances 让 device-plugin 重启后寻找已有 GI、对账校验、清理空闲 GPU 上的残留实例

  • 安全护栏:Device.GetComputeRunningProcesses 检查设备上是否还有计算进程,避免重置有活跃负载的 GPU

另外,节点上报的 annotation 做了字段裁剪,避免超长注解。

配置示例

为 MIG 节点开启 mig 模式(hami-device-plugin 的 ConfigMap):

{
  "nodeconfig": [
    {
      "name": "MIG-NODE-A",
      "operatingmode": "mig",
      "filterdevices": { "uuid": [], "index": [] }
    }
  ]
}

可选:通过 knownMigGeometries 约束“这张卡允许被切成什么”:

nvidia:
  knownMigGeometries:
    - models: ["A100-SXM4-40GB", "A100-40GB-PCIe", "A100-PCIE-40GB"]
      allowedGeometries:
        - name: 1g.5gb
          memory: 5120
          count: 7
        - name: 3g.20gb
          memory: 20480
          count: 2
        - name: 7g.40gb
          memory: 40960
          count: 1

然后用与其他 HAMi 负载完全一致的 API 提交任务,不需要学新的资源名:

apiVersion: v1
kind: Pod
metadata:
  name: mig-pod
  annotations:
    nvidia.com/vgpu-mode: "mig" # 可选;不填则可在 MIG 节点与 hami-core 节点间通用调度
spec:
  containers:
    - name: cuda-container
      image: nvidia/cuda:12.4.1-base-ubuntu22.04
      command: ["bash", "-c", "sleep 86400"]
      resources:
        limits:
          nvidia.com/gpu: 2 # 2 个 MIG 实例
          nvidia.com/gpumem: 8000 # 每个实例至少 8GiB 显存
一次真实的调度实验

A100 上的一组实测(1g 模板可放任何位置,2g 模板仅允许 0、2、4 位置)可以直观感受“按需”行为:先提交的 1g 和 2g 任务正常创建并运行;此时再提交 3g 任务,因剩余可放置位置不足而 Pending;删除 1g 的 Pod 后,腾出的空间恰好容纳 3g,任务成功调度;随后重建 1g 也能在剩余空位上运行。

同样的规格,旧版在第三步会永久 Pending,整卡几何在第一个负载到达时就被锁死;新版通过动态创建与回收让集群自己消化负载变化,全程无需排空(drain)节点、无需 cordon。监控上,DCGM 风格指标会暴露 MIG UUID、Profile、实例 ID 和放置坐标。已知限制:CDI 模式暂不支持与 MIG 同时使用;多设备 MIG 场景待验证,建议先在自己的拓扑上测试。

mutex 互斥策略与可组合调度策略链

新的 mutex 策略(HAMi #2011,@mesutoezdil)让带该注解的 Pod 只与其他 **mutex Pod 互斥**,两个 mutex Pod 不会被调度到同一张 GPU 上;如果需要完全独占整卡,直接按整卡申请资源即可:

metadata:
  annotations:
    hami.io/gpu-scheduler-policy: "mutex"

hami.io/gpu-scheduler-policy 现在接受有序逗号分隔的策略链(HAMi #2621,关闭 #2010)。真实集群要的往往不是单一策略,而是“独占 + 紧凑 + NUMA 亲和”的组合:

# 先用 mutex 过滤出空闲 GPU,再按 binpack 排序,NUMA 作平级裁决
metadata:
  annotations:
    hami.io/gpu-scheduler-policy: "mutex,binpack,numa"

规则要点:binpack、spread、numa 是排序键,按书写顺序生效;mutex 和 NVIDIA 的 topology-aware 是过滤器,在排序前剔除候选;纯过滤器组合会回退为 spread;单个策略值的行为与旧版完全一致。

PodGroup 成组调度

v2.10.0 在 Kubernetes v1.35 及以上版本支持 PodGroup 成组调度能力。带有 scheduling.x-k8s.io/pod-group 标签的 Pod 会作为一组统一调度和绑定,适合分布式训练等“全有或全无”负载。

init-container 资源记账修正

用 init 容器下载权重/准备数据的 Pod 此前被过量计数:调度器把所有容器的请求加总,等于假设 init 容器与应用容器并行运行。v2.10.0 对齐 Kubernetes 标准语义,有效请求变为 max(Σ app containers, max(init containers))(HAMi #1773,@maishivamhoo123),消除了“节点明明够却报满”的误判:

initContainers:
  - name: download-weights
    resources:
      limits:
        nvidia.com/gpu: 1
        nvidia.com/gpumem: 8000
containers:
  - name: inference
    resources:
      limits:
        nvidia.com/gpu: 1
        nvidia.com/gpumem: 16000
# 有效请求 = max(16000, 8000) = 16000 MiB,旧版本会误算成 24000 MiB

加速器版图:AMD、壁仞加入,昇腾走向异构

AMD Instinct MI300X:AMD 也有软 vGPU 了

AMD Instinct 系列此前在 Kubernetes 里基本只能整卡分配。v2.10.0 中,@FouoF 与 @kenji-mido 合作带来了软件 vGPU 支持(HAMi #2290),并在 MI300X + ROCm 7.0.2 上完成验证。

实现不依赖硬件 SR-IOV:由 amd-device-plugin(0.0.1)通过 postStart hook 在节点上安装 libamvgpu.so,经 glibc LD_AUDIT 注入工作负载,再通过 HIP_DEVICE_MEMORY_LIMIT 施加硬限制,显存和算力都做到“分多少、用多少”:

资源请求方式与 NVIDIA 侧保持一致的体验:

维度资源名语义
显存隔离amd.com/gpumem(MiB)单卡硬限制,用量不会超过分配值
算力隔离amd.com/gpucores(0-100,CU%)限制计算单元百分比(如 25 约等于 304 CU 设备上的 76 CU)
设备数量amd.com/gpuGPU 个数
resources:
  limits:
    amd.com/gpu: "1" # 1 块 GPU
    amd.com/gpumem: "49152" # 48 GiB 显存
    amd.com/gpucores: "30" # 30% 计算单元

部署方式:先确认 HAMi scheduler 管理三个 AMD 资源名,再安装专用插件(不要与上游 ROCm k8s-device-plugin 混用;如果用 AMD GPU Operator 管驱动,需先关闭其内置 device-plugin):

helm upgrade --install amd-gpu \
  https://github.com/Project-HAMi/amd-device-plugin/releases/download/amd-gpu-helm-0.0.1/amd-gpu-0.0.1.tgz \
  --namespace kube-system \
  --create-namespace

使用限制:工作负载镜像必须是 glibc 基础且 GLIBC 2.34 及以上(较新的 rocm/pytorch 标签即可),Alpine/musl、Ubuntu 20.04、RHEL 8 暂不支持;RDNA/WGP 架构设备暂不支持;单 Pod 多 GPU 场景因缺少硬件尚未验证。

壁仞设备支持

v2.10.0 新增壁仞(Biren)加速器管理支持(HAMi #1711,@DSFans2014,验证型号 Biren166M),提供整卡和 SVI 固定 2/4 分区两种模式,节点打标后即可使用;注意 Biren 不按显存/算力细分,Pod 拿到的是整卡或一个 SVI 分区:

kubectl label node <node-name> biren=on
resources:
  limits:
    birentech.com/gpu: "1"

至此,HAMi 覆盖的加速器已包括 NVIDIA、AMD、华为昇腾、寒武纪、海光、壁仞、燧原、沐曦、摩尔线程、昆仑芯、天数智芯、AWS Neuron 和瀚博半导体等。

昇腾异构模式:vNPU 与 HAMi-core 同集群共存

v2.9.0 的 HAMi-core 模式要求 Pod 显式声明,运维得维护两套负载清单。v2.10.0 让昇腾负载对模式无感:不带 huawei.com/vnpu-mode 注解的 Pod 落到模板节点就走 vNPU 硬切分,落到 hami-core 节点就走软切分(HAMi #2035、ascend-device-plugin #106,@ouyangluwei163);带显式注解的 Pod 仍固定模式,只有节点确实不支持 hami-core 时才会拒绝:

# 显式指定软切分(可选)
metadata:
  annotations:
    huawei.com/vnpu-mode: "hami-core"
spec:
  containers:
    - name: npu-container
      resources:
        limits:
          huawei.com/Ascend910B3: "1"
          huawei.com/Ascend910B3-memory: "28672"
          huawei.com/Ascend910B3-core: "40" # 40% 算力核

昇腾 vNPU HAMi-core:从“可分配”到“可观测”

HAMi v2.9.0 引入了昇腾软切分(hami-core 模式),但软切分的资源长期“看得见分配、看不见使用”。v2.10.0 中,@maverick123123 为 vNPU HAMi-core 模式内置了 Prometheus 指标服务(ascend-device-plugin #93),把软切分资源变成可观测、可运维的对象:

  • 内置 metrics server(端口 9395):仅在 hami-vnpu-core 模式启用时启动,无额外部署成本。

  • 容器级 AICore 利用率:hami_container_device_utilization_ratio 按设备 UUID 正确映射,不再回退到第一块设备。

  • 设备级显存:hami_host_gpu_memory_used_bytes 从容器级用量聚合而来,共享场景下数值更准。

  • 进程级 HBM 追踪:通过 DCMI 采集,支持多卡张量并行(如 vLLM TP=2)推理的按容器共享内存核算(ascend-device-plugin #87、hami-vnpu-core #10)。

# 每个容器的 AICore 利用率
hami_container_device_utilization_ratio

# 每块 vNPU 的已用显存(按容器聚合)
hami_host_gpu_memory_used_bytes

监控栈可以用 ascend-device-plugin 的 Helm chart 直接部署(#108),接入现有 Prometheus + Grafana 即可出图。

生态集成:KAI Scheduler 与 Volcano

KAI Scheduler + HAMi-core:KAI Resource Isolator

NVIDIA 开源的 KAI Scheduler 在 GPU 共享调度上很强,但调度器只能保证“请求之和不超过一张卡”,无法在运行时物理阻止超用。v2.10.0 发布了由 @archlitchi 开发的伴生项目 KAI Resource Isolator(v1.1.0,监控部分由 @dttung2905 贡献),把 HAMi-core 的运行时隔离能力接入 KAI 体系,让 KAI 的共享 GPU 从“协作式”升级为“硬隔离”。

职责划分非常干净:KAI Scheduler 决定“谁分多少”,Isolator 保证“分到多少就只能用多少”。

安装两步(要求 KAI Scheduler v0.17.0 及以上):

# 1. 安装 KAI Scheduler,开启 GPU 共享与 hamicore 插件
helm install kai-scheduler oci://ghcr.io/nvidia/kai-scheduler \
  --version v0.17.0 \
  --set global.gpuSharing=true \
  --set binder.plugins.hamicore.enabled=true \
  --namespace kai-scheduler --create-namespace

# 2. 安装节点侧隔离器(chart 版本带 -chart 后缀)
helm install kai-resource-isolator oci://docker.io/projecthami/kai-resource-isolator \
  --namespace kai-resource-isolator --create-namespace \
  --version 1.1.0-chart

之后,任何被 KAI 调度、带 gpu-memory 注解的 Pod 都会自动获得显存硬隔离:

apiVersion: v1
kind: Pod
metadata:
  name: gpu-sharing-with-isolation
  labels:
    kai.scheduler/queue: default-queue
  annotations:
    gpu-memory: "4096" # 单位 MiB
spec:
  schedulerName: kai-scheduler
  containers:
    - name: gpu-workload
      image: nvidia/cuda:12.9.2-base-ubuntu24.04
      command: ["sleep", "infinity"]

验证方式很直接:进容器执行 nvidia-smi,看到的显存是分配额度而非整卡显存,且无法超额分配:

kubectl exec -it gpu-sharing-with-isolation -- nvidia-smi

需要说明的是,这套架构已经落地、隔离器已发布,但两个加固 PR 还在推进中:基于 fraction 的显存强制(KAI-resource-isolator #6)和非 root 容器目录权限(#22)。生产上硬隔离场景建议先验证内存限制确实生效。更多背景可以阅读此前的深度解析:KAI Scheduler + HAMi 的 GPU 显存硬隔离。

Volcano vNPU:批量调度器也能调度昇腾软切分

Volcano 是很多 AI 集群的批量调度器首选。v2.10.0 的集成没有重新发明软切分,而是把“分配者”从 HAMi Scheduler 换成 Volcano,下面两层原样复用:

层次HAMi 2.9 路径Volcano 集成路径
调度器HAMi SchedulerVolcano Scheduler
设备发现/挂载ascend-device-plugin同一个 ascend-device-plugin
软切分执行hami-vnpu-core(libvnpu.so)同一个 hami-vnpu-core
队列、Gang、binpack非重点Volcano 提供

注意 Volcano 调度昇腾 vNPU 有两种模式:Volcano 原生昇腾插件的 MindCluster 模式(AscendMindClusterVNPUEnable,走驱动模板硬切分)和基于 ascend-device-plugin 的 HAMi 模式(AscendHAMiVNPUEnable,支持 hami-core 软切分)。v2.10.0 补全的是后者中的软切分路径,也是两种模式里唯一在运行时强制显存/算力上限的一种:

配置示例

Volcano 侧,在 volcano-scheduler-configmap 中为 deviceshare 插件打开 HAMi 模式:

AscendHAMiVNPUEnable: "true" # 启用 HAMi 模式昇腾 vNPU
SchedulePolicy: binpack # 多个切片尽量装箱到同一张物理卡
KnownGeometriesCMName: hami-scheduler-device # vNPU 规格来源

节点侧以软切分模式部署 ascend-device-plugin(hamiVnpuCore: true)。Pod 侧的契约很简洁:schedulerName: volcano、runtimeClassName: ascend、huawei.com/vnpu-mode: hami-core 注解,加两个扩展资源:

apiVersion: v1
kind: Pod
metadata:
  name: ascend-vnpu-check
  annotations:
    huawei.com/vnpu-mode: "hami-core" # 缺少该注解会退回模板路径,纯软切分节点上可能一直 Pending
spec:
  schedulerName: volcano
  runtimeClassName: ascend
  containers:
    - name: npu
      image: ascendhub.huawei.com/public-ascendhub/ascend-mindspore:23.0.RC3-centos7
      command: ["bash", "-c", "sleep 86400"]
      resources:
        limits:
          huawei.com/Ascend310P: "1"
          huawei.com/Ascend310P-memory: "8192" # 8 GiB 切片
真机验证结果

社区在一台昇腾 310P3(aarch64、npu-smi 25.5.1、Kubernetes 1.28)单节点集群上验证了完整链路;该路径支持 910A/910B2/910B3/310P 等异构昇腾集群:

  • 切片隔离生效:申请 8192 MiB 的容器内 npu-smi info 显示 0 / 8192 MB,而宿主机同一张卡是 1848 / 21525 MB,libvnpu.so 把设备查询改写成了容器配额

  • binpack 共卡:第二个同规格 Pod 落到同一张物理卡(相同 Bus-Id),各自拥有独立的 8192 MiB 窗口;节点已分配 2 个 vNPU、16384 MiB

  • 监控如实上报:插件在 :9395 端点为每个 Pod 导出 hami_vgpu_memory_limit_bytes,数值恰好等于 8192 MiB(约 8.59e9 字节)

注意事项
  • 版本:Volcano 1.14 及以上即可使用 HAMi 模式,软切分要求 1.16+ 且仅支持 ARM

  • libvnpu.so 必须与 NPU 驱动匹配:不匹配不会报错,容器内 npu-smi 会一直卡在初始化

  • 指标在插件 Pod 上::9395 端点由 DaemonSet 提供,业务 Pod 内访问无效

  • 隔离定性:软切分是运行时 API 层拦截,不是 SR-IOV 式硬件边界

完整原理与每条命令的真实输出见社区博客《用 Volcano + HAMi-core 软切分昇腾 vNPU:原理与真机验证》和 ascend-device-plugin Volcano 指南。

工程与构建改进

这类改动不显眼,但直接决定上生产是否省心:

DRA 独立 chart(HAMi #2038,@archlitchi):DRA(动态资源分配)组件从 HAMi 主 chart 中拆出,迁入独立的 HAMi-dra 仓库。不用 DRA 的集群不再拉取相关组件,主 chart 更干净,DRA 演进也不再受主版本节奏约束。

握手注解优化(HAMi #2052,@archlitchi):节点清理时彻底移除握手注解的 key,不再写入带时间戳的 Deleted_* 标记,节点健康与重置上报保持一致。

ubi8 编译镜像(HAMi #1958,@spencercjh):HAMi 与 HAMi-core 的构建阶段迁移到 nvidia/cuda:13.3.0-cudnn-devel-ubi8,拓宽了产物的 GLIBC 兼容面,让同一份构建产物能跑在更多目标发行版上。这对 HAMi-core 这种以 .so 形态注入用户进程的组件尤其重要。

mock-device-plugin NPU 模板(mock-device-plugin #18,@Wangmin362):mock 插件同时支持新版嵌套与旧版扁平 vnpus 配置格式,并注册昇腾 AI-core 与海光 DCU 核心资源,无硬件环境也能测试 NPU vNPU 调度。

贡献者

v2.10.0 由 HAMi 主仓库及 Project-HAMi 组织下的多个仓库(ascend-device-plugin、KAI-resource-isolator、mock-device-plugin、hami-vnpu-core、amd-device-plugin)的社区成员共同完成。本版本的特性负责人包括:

其中 @archlitchi(发版协调与 KAI 集成)、@FouoF(Flexible MIG 与 AMD 支持)、@maverick123123(昇腾监控)、@spencercjh(构建链路)来自密瓜智能团队。感谢每一位贡献者,也感谢所有提交 issue、测试 RC、分享生产反馈的用户。完整贡献者名单见 v2.10.0 Release Notes。

升级指南

helm repo add hami-charts https://project-hami.github.io/HAMi/
helm repo update
helm upgrade hami hami-charts/hami -n kube-system
用户类型升级注意事项
DRA 用户DRA 不再随主 chart 安装,请改用 HAMi-dra chart
AMD 用户部署专用 amd-device-plugin,确认镜像满足 GLIBC 2.34+
昇腾用户vNPU 监控需启用 hami-core 模式;Volcano 软切分核对版本(1.16+,仅 ARM)
所有用户建议先在测试环境验证兼容性

社区动态:自 v2.9.0 以来

v2.9.0(2026 年 5 月)发布以来的三个多月,是 HAMi 社区非常活跃的一段时期:项目里程碑、生态合作、用户案例与社区活动密集落地:

重大里程碑

  • 进入 CNCF Incubating(7 月):HAMi 从 CNCF Sandbox 毕业进入孵化阶段,成为云原生异构计算版图的重要一环。阅读公告

  • HAMi-core 被 KAI Scheduler 采纳(6 月):KAI Scheduler 内置 HAMi-core 实现 GPU 显存硬隔离,GPU 共享进入硬隔离时代,本文介绍的 KAI Resource Isolator 正是这条合作线的延伸。阅读公告

用户案例

  • 招商银行(7 月):基于 Kubernetes 与 HAMi 构建统一的异构 AI 算力调度平台,实现拓扑感知调度与加速器细粒度共享;通过超节点模块感知的成对分配,硬件资源池利用率达到 100%,分布式训练跨机调度下降 30%,细粒度切分最小至单卡 1 GB 显存、1% 算力。查看案例

  • SNOW(5 月):通过 HAMi GPU 共享与 KEDA 自动伸缩,编排 1000+ A100 GPU 为全球 2 亿多用户提供 GenAI 服务;训练与推理流水线所需 GPU 减少一半,从容应对 700% 流量洪峰,相比等量按需云 GPU 预估节省 1740 万美元,MTTR 从约 2 小时缩短至约 10 分钟。查看案例

社区活动

  • KubeCon + CloudNativeCon India 2026(6 月):HAMi 亮相印度站,把 GPU 共享带给当地社区。活动回顾

  • KCD Vietnam 2026(7 月,河内):分享《从项目到生产:HAMi 与 Viettel Cloud》,覆盖 GPU 共享机制与 Viettel Cloud 的电信级生产部署实践。活动详情

  • vLLM Meetup 上海站(7 月):李孟轩(密瓜智能联合创始人兼 CTO、HAMi Maintainer)带来《你的算力用的好么?——vLLM 推理集群优化的三个阶段》。活动回顾

  • KubeCon + CloudNativeCon Japan 2026(7 月底,横滨):HAMi 设展位并带来演讲《共享 GPU 调度与主动自动伸缩》,SNOW 也在现场分享了基于 HAMi 的落地经验。活动回顾

  • COSCUP 2026(8 月,台北):演讲《用 HAMi 在一块 GPU 上运行多个 AI 工作负载:架构与注意事项》,介绍无需改动应用代码的 CUDA 接管、显存隔离,以及 GPU 成本降低 40-60% 的生产用例。活动详情

  • Open Source Summit Korea 2026(8 月,首尔):演讲《使用 HAMi 简化边缘计算中的 AI》,分享 Jetson 级设备上的显存切片与多智能体并发运行等边缘 AI 实践。活动详情

人才计划

  • LFX Mentorship 2026 Term 3(8 月开放申请):四个 GPU 共享方向的开源课题面向全球开发者开放。申请指南

社区活动预告:HAMi Meetup 上海站

「不卷算力,卷效率|HAMi Meetup 上海站 · Incubating 特别活动」 将于 9 月初举行,这是 HAMi 进入 CNCF Incubating 后的首次社区聚会:

项目内容
时间2026 年 9 月 5 日 14:00-21:20(13:30 开始签到)
地点上海 · 五角场(五角场创新创业学院)
主办密瓜智能(Dynamia)、HAMi 社区
协办上海五角场创新创业学院

活动分下午与晚间两场:下午场是 5 场技术演讲 + 社区圆桌,晚间场以 HAMi 进入 CNCF Incubating 为里程碑,安排贡献者故事(My HAMi Story)、社区致谢与自由交流。

结语

v2.10.0 是一个围绕“调度灵活性、加速器广度、生态深度”的版本:Flexible MIG 让 MIG 真正按需伸缩,可组合策略链和成组调度补齐了真实集群的调度诉求,AMD 与壁仞扩大了加速器版图,昇腾的异构管理与可观测性走向成熟,KAI Scheduler 集成则让 HAMi-core 的隔离能力进入更广的调度生态。

后续 Flexible MIG 的多设备验证、KAI 隔离器的 fraction 显存强制等工作仍在推进。Ascend-DRA 支持也已在路上,将在近期随 HAMi-DRA chart 正式发布,敬请期待。如果你在 GPU 虚拟化、异构调度方向有想法,欢迎参与 HAMi 社区。

相关链接:

密瓜智能(Dynamia)由 CNCF 项目 HAMi 的发起与核心维护团队创立,致力于构建AI 基础设施的开源内核,通过面向开源协作构建异构算力的底层调度与虚拟化能力,让 GPU 与各类 AI 芯片资源在云原生环境中更易用、更高效、更可治理。公司围绕异构 GPU 资源虚拟化、高效调度与生产级落地,帮助企业将分散、复杂、昂贵的算力资源转化为可共享、可隔离、可按需使用的基础设施能力。

HAMi 是目前行业内唯一专注于异构 GPU 资源虚拟化、高效调度的开源项目,通过灵活、可靠、按需、弹性的 GPU 虚拟化来提升资源利用率,可以插拔式、轻量化、无侵入地部署在任意公有云、私有云、混合云环境中。在生态兼容层面,HAMi 已全面支持 NVIDIA、AMD、昇腾、平头哥、沐曦、寒武纪、海光、摩尔线程、天数智芯、昆仑芯、燧原、壁仞科技、AWS、瀚博半导体等国内外主流 GPU 芯片。同时无缝支持 Volcano, Koordinator, Kueue, Kai Scheduler 等上下游主流开源调度项目,逐步形成稳定的异构算力生态。目前,HAMi 已集结来自 40 多个国家的 500 余位贡献者,社区活跃度持续提升,最终用户已超过 300 家企业,覆盖国内主流云厂商、互联网企业以及 KA 用户,包括招行、银联、顺丰、蔚来、LinkedIn 等,并已拓展至东南亚、欧洲等海外地区,行业影响力十分广泛。

官网:dynamia.ai

邮箱:info@dynamia.ai

HAMi 项目地址:https://github.com/project-hami/hami

原文地址:HAMi v2.10.0 发布:Flexible MIG、可组合调度策略与更广阔的加速器生态

相关推荐

活动回顾|如何用好每一张 GPU?密瓜智能在 ContainerDays Singapore 分享实践

10 月 27 日,ContainerDays & AI Context Singapore 2026 在新加坡新达城会展中心(Suntec Singapore)开幕。大会聚焦云原生、AI 基础设施与平台工程等技术方向,吸引来来自全球的开发者和行业实践者参与交流。本次大会,参与技术分享,带来两场围绕 HAMi 的专题演讲,分别聚焦 Kubernetes 中的 GPU 共享与调度实践,以及 Neocloud 场景下的 GPU 利用率优化。

guaguaRethink的博客 350

GPU 性能如何变成推理服务能力?从天数智芯实践看平台分工

GPU 的计算性能不错,用户却仍在等待首个 Token,或在生成过程中感到卡顿。企业部署大模型时,这类问题不一定出在芯片本身。资源放在哪里、请求如何路由、缓存如何传输、新副本何时真正可用,都可能影响最终体验。天数智芯 Infra 研发总监叶成林在 HAMi Meetup 上海站分享的《天数智芯 GPU 上的高性能推理部署实践》,展示了执行优化、拓扑调度与推理编排之间的分工,也介绍了小模型场景使用 HAMi 共享 GPU 的路径。

guaguaRethink的博客 171

从 GPU 资源池化到 Token 生产:一图看懂密瓜智能 Dynamia 企业级 AI 基础设施解决方案

围绕资源池化与异构算力协同,将分散、独占、规格固定的 GPU 资源转化为可共享、可调配、可弹性使用的算力供给,支撑上层 MaaS 平台持续生成 Token,优化模型服务的资源效率与供给成本。在完整包含企业版能力的基础上,整合模型部署、推理服务、运行观测与资源运营,为生命科学、材料创新及企业智能应用提供从算力到模型服务的一体化支撑,让组织以轻量化方式建设自己的行业 AI 工厂。从资源池化与异构算力,到模型部署与推理运营,密瓜智能持续连接底层算力与上层 AI 应用,让算力投入成为持续创造价值的智能服务。

guaguaRethink的博客 130

8 张国产 GPU,电科云如何用 HAMi 承载 30 个开发环境?

让知识库与研发共用本地算力。

guaguaRethink的博客 359

GPU 利用率提升超 3 倍,深信服如何用 HAMi 让算力承载更多业务?

从整卡独占走向按需分配。

guaguaRethink的博客 143

活动预告|从零实现 GPU 共享,密瓜智能亮相 ContainerDays Singapore 2026

10 月 27 日,现场与密瓜智能团队面对面!

guaguaRethink的博客 201

从 GPU 共享到算力治理:密瓜智能在 KubeCon China 2026 的实践

GPU 共享进入企业生产,首先要回答三个问题:既有算力能增加多少业务承载,资源配置能否适应负载变化,以及共享能力如何融入现有平台。成本、服务性能与运行稳定性,共同决定这项技术的实际价值。2026 年 9 月 7—9 日,KubeCon + CloudNativeCon + OpenInfra Summit + PyTorch Conference China 2026 在上海举行。

guaguaRethink的博客 379

HAMi 晋升 CNCF Incubating:密瓜智能站上 AI 算力效率的关键赛道

2026 年 7 月 2 日,由密瓜智能(Dynamia)发起并长期主导推动的开源项目 HAMi 正式晋升为 CNCF Incubating 项目。作为目前行业内唯一专注于异构 GPU 资源虚拟化与高效调度,并进入 CNCF Incubating 阶段的开源项目,HAMi 的这一里程碑,释放出一个清晰信号:AI 基础设施的竞争,正在从“谁拥有更多算力”,走向“谁能更高效地管理算力”。过去两年,企业对 AI 的投入不断增加,GPU 成为最昂贵、也最紧缺的生产资源之一。

guaguaRethink的博客 174

WAIC 2026|当国产算力走向超节点,密瓜智能在现场看到了什么?

从多元芯片到超节点、Token Factory,算力产业的关注点正从“有卡可用”转向“如何用好”。

guaguaRethink的博客 73

活动回顾|推理走向生产,算力如何真正用好?——vLLM Meetup 上海站圆满落幕

推理走向生产,算力如何真正用好?

guaguaRethink的博客 277

渝见开源,数智启新|密瓜智能参赛项目获评青年开源专项基金种子计划首批重点项目

8月16日,2026 CCF中国开源大会在重庆圆满落幕。大会以“渝见开源,数智启新”为主题,汇聚学术界、产业界及开源社区代表,共同探讨开源芯片、工业软件、开源大模型、AI Agent、算力协同与供应链安全等前沿议题。同日,CCF&光华基金会青年开源专项基金“种子计划”正式发布首批入选名单。该计划面向全国遴选80个优秀青年开源项目,并提供分级支持。密瓜智能以开源项目HAMi参与申报,项目所属方向为算力基础设施。最终,HAMi入选首批支持项目名单,并获评重点级项目。

guaguaRethink的博客 211

「Dynamia 密瓜智能」主导 HAMi-core 接入 KAI Scheduler,补齐 GPU 共享生产级硬隔离

当 AI 工作负载进入生产系统,GPU 共享的核心问题已经不只是"能不能分",而是"分出去之后能不能守住边界"。HAMi-core 接入 KAI Scheduler,把调度、共享和运行时隔离放进同一条生产链路中,也释放出一个更清晰的行业信号:AI 基础设施的竞争,正在从单点资源效率,走向面向多租户、多任务和异构算力的系统化治理能力。HAMi 是 CNCF 托管的开源项目与社区,核心方向是 GPU 虚拟化与异构算力调度,面向 AI 场景提升算力利用效率;

guaguaRethink的博客 253

HAMi 即将亮相 KubeCon India 2026:从阿姆斯特丹到孟买,GPU 共享的全球化推进

三个月前,——从 Maintainer Summit、Lightning Talk、Project Pavilion,到最后登上主论坛 Keynote Demo,HAMi 作为第一个中国原创开源项目站上了 KubeCon 的主舞台。现在,这股势头正在延续。即将亮相,6 月 18–19 日,孟买。

guaguaRethink的博客 190

千卡集群升级后 Hami vGPU 调度失败解决方案

本文来自 HAMi 社区开发者范会杨的投稿,详细记录了一个 200 节点 GPU 集群从 Volcano 1.7 升级到 Volcano 1.12 + hami-dp 后,vGPU 调度延迟从秒级恶化到十几分钟的排查与解决全过程。

guaguaRethink的博客 343

MIG、Time-slicing 还是HAMi?密瓜智能CEO张潇本周六亮相JuiceFS Meetup,聊聊GPU共享的生产取舍

title: MIG、Time-slicing 还是HAMi?密瓜智能CEO张潇本周六亮相JuiceFS Meetup,聊聊GPU共享的生产取舍📢 本周六(5月30日),密瓜智能创始人兼CEO受邀出席,带来分享《AI 推理平台的资源效率优化:GPU共享、异构调度与生产取舍》。

guaguaRethink的博客 239

GPU算力浪费超70%?密瓜智能CTO携DRA方案亮相MPD 2026上海站

李孟轩 | 密瓜智能 联合创始人兼CTO清华大学计算机系硕士专注于云原生及异构算力领域CNCF毕业项目 Volcano ApproverCNCF Sandbox 项目HAMi 作者发表4篇云原生算力相关专利与信通院合作撰写《云原生AI技术架构白皮书》

guaguaRethink的博客 378

HAMi 正式接入 Kubernetes DRA:下一代 GPU 资源模型实践指南

HAMi(异构 AI 计算虚拟化中间件)是一个用于管理 Kubernetes 集群中异构 AI 计算设备的开源平台。前身为 k8s-vGPU-scheduler,HAMi 可在多个容器和工作负载之间实现设备共享。HAMi 是云原生计算基金会(CNCF)的 Sandbox 项目,并被收录于 CNCF 技术全景图和 CNAI 技术全景图。

guaguaRethink的博客 494

告别 GPU 独占时代:用 HAMi 实现训练推理一体化——博维智慧 GPU 虚拟化实战

科研实验室的 GPU 一直是个老大难问题。博维智慧科技用三年时间,从虚拟机独占一路演进到 Kubernetes + HAMi 的云原生方案,最终在 12 张卡的集群上实现了 Agent RL 训练与推理的物理隔离。本文为 HAMi 社区 Meetup 深圳站回顾系列第七篇。

guaguaRethink的博客 463

火遍全网的吉卜力滤镜背后:SNOW 如何基于 HAMi 和 KEDA 调度 1000+ 张 GPU

CNCF 案例研究:韩国 NAVER 旗下子公司 SNOW Corp. 如何利用 HAMi 实现 GPU 共享、KEDA 实现主动自动伸缩,应对 700% 病毒式流量峰值——实现 MTTR 缩短 91%、峰值流量错误减少 85%、预估节省成本 1,740 万美元。

guaguaRethink的博客 359

2000 人研发团队月省 20 万算力费:深信服 AI 算力网关与 vGPU 生产级调度实录

深信服云 AI 总架构师贾毫杰分享企业级 AI 算力治理的完整实践——从 Agent 时代的算力挑战出发,深入解析 AI 算力网关的智能路由与安全护栏,再到基于 Volcano + HAMi 的 vGPU 生产级调度方案。

guaguaRethink的博客 174

蔚来基于HAMi提升自动驱动工作负载GPU利用率

蔚来采用HAMi、NVIDIA MIG与时间分片相结合的混合GPU共享策略,全面提升CI、仿真和推理工作负载的GPU利用率——实际利用率提升4倍、GPU机时降低30%。

guaguaRethink的博客 357

直播回顾 | HAMi 2.9 昇腾软切分与 DRA 实战详解,附完整 QA

本次分享会李孟轩详细解析了 HAMi 2.9 版本的核心特性,重点演示了华为昇腾 Ascend NPU 软切分方案及 HAMi DRA 架构,并针对异构算力调度、监控及国产卡适配等热点问题进行了深度答疑。直播全程结合 Live Demo,让观众直观感受各项新能力的实际效果。让 Kubernetes 能更好地管理 AI 算力资源。无论是 GPU 共享、异构调度,还是 DRA 这样的 Kubernetes 原生资源模型,HAMi 都在持续推进这些方向。

guaguaRethink的博客 470

国产 GPU 如何丝滑融入 K8s?燧原科技的全栈云原生实践

燧原科技马达深度拆解国产 GPU 在 Kubernetes 生态中的云原生集成方案——从 GPU Operator 全生命周期管理、CDI 标准设备注入,到基于 CNCF 四层栈的 Inference Gateway 推理网关架构,覆盖设备发现、资源调度、容器接入、可观测性和推理优化的完整链路。

guaguaRethink的博客 663

HAMi 社区 Meetup 深圳站回顾:七位专家共话 AI 算力云原生未来

4 月 25 日,HAMi 社区在深圳成功举办第三场线下 Meetup。来自 CNCF、顺丰科技、招商银行、燧原科技、深信服、博维智慧科技及密瓜智能的七位技术专家,围绕 AI 基础设施云原生演进、GPU 算力池化、异构调度、DRA 技术展望等前沿话题展开深度分享。

guaguaRethink的博客 525

活动报名|不卷算力卷效率|HAMi Meetup 深圳站

继圆满落地后,由密瓜智能主办的围绕「不卷算力卷效率」这一核心主题,HAMi Meetup 迎来第三站——深圳。深圳,作为国内最具活力的产业与技术创新高地之一,汇聚了云计算、AI、智能制造与金融科技等多元产业生态。在算力需求持续增长与异构架构快速演进的背景下,如何提升算力利用效率、实现资源的精细化管理与调度,正成为企业 AI 基础设施建设的关键议题。

guaguaRethink的博客 453

从 Device Plugin 到 DRA:GPU 调度范式升级与 HAMi-DRA 实践

如何把一个 " 正确但难用 " 的模型,变成一个今天就能用的系统?不改变用户习惯——继续使用 Device Plugin 语法吸收 DRA 能力——底层自动转换为 DRA 资源模型内部消化复杂性——Webhook、Driver、生命周期管理全部由系统处理通过社区协作推动 AI 基础设施进步,而不是封闭系统。来自不同公司的贡献者在真实生产环境中验证方案,通过社区共享经验,让更多人受益。

guaguaRethink的博客 531

密瓜智能将携 HAMi 社区亮相 KubeCon Europe 2026:重塑 Kubernetes 上的 GPU 使用方式

Kubernetes 正在从一个容器编排平台,逐步演变为 AI 基础设施的控制面,而 GPU 也正在成为这一体系中的核心资源。在这一过程中,如何实现 GPU 的共享、虚拟化与高效调度,将直接影响 AI 系统的成本与效率。如果你也在思考这些问题,欢迎在 KubeCon Europe 2026 期间到现场交流。「Dynamia 密瓜智能」将在现场代表 HAMi 社区与大家见面。HAMi 是 CNCF 托管的开源项目与社区,核心方向是 GPU 虚拟化与异构算力调度,面向 AI 场景提升算力利用效率;

guaguaRethink的博客 445

HAMi 官网与文档全面重构:不只是改版,而是一次系统升级

这轮 HAMi 文档与官网的重构,本质上是在补社区"表达层"的基础设施。它一方面提升了页面视觉和阅读体验,另一方面也重新梳理了内容组织、首页叙事、搜索路径、移动端访问和社区信号展示方式。首页重新设计、架构图重绘、博客样式统一、移动端优化、Footer 增强,以及从外部搜索回归内建搜索,这些改动合在一起,才构成了这次真正意义上的"重构"。对外,它让更多人更快理解 HAMi;对内,它也让社区后续继续沉淀案例、扩展生态、服务采用者与贡献者有了更稳固的载体。

guaguaRethink的博客 709

贝壳:基于 GPU 虚拟化扩展机器学习基础设施

Kubernetes 因其卓越的稳定性和强大的集群调度与管理能力而被选中,显著降低了大规模集群的运营复杂性和维护开销。随着模型采用率和请求量在整个组织中的增长,GPU 效率和工作负载隔离成为平台的关键要求。这种架构分离确保训练作业获得专用、可预测的资源,而推理服务通过内存共享实现高密度,消除了不同工作负载类型之间的资源争用,并最大化了整体基础设施效率。最初,由于多云环境的复杂性和多样化的工作负载需求,整体 GPU 利用率仅为 13%,这促使基础设施团队寻求提高集群资源利用率的解决方案。

guaguaRethink的博客 457

密瓜智能 x OpenCSG 战略合作:从“模型托管“走向“算力原生“,共建企业级异构算力调度底座

随着大模型应用进入规模化阶段,企业对模型平台的诉求正发生结构性变化——从模型资产管理,走向模型运行与服务化能力。GPU 资源整卡独占、推理任务碎片化、异构芯片割裂、企业私有化与合规要求……这些问题共同指向一个趋势:模型平台必须具备"算力原生(Compute-Native)"能力,才能真正支撑企业级 AI 生产系统。在这一背景下,宣布达成战略合作,共同构建面向企业级 AI 工作负载的算力原生底座。图1: 从"模型托管"到"算力原生"

guaguaRethink的博客 466
上一篇: 渝见开源,数智启新|密瓜智能参赛项目获评青年开源专项基金种子计划首批重点项目
下一篇: 活动回顾|推理走向生产,算力如何真正用好?——vLLM Meetup 上海站圆满落幕
密瓜智能
密瓜智能 密瓜智能官方账号 密瓜智能官方账号
博客等级 码龄1年 3粉丝 57原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值