AIsaAIsaStudio English 打开 AIsa Studio

llama.cpp 与 ggml 发布 v1.0.0,为本地 AI 生态奠定更稳定基础

原标题:llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem

llama.cpp 与 ggml 正式发布 v1.0.0 库版本,承诺今后以主版本号标记 API 和 ABI 不兼容变更,为下游开发者提供更稳定的接口边界。发布提供 Linux、macOS、Windows、Android、iOS 预发布工件,并通过 Docker、Homebrew、conda-forge 等多渠道分发;llama.cpp 目前支持超过 150 种模型架构变体和主流投机解码方法,CI 由 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 提供硬件支持。

为什么值得看

官方说明了 v1.0.0 的语义化版本规则与多渠道分发方式,依赖其库接口的开发者可据此评估升级与兼容性影响。

阅读原文 ↗11月14日 AI 日报

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

深度解读

发生了什么

llama.cpp 与 ggml 正式发布 v1.0.0 版本。llama.cpp 是一个用 C/C++ 实现的 LLM 推理库,能够在从消费级本地设备到高端企业服务器的广泛硬件上运行多模态大模型;ggml 则是其底层的机器学习张量库。此次版本发布的核心是向依赖这些库的开发者做出稳定性承诺:今后 llama.cpp 与 ggml 的 API 和 ABI 不兼容变更将通过主版本号升级来体现。官方在原文中写道,「Every new integration means more developers depending on our library interfaces and therefore having a flexible but stable API is paramount。」

关键细节

此次发布明确了语义化版本(Semantic Versioning)规则,适用于所有 ggml-org 项目:

  • MAJOR:./include 中的公开 C API 发生破坏性变更
  • MINOR:向后兼容的新功能、后端更新、模型支持或 API 新增
  • PATCH:无 API 变更的 Bug 修复

分发渠道也在扩展:预发布构建覆盖 Linux、macOS、Windows、Android 和 iOS;同时提供 Docker(Linux)、Debian(Linux)、Homebrew(macOS/Linux)、conda-forge、MacPorts(macOS)、Winget(Windows)以及面向 iOS/macOS 的 XCFramework 等打包方式。

在开发层面,团队借助 HF Buckets 和 HF Jobs 等 Hugging Face 技术扩展 CI 基础设施容量,并在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 的硬件支持下,在各主要硬件平台部署更多自托管 runner。目前 llama.cpp 支持「超过 150 种架构变体」以及所有主流投机解码(speculative decoding)方法。ggml 通过专门的后端机制适配各种硬件,每个后端可编译为动态库并按需在运行时加载。

为什么重要

llama.cpp 项目诞生至今已有 3.5 年,大量下游应用已经依赖其工作,且官方预计随着本地 AI 与隐私在日常生活中的重要性提升,这一趋势还会持续。此前项目没有明确的版本化契约,破坏性变更对下游使用者不够可见;v1.0.0 之后,下游开发者可以从版本号直接判断某次升级是否安全,这实质上是把 llama.cpp 与 ggml 定位为可长期依赖的基础设施。原文也强调,随着采用规模扩大,「we will be stricter about making those boundaries visible to downstream consumers」。同时,多平台打包渠道与大规模 CI 投入,进一步降低了开发者集成与分发的门槛。

对谁有影响

  • 在应用中嵌入 llama.cpp 或 ggml 的下游开发者:获得明确的 API/ABI 兼容性边界承诺,以及覆盖主流平台和包管理器的分发渠道。
  • 在异构硬件上部署本地推理的团队:后端覆盖从消费级设备到企业服务器,且 CI 在 NVIDIA、AMD、Qualcomm、Arm、IBM、Intel 硬件上有运行保障。
  • ggml-org 生态的维护者与贡献者:统一的语义化版本规则将规范所有 ggml-org 项目的变更分类方式。
全文翻译

llama.cpp 使得跨多种硬件运行多模态大语言模型(LLM)成为可能——从消费级本地机器到高端企业服务器。通过量化、优化的后端以及可移植的 C/C++ 实现,我们让 AI 推理在软件栈的每一层都变得触手可及。我们认为这是构建跨平台和私有 AI 产品最轻量、多功能且明智的平台。

自 诞生 以来的 3.5 年里,该项目取得了巨大发展,许多下游应用已经依赖于我们的工作。随着本地 AI 和隐私在日常生活中变得越来越重要,我们预计这一趋势将持续下去。每一次新的集成都意味着更多的开发者依赖我们的库接口,因此拥有一个灵活但稳定的 API 至关重要。

今天,我们发布 v1.0.0 版本,以彰显我们对这些开发者的责任。展望未来,llama.cpp 和 ggml 都将通过主版本号递增来反映 API 和 ABI 的不兼容性。随着采用的增长,我们将更严格地确保将这些边界清晰地展示给下游消费者。

发布说明

发布版本 库 公共头文件
llama.cpp v1.0.0 - C/C++ 中的 LLM 推理 libllama llama.cpp/include/
ggml v1.0.0 - 用于机器学习的张量库 libggml ggml/include/

语义化版本更新规则

以下规则适用于所有使用 语义化版本控制 的 ggml-org 项目:

变更类型 版本递增
MAJOR (主版本) ./include 中公共 C API 的不兼容更改
MINOR (次版本) 向后兼容的功能、后端更新、模型支持或 API 新增
PATCH (修订版) 无 API 更改的错误修复

分发

我们期待扩展 ggml-org 软件的发行方式,使其更好地触达开发者和最终用户。有关如何将 ggml-org 项目添加到您的打包和发布流水线中的更多信息,请查看以下 讨论。

渠道 平台
预发布制品 Linux, macOS, Windows, Android, iOS
Docker Linux
Debian Linux
Homebrew macOS, Linux
conda-forge Windows, macOS, Linux
MacPorts macOS
Winget Windows
XCFramework iOS, macOS

开发

该项目孕育了一个令人惊叹的开源社区,拥有高技能和才华横溢的贡献者。随着软件工程领域 AI 能力的快速进步,我们继续以深思熟虑且合理的方式在我们的开发周期中适应并整合 LLM。保持高质量的代码库、掌控架构并理解实现细节将始终是我们的首要任务。

为了加快开发速度,我们持续投入更多资源来改进项目背后的 CI 基础设施。得益于 HF 的技术,如 HF Buckets 和 HF Jobs,我们能够扩展必要的容量,以确保每一个合并到 master 分支的更改的正确性。在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 的硬件支持下,我们继续在各大主要硬件平台上部署更多的自托管运行器。

后端与模型覆盖范围

llama.cpp 底层机器学习引擎 —— ggml 旨在几乎任何现存的硬件上运行。这是通过实现专用的 ggml 后端来实现的。每个后端都可以编译为动态库,并在运行时选择性地加载。

当前已实现的后端完整列表可在 此处 找到。

我们致力于对所有模型架构提供持续支持。目前,llama.cpp 支持超过 150 种架构变体 以及所有主流推测解码方法。

致谢

Hugging Face 的 llama.cpp 团队感谢来自社区的鼎力支持。特别感谢项目的 长期维护者 和所有 贡献者。这是一个重要的里程碑,如果没有我们共同的努力,这一切都不可能实现!

附加资源

查看原文

llama.cpp makes it possible to run multi-modal LLMs across a wide range of hardware - from consumer-grade local machines to high-end enterprise servers. Through quantization, optimized backends, and a portable C/C++ implementation, we make AI inference accessible at every level of the software stack. We believe this is the most lightweight, versatile and sensible platform for building cross-platform and private AI products.

During the 3.5 years since its inception, the project has grown a lot and many downstream applications already depend on our work. We expect this trend to continue as local AI and privacy become increasingly important in our everyday lives. Every new integration means more developers depending on our library interfaces and therefore having a flexible but stable API is paramount.

Today we release libraries v1.0.0, highlighting our responsibility to those developers. Moving forward, both llama.cpp and ggml will reflect API and ABI incompatibilities with major-version bumps. As adoption grows, we will be stricter about making those boundaries visible to downstream consumers.

Releases

Release

Library

Public header(s)

llama.cpp v1.0.0 - LLM inference in C/C++

libllama

llama.cpp/include/

ggml v1.0.0 - Tensor library for machine learning

libggml

ggml/include/

Semantic version update rules

The following rules apply to all ggml-org projects using semantic versioning:

Change type

Bump

MAJOR

Breaking change to the public C API in ./include

MINOR

Backward-compatible feature, backend updates, model support, or API addition

PATCH

Bug fix with no API change

Distribution

We are looking forward to expanding the ways in which ggml-org software is distributed and reaches developers and end-users. For more information about how to add ggml-org projects to your packaging and release pipelines, please check the following discussion.

Channel

Platforms

Pre-release artifacts

Linux, macOS, Windows, Android, iOS

Docker

Linux

Debian

Linux

Homebrew

macOS, Linux

conda-forge

Windows, macOS, Linux

MacPorts

macOS

Winget

Windows

XCFramework

iOS, macOS

Development

The project has fostered an amazing open-source community with highly-skilled and talented contributors. With the rapid advance of AI capabilities in the field of software engineering, we continue to adapt and integrate LLMs in our developement cycle in a thoughtful and resonable manner. Maintaining a high quality codebase, staying in control of the architecture and understanding the implementation details will remain our top priorities.

To reinforce the faster pace of development we continue to invest more and more resources in improving the CI infrastructure behind the projects. Thanks to HF technologies such as HF Buckets and HF Jobs we are able to scale the capacity necessary to guarantee correctness for every change that lands on the master branches. With hardware support from NVIDIA, AMD, Qualcomm, Arm, IBM and Intel, we continue to enroll more self-hosted runners across all major hardware platforms.

Backend and model coverage

The underlying machine learning engine of llama.cpp - ggml is designed to run on virtually any hardware in existence. This is achieved by implementing dedicated ggml backends. Each backend can be compiled as a dynamic library and optionally loaded at runtime.

A complete list of the currently implemented backends can be found here.

We are committed to provide continuous support of all model architectures. Currently, llama.cpp supports more than 150 architecture variants as well as all mainstream speculative decoding methods.

Thanks

The llama.cpp team at Hugging Face is thankful for the incredible support from the community. Special thanks to the long-time maintainers of the project and all contributors. This is a significant milestone which would not have been possible without our joint efforts!

Additional resources

原文版权归 Hugging Face Blog 及原作者所有,本站转载仅供阅读。如需删除,请联系 support@aisa.one。

事件综述

llama.cpp 与 ggml 发布 v1.0.0 稳定版本

2026年11月13日,llama.cpp 与 ggml 正式发布 v1.0.0 版本。据 Hugging Face Blog 的主报道,此次发布的核心内容是:项目承诺今后以主版本号标记 API 和 ABI 的不兼容变更,为下游开发者提供更稳定的接口边界。发布提供 Linux、macOS、Windows、Android、iOS 的预发布工件,并通过 Docker、Homebrew、conda-forge 等多渠道分发。报道还称 llama.cpp 目前支持超过 150 种模型架构变体和主流投机解码方法,其 CI 由 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 提供硬件支持。同日,作者 Georgi Gerganov 发布了下载链接,团队表示将继续覆盖所有平台和所有模型,同时保持平台精简稳健。随后 Clement Delangue 与 Georgi Gerganov 联合宣布,这是最常用的本地运行 AI 模型库的首个重大完全稳定版本;作者称用户可在手机、笔记本和工作站上免费掌控自己的智能、数据不出本地,并强调支持各类硬件、平台和模型,让 AI 分散而非集中在少数硅谷机构。以上说明与承诺均来自相关发布方的表述,引用不等于证实。目前事件为发布宣布阶段,尚未见后续跟进的独立验证报道。

其他来源的报道 3