今天,清华系科创企业清程极智与清华大学翟季冬教授团队联合宣布开源大模型推理引擎「赤兔」(Chitu),率先实现了非 H 卡设备(英伟达 Hopper 架构之前的 GPU 卡及各类国产卡)运行原生 FP8 模型的突破。
赤兔Chitu引擎的推出,标志着对传统推理技术的一次颠覆。该引擎开创性地实现了在非英伟达Hopper架构的GPU及多款国产芯片上,支持FP8精度模型的原生运行。这项技术的突破,直接导致推理成本降低了一半,而性能却实现了惊人的翻倍,提高了整体运算效率。在信息全球化的今天,这一创新让国内开发者和企业在面对日益激烈的市场竞争时终于拥有了一张强有力的“底牌”。
在科技领域再添新动态,清华大学高性能计算研究所的翟季冬教授团队与清程极智联合发布了大模型推理引擎“赤兔Chitu”并正式开源。这一引擎的问世,不仅首次实现了FP8精度模型在非英伟达Hopper架构的GPU和多种国产芯片上的原生运行,还将DeepSeek的推理成本压低了整整50%,同时推理性能更是翻倍。 赤兔引擎作为一个“生产级大模型推理引擎”,定位相当明确。它具备多元算力适配能力,向用户提供了广泛 ...
IT之家3 月 14 日消息,清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布,大模型推理引擎“赤兔 Chitu”现已开源。 据介绍,该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型,实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”,提供如下特性: 多元算力适配:不仅支持 NVIDIA 最 ...
清华大学高性能计算研究所传来重要消息,翟季冬教授团队携手清华系科创先锋清程极智,共同宣布了一项重大开源成果——大模型推理引擎“赤兔 Chitu”。
最初因为我经常会因为愚蠢的操作把操作系统搞得崩溃,写下了本项目以便减轻重装系统之痛。后来我写了许多方便的小工具和脚本,把它们整合起来就变成了本项目: ...
Uinxed是一个从零开始开发的类Unix操作系统内核,专注于现代计算机架构和先进的系统设计理念。该项目旨在构建一个高效、稳定、可扩展的操作系统内核,同时保持代码的清晰性和可维护性。 Uinxed-x86_64/ ├── .git/ # 版本管理 ├── assets/ # 引导和脚本 ├── ...
作者 | kate holterhoff译者 | 平川策划 | Tina本文最初发布于 RedMonk。最近,JavaScript 软件包管理领域发生了重大变化。虽然 npm 仍是 Node.js 运行时环境中使用的 JavaScript ...