Chitu (赤兔) 是一个专注于效率、灵活性和可用性的高性能大语言模型推理框架。 最新动态 [2025/03/14] 清华团队开源大模型推理引擎“赤兔Chitu”，DeepSeek推理成本降一半，性能翻番。 简介 Chitu (赤兔) 定位于「生产级大模型推理引擎」，并且充分考虑了企业 AI 落地 ...

今天，清华系科创企业清程极智与清华大学翟季冬教授团队联合宣布开源大模型推理引擎「赤兔」（Chitu），率先实现了非 H 卡设备（英伟达 Hopper 架构之前的 GPU 卡及各类国产卡）运行原生 FP8 模型的突破。

在人工智能技术迅速发展的今天，清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智于近日联合推出了一款革命性的开源大模型推理引擎“赤兔Chitu”。此次发布的引擎，标志着AI推理领域又一技术的重大突破。

赤兔Chitu引擎的推出，标志着对传统推理技术的一次颠覆。该引擎开创性地实现了在非英伟达Hopper架构的GPU及多款国产芯片上，支持FP8精度模型的原生运行。这项技术的突破，直接导致推理成本降低了一半，而性能却实现了惊人的翻倍，提高了整体运算效率。在信息全球化的今天，这一创新让国内开发者和企业在面对日益激烈的市场竞争时终于拥有了一张强有力的“底牌”。

据介绍，该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”，提供如下特性： ...

IT之家 3 月 14 日消息，清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布，大模型推理引擎“赤兔 Chitu”现已开源。据介绍，该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，实现 DeepSeek ...

清华大学高性能计算研究所传来重要消息，翟季冬教授团队携手清华系科创先锋清程极智，共同宣布了一项重大开源成果——大模型推理引擎“赤兔 Chitu”。