LiteRT

LiteRT 端侧AIGC推理引擎

核心定位

Google开源，专为端侧生成式AI设计的推理框架，替代TensorFlow Lite，优化LLM、扩散模型、多模态模型在移动端/边缘设备运行。

核心功能

• 端侧优化：手机、平板、IoT设备高效推理
• 模型支持：LLM、Stable Diffusion、LLaVA、Whisper
• 量化支持：FP16、INT8、INT4、1-bit
• 跨平台：Android、iOS、Linux、Windows
• 轻量级：体积小、启动快、内存占用低

热度与优势

• Star：15,000+（2026.3）
• Google官方，技术领先
• 适合移动端AIGC应用、边缘设备