AI编译器

AI编译器

AI 编译器是一种针对 AI 和机器学习应用特别优化的编译器，它能够满足推理场景和训练场景不同需求，
将高级语言编写的程序或者训练好的模型文件转换成可以在特定硬件上高效执行的程序。
1）以 Python 语言为前端
2）拥有多层 IR 设计
3）面向神经网络深度优化
4）针对不同芯片架构设计

目标

• 性能优化：极致降低训练、推理耗时，提升吞吐量。
• 资源利用：最大化硬件资源利用率（CPU/GPU/NPU），实现最优能效比。
• 模型压缩：压缩模型体积与计算量，适配移动端/嵌入式设备资源限制。
• 硬件兼容性：生成跨平台可执行代码，覆盖异构硬件架构（x86/ARM/NPU）。
• 梯度计算：自动生成高效反向传播代码，支持动态计算图微分。
• 并行计算：实施数据/模型/流水线并行策略，充分利用多设备算力。

tvm

① 从 TensorFlow、PyTorch 或 ONNX 等框架导入模型。
② 翻译成 TVM 的高级模型语言 Relay。图级优化
③ 将Relay表示降级为TE表示。了解“计算什么”
④ 使用 auto-tuning 模块 AutoTVM 或 AutoScheduler 搜索最佳 schedule。寻找“如何计算”
⑤ 为模型编译选择最佳配置。最优计算+调度
⑥ 降级为张量中间表示（TIR，TVM 的底层中间表示）。后端优化
⑦ 编译成机器码。

MLIR

MLIR（Multi-Level Intermediate Representation）是一种高度模块化的编译器基础设施，专门设计用于解决异构计算和领域特定编译的挑战。其核心思想是通过分层中间表示（IR）和可扩展的方言（Dialect）系统，统一不同抽象级别的计算表达，从而连接高级框架（如TensorFlow/PyTorch）与底层硬件（如CPU/GPU/TPU）。