Buddy Compiler打通LLaMA 2端到端推理
BuddyCompiler选择使用TorchDynamo作为Trace工具对接AI模型,并使用AtenIR作为对接层级,通过MLIRPythonBindings实现DynamoCompiler生成TOSA/LinalgOps,从实现了从PyTorch到MLIR的转换。BuddyCompiler是一个结合了MLIR和PyTorch的编译生态的工具,它实现了LLaMA的端到端推理通路。通过BuddyCompiler,我们可以更好地利用软硬件协同设计,实现高效的大模型推理。