PyTorch造大模型“加速包”,不到1000行代码提速10倍!英伟达科学家:minGPT以来最好的教程式repo之一
PyTorch团队让大模型推理速度加快了10倍。且只用了不到1000行的纯原生PyTorch代码!项目名为GPT-fast,加速效果观感是这样婶儿的:通畅,属实通畅!重点是,团队直接放出了代码以及详细“教程”。这些性能都接近或超越了当前SOTA。