动手自制大模型推理框架开课了-

用户5122

2024年8月3日修改

课程咨询

课程亮点

支持llama2/3的推理和模型int8量化，每个算子都支持cuda加速，在不同架构N卡上都经过验证。课程会对工程和算法能力同步讲解，同步提高，助力每位学员的进步。​

项目演示

例子运行的是fp32 1.1b的LLama模型推理，硬件环境为Nvidia 3060 lapop​

课程是什么

动手自制大模型推理框架开课了-​