llm-deploy

[hscspring]

你是否已经阅读并同意《Datawhale开源项目指南》？

• 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

• 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

关于模型/LLM推理和部署理论与实践。

立项理由

1. 弥补推理和部署方面的缺乏。
2. 为更多对本领域感兴趣的同学或行业内外从业人员提供一个不错的入门资料。

项目受众

1. 算法工程师。
2. 对推理部署感兴趣的同学。

项目亮点

1. 推理部署相关理论与实践。
2. 模型和服务优化实战。
3. 多位有实践经验工程师综合输出。

项目规划

至少包括以下内容：
1.目录（如有多级至少精确到二级）

推理部署

• 基础
  • 量化
    • 量化基础
    • 量化方法
    • 量化效果
  • 蒸馏
    • 蒸馏基础
    • 蒸馏方法
    • 蒸馏效果
  • 剪枝
    • 剪枝基础
    • 剪枝方法
    • 剪枝效果
• 运行
  • 表示
    • ONNX
    • TorchScript
    • TensorFlow SavedModel
  • 加速
    • ONNX Runtime
    • OpenVINO
    • TensorRT
  • 框架
    • TritonServer
    • TensorFlow Serving
    • TorchServer
• 优化
  • 并行
    • Tensor并行
    • CUDA
    • SIMD
  • 并发
    • 异步
    • Batch
    • 分布式
  • 内存
    • KV Cache
    • Page Attention
    • Flash Attention/Decoding

2.各章节负责人

待定

3.各章节预估完成日期

2024年3月

4.可预见的困难

人员安排和内容调整。

项目负责人

GitHub: https://github.com/hscspring
WeChat: HSC_spring

备注：发起立项申请后DOPMC成员将会在7天内给出审核意见，若7天内无反对意见则默认立项通过~

• 我已知悉上述备注

[finlay-liu]

主题有意思 但能不能继续增加一些案例？

[Sm1les]

7天内无反对意见则默认立项通过