大模型推理优化综述
共 3437字，需浏览 7分钟
· 2023-10-29
模型优化技术旨在通过适配器、剪枝、量化、蒸馏、算子融合、低秩矩阵分解等技术提升模型的训练/推理效率并降低存储开销，随着大语言模型（LLM）的流行，传统的模型优化技术面临着巨大挑战。
10月24日-10月25日，我们邀请到人工智能博士，多篇顶会一作作者作者Kevin老师，为我们带来——基于大模型优化技术新SOTA，为我们详解大模型时代模型优化技术的最新进展！
文末有福利
导师推荐近3年热门大模型论文合集部分展示
导师简介：Kevin老师
·人工智能博士，某知名上市公司 AI 研究员
·在人工智能顶级期刊TPAMI（影响因子24.314）、TNNLS（影响因子14.255），人工智能顶级会议AAAI、CVPR发表过多篇高质量论文，另有多篇论文发表在一区、二区期刊和会议
·在国际上首次提出改进 NLP 模型偏差算法，被审稿人誉为具有领域启发性的重要创新
·研究方向：深度强化学习、自然语言处理、AI 模型优化、AIGC(ChatGPT方向)，通用机器学习模型，通用深度学习模型，大语言模型(LLM)思维链(CoT)，生成模型，多模态，神经网络搜索(NAS)，语音识别(ASR)，语音降噪(ENC)，语音合成(TTS)等
直播大纲
第一天：大模型优化领域的代表性成果
第二天；大模型时代模型优化领域的最新进展
优化模型推理性能不仅可以减少硬件成本，还可以提高模型的实时响应速度。它使模型能够更快速地执行自然语言理解、翻译、文本生成等任务，从而改善用户体验，加速科学研究，推动各行业应用的发展。
随着大型语言模型（LLM）如 GPT-3 和 BERT 在 AI 领域的崛起，如何在实际应用中高效地进行模型推断成为了一个关键问题。为此，英伟达推出了全新的大模型推理提速框架TensorRT-LLM，可以将现有的大模型在H100推理速度提升4倍！2016年，英伟达推出了TensorRT，此次发布的TensorRT-LLM是在TensorRT基础上针对大模型进一步优化的加速推理库。
大模型领域近期掀起了新一轮的重大动态更新，各大厂都开始了新一轮的模型优化：
微软计划于11月全面推广其Microsoft 365 Copilot。
Google Bard推出了重大更新，并与Google全系产品深度整合，还推出了极其实用的“double check”功能。
OpenAI预告其Dall-E3模型即将面向公众。
亚马逊以40亿美元的巨额投资入股Anthropic。
ChatGPT开始逐步开放多模态交互功能，包括语音和图像。
导师推荐近3年热门大模型论文合集部分展示
对于还没有发过第一篇论文，还不能通过其它方面来证明自己天赋异禀的科研新手，学会如何写论文、发顶会的重要性不言而喻。
文末福利
