不用4个H100!340亿参数Code Llama在Mac可跑,每秒20个token,代...
新智元报道
编辑:桃子【新智元导读】现在,34B Code Llama模型已经能够在M2 Ultra上的Mac运行了,而且推理速度超过每秒20个token,背后杀器竟是「投机采样」。
开源社区的一位开发者Georgi Gerganov发现,自己可以在M2 Ultra上运行全F16精度的34B Code Llama模型,而且推理速度超过了20 token/s。


「投机采样」加速推理
在这个例子中,Georgi借助Q4 7B quantum草稿模型(也就是Code Llama 7B)进行了投机解码,然后在M2 Ultra上使用Code Llama34B进行生成。 简单讲,就是用一个「小模型」做草稿,然后用「大模型」来检查修正,以此加速整个过程。

在单个输入token上转发LLM所需的时间,与在K个输入token上批量转发LLM所需的时间相同(K比你想象的要大)。这个不直观的事实是因为采样受到内存的严重限制,大部分「工作」不计算,而是将Transformer的权重从VRAM读取到芯片上缓存中进行处理。







评论