OpenAI新发现:GPT-3做小学数学题能得55分,验证胜过微调!
大数据文摘
共 3285字,需浏览 7分钟
·
2021-11-04 14:53
论文地址:https://arxiv.org/pdf/2110.14168.pdf
数据集地址:https://github.com/openai/grade-school-math
训练验证器:从错误中学习的模型
训练验证器:从错误中学习的模型
高质量:GSM8K中的问题都是人工设计的,避免了错误问题的出现。
高多样性:GSM8K中的问题都被设计得相对独特,避免了来自相同语言模板或仅在表面细节上有差异的问题。
中等难度:GSM8K中的问题分布对大型SOTA语言模型是有挑战的,但又不是完全难以解决的。这些问题不需要超出早期代数水平的概念,而且绝大多数问题都可以在不明确定义变量的情况下得到解决。
自然语言解决方案:GSM8K中的解决方案是以自然语言而不是纯数学表达式的形式编写的。模型由此生成的解决方案也可以更容易被人理解。此外,OpenAI也期望它能阐明大型语言模型内部独白的特性。
新方法是如何验证的
新方法是如何验证的
先把模型的「生成器」在训练集上进行2个epoch的微调。
从生成器中为每个训练问题抽取100个解答,并将每个解答标记为正确或不正确。
在数据集上,验证器再训练单个epoch。
写在最后
写在最后
参考链接:
评论
做客服能学到什么?
先说结论:客服是宝贵的积淀,因为懂客户的人无论放在哪个岗位都是万金油!
现在的企业,越来越强调用户。随便打开一个互联网相关的社区,各种以用户为中心之类的话,都会反反复复的出现在屏幕上。那么,怎么才能才能了解用户呢?认识问题,无外乎理性和感性的认识。无论是运营还是产品,在做的用户画像,用户访谈,用户调研,都是从这两方面去认识客户。然而客服就有一个得天独厚的优势:接触大量的客户!
估计你去问任何一个客服,对于公司产品的用户群,他们都能准确的掌握。这种成千上万次交流获得的积淀,是其他岗位很难获得的。所以我说,一个真正做得好的客服,放在其他岗位,他对用户的理解都会成为他的巨大优势。当然,要想要转岗,还需要学习很多该岗位所要学习的技能,这
智齿AI
0