大模型强化学习方向面经
阿泽的学习笔记
共 1754字,需浏览 4分钟
· 2023-10-14
硕士阶段的方向是强化学习,毕业后加入大厂做强化学习在游戏中的应用,已经有两年多了。这两年赶上了大厂很不好的光景,晋升被卡,涨薪变慢,真的是一言难尽。也算是openAI给饭吃,最近大火的大模型里用到了强化学习。因此想要尝试跳槽,换一份大模型方向的工作,做RLHF或者LLM-agents。
在boss上挂完简历,发现来聊的hr或者猎头倒是不少,可能是因为学历还有大厂光环暂时还有点作用。可是实际聊下来一圈以后,发现很多LLM岗位还是需要过往有NLP的经验,这个倒也是符合预期。对于阿里系(拆分后各个事业群独立招聘)、字节、百度等大厂,或者百川智能、360等比较头部有名气的中小公司,或许也能给到面试机会,但是在面试过程中一旦涉及到LLM具体的项目经验,像我这种完全空白的人来说只能尴尬地说没做过,背过的一些八股文也只能勉强应付。
-
PPO算法中使用GAE的好处以及参数γ和λ的作用是什么? -
PPO算法和DQN算法的区别是什么? -
有哪些PPO算法的调参经验? -
在线强化学习和离线强化学习在技术和应用场景上有什么区别? -
强化学习和大模型之间的关联是什么? -
如何评估大模型中数据集的质量? -
目前国内一般选择基于哪些基座模型继续训练? -
国内做大模型的主要工作是哪几个部分? -
除了数据之外,还有哪些方向的工作可以进一步优化大模型的效果? -
大语言模型是怎么输出的,观察过输出的概率值吗? -
关于微调的方法有哪些? -
如果让你训练一个模型,基座,数据,finetune的方法怎么选? -
怎么解决大语言模型的幻觉问题,RLHF可以吗? -
是否看好国内做基座模型工作的前景,为什么? -
为什么模型越大,貌似更多地具备AGI的能力?这背后的逻辑是什么? -
介绍下对transformer的了解,网络结构相比于lstm有什么不同? -
transformer里用到的正则化方法有哪些? -
chatgpt训练过程中,奖励模型有更新吗? -
chatgpt强化学习训练阶段还有什么改进的空间和思路吗? -
直接用训练reward model的数据精调模型,而不用强化学习,是否可行?为什么? -
了解bert和gpt网络结构的细节及其差异吗? -
假如reward model不太准,怎么办? -
有做过大模型训练的实践吗,有哪些收获或者感悟?
评论
CVPR 2024|大视觉模型的开山之作!无需任何语言数据即可打造大视觉模型
↑ 点击蓝字 关注极市平台作者丨科技猛兽编辑丨极市平台极市导读 本文提出一种序列建模 (sequential modeling) 的方法,不使用任何语言数据,训练大视觉模型。>>加入极市CV技术交流群,走在计算机视觉的最前沿本文目录1 序列建模打造大视觉模型(来自 U
极市平台
1
词向量(更新) | 使用MD&A2001-2022语料训练Word2Vec模型
buTips: 公众号推送后内容只能更改一次,且只能改20字符。 如果内容出问题,或者想更新内容, 只能重复推送。 为了更好的阅读体验,建议阅读本文博客版, 链接地址https://textdata.cn/blog/2023-03-24-load-w2v-and-expand-your-concpe
大邓和他的Python
0
【深度学习】人人都能看懂的LSTM
熟悉深度学习的朋友知道,LSTM是一种RNN模型,可以方便地处理时间序列数据,在NLP等领域有广泛应用。在看了台大李宏毅教授的深度学习视频后,特别是介绍的第一部分RNN以及LSTM,整个人醍醐灌顶。本文就是对视频的记录加上了一些个人的思考。0. 从RNN说起循环神经网络(Recurrent Neur
机器学习初学者
0
科普:深度学习训练,不同预算GPU选购指南
以下文章来源于微信公众号:DeepHub IMBA作者:Mike Clayton本文仅用于学术分享,如有侵权,请联系后台作删文处理导读购买显卡第一个要考虑的问题是什么?当然是预算。本文提供了不同预算的显卡选购指南,希望能对各位读者有所帮助。在进行机器学习项目时,特别是在处理深度学习和神经网络时,最好
机器学习初学者
0
人工智能周刊#18:微软发布手机端大模型、Llama 3 中文模型列表、苹果开源新项目、
主打尊重隐私的搜索引擎 duckduckgo,也推出了 ai chat 服务,可以使用 chatgpt 或者 claude机器学习周刊:关注 Python、机器学习、深度学习、大模型等硬核技术本期目录:1、Qwen1.5-110B:Qwen1.5 系列的首个千亿参数开源模型2、苹果开源
机器学习算法与Python实战
0
5000w+ 的大表如何拆?亿级别大表拆分实战复盘
前言笔者是在两年前接手公司的财务系统的开发和维护工作。在系统移交的初期,笔者和团队就发现,系统内有一张5000W+的大表。跟踪代码发现,该表是用于存储资金流水的表格,关联着众多功能点,同时也有众多的下游系统在使用这张表的数据。进一步的观察发现,这张表还在以每月600W+的数据持续增长,也就是说,不超
码农编程进阶笔记
0
中国人民大学《大语言模型》书籍中文版开放下载!还配套代码工具库~
大语言模型综述文章《A Survey of Large Language Models》团队终于出书啦!而且是中文版——《大语言模型》!这本书整理呈现了大模型技术框架和路线图,是一本非常好的入门书籍。🧿🧿🧿
此外,官方不仅发布了电子版 PDF 下载链接,还提供了配套资源。点赞 👍图书下载 → [大
机器学习算法与Python实战
0
机械臂抓取/6D位姿估计/三维点云/缺陷检测方向交流群成立啦
点击下方卡片,关注「3D视觉工坊」公众号选择星标,干货第一时间送达添加小助理: dddvision,备注:研究方向+学校/公司+昵称(如机械臂抓取+清华+小草莓)▲长按扫码添加助理大家好,我是小草莓!我们3D视觉工坊成立了计算机视觉各个方向的交流群,详细如下所示,欢迎添加小助理,邀请你加群!3D视觉
3D视觉工坊
0