NLP从入门到放弃

万物皆卷的时代，升学、就业的竞争越来越激烈，想要保研、申博、进大厂，没有高质量论文在手就相当于“裸奔”！尤其是这个人人惶恐又内卷的时代，想要抓住点什么来增强安全感。有一份拿得出手的成绩——发论文的数量和质量无疑是最好的背书。手握一篇甚至多篇高质量的论文，就是学术成果最好的展现，当然它也意味着未来更优

作者丨梦想成真@知乎来源丨https://zhuanlan.zhihu.com/p/693535104前言现在大火的stable diffusion系列，Sora，stable video diffusion等视频生成模型都是基于了diffusion模型。而diffusion模型的基石就是DDPM算

现在搞人工智能，真是离不开注意力机制。发论文，模型里没点魔改Attention都不好意思叫创新。面试算法岗，简单的让你讲讲几种注意力，或者让你手撕个注意力函数、MQA算法之类的。所以各位小伙伴，尤其是在校生们，还是要打好Attention的基础。这里也分享一些资料：包括缩放点积注意力、多头注意力、交

来源丨新智元通用机器人模型，目前最大的障碍便是「异构性」。也就是说，必须收集全方位——每个机器人、任务和环境的特定数据，而且学习后的策略还不能泛化到这些特定设置之外。由此，AI大神何恺明带队的MIT、Meta FAIR团队，提出了异构预训练Transformer（HPT）模型。即预训练一个大型、可共

知乎：莫笑傅里叶链接：https://zhuanlan.zhihu.com/p/744847498Google Deepmind: Training Language Models to Self-Correct via Reinforcement Learning解决了什么问题：让大模型学习自我矫

现在搞AI科研，基本上都离不开大模型。不管是“水”篇论文还是冲顶会，结合LLM的创新点都非常多。但是LLM相关的内容很多，学校的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，并邀请多位高校博士、国际顶会审

上周，GPT-4o的Her突然向用户开放，这也意味着多模态在AI拟人互动发展上已经到下一个高度了！前不久Open Ai发布了小模型 GPT-4o mini，直接替代了GPT3.5turbo，在多模态推理方面，GPT-4o mini 更是大放异彩。实现这些AI工具共情的基础在于让其拥有强大的多模态情感

谷歌也来卷「小」模型了，一出手就是王炸。-引自机器之心今年 6 月底，谷歌开源了 9B、27B 版 Gemma 2 模型系列，并且自亮相以来，27B 版本迅速成为了大模型竞技场 LMSYS Chatbot Arena 中排名最高的开放模型之一，在真实对话任务中比其两倍规模以上的模型表现还要好。如今，

引自：机器之心具身智能是实现通用人工智能的必经之路，其核心是通过智能体与数字空间和物理世界的交互来完成复杂任务。近年来，多模态大模型和机器人技术得到了长足发展，具身智能成为全球科技和产业竞争的新焦点。然而，目前缺少一篇能够全面解析具身智能发展现状的综述。因此，鹏城实验室多智能体与具身智能研究所联合中

ChatGPT 火爆全球后，基于人类反馈的强化学习（RLHF）成为了一项可能让机器像人一样思考的重要技术。OpenAI 联合创始人、研究科学家 John Schulman 将“RLHF”看作是 ChatGPT 成功的秘密武器。强化学习在大模型中的应用具有广泛潜力和机会，特别是ICLR2024接收论文

引自新智元大模型在语言、图像领域取得了巨大成功，时间序列作为多个行业的重要数据类型，时序领域的大模型构建尚处于起步阶段。近期，清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练，获得了任务通用的时序分析模型，展现出大模型特有的泛化性与可扩展性时间序列提供了数据随时间变化的

深度学习自然语言处理 原创作者：fanmetasy大模型由于其在各种任务中的出色表现而引起了广泛的关注。然而，大模型推理的大量计算和内存需求对其在资源受限场景的部署提出了挑战。业内一直在努力开发旨在提高大模型推理效率的技术。本文对现有的关于高效大模型推理的文献进行了全面的综述总结。首先分析了大模型推

作者：真中合欢链接：https://www.zhihu.com/question/627258986/answer/3262812950答案简单，就是匹配显存。6B模型可以在在12/16/24G显存的消费级显卡部署和训练。如果一个公司的模型不打算在消费级显卡部署，通常不会训6B这个规模。而且通常还会

Transformer很强，Transformer很好，但Transformer在处理时序数据时存在一定的局限性。如计算复杂度高、对长序列数据处理不够高效等问题。而在数据驱动的时代，时序预测成为许多领域中不可或缺的一部分。于是乎，蚂蚁同清华联合推出一种纯MLP架构的模型TimeMixer，在时序预测

现在越来越多的人都开始卷核心会议—顶会论文是提升个人竞争力的最佳加分项之一，But！顶会并不好卷！因为它本身对论文质量就有着非常高的要求，此外，投稿也是一项技术活，不同会议需要设计不同的“故事”。不过别担心，这次我花了5天时间给大家详细整理了这篇【核心会议+期刊汇总+最新JCR影响因子+选刊必备神器

各位好这里是DASOU与 DeiT 等使用 ViT 和 Vision-Mamba (Vim) 方法的模型相比，ViL 的性能更胜一筹。AI 领域的研究者应该还记得，在 Transformer 诞生后的三年，谷歌将这一自然语言处理届的重要研究扩展到了视觉领域，也就是 Vision Transforme

各位好，这里是DASOU自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显。一个很明显的缺陷是：Transformer 模型中自注意力机制的计算量

作为计算机视觉方向的顶级会议，CVPR可以说是目前最前沿、权威的论文了。在众多研究中，EfficientSAM 这篇工作以5/5/5满分收录于CVPR 2024！就连LeCun图灵奖得主也强烈推荐了该工作！“那么，你的论文什么时候发表呢？”升学、就业的竞争越来越激烈，想要保研、申博、进大厂

KAN 作者：我想传达的信息不是「KAN 很棒」，而是「尝试批判性地思考当前的架构，并寻求从根本上不同的替代方案，这些方案可以完成有趣、有用的事情。」多层感知器（MLP），也被称为全连接前馈神经网络，是当今深度学习模型的基础构建块。MLP 的重要性无论怎样强调都不为过，因为它们是机器学习中用于逼近非

自2003年10月18日起人事部、原信息产业部印发《全国计算机软考考试暂行规定》，将计算机软件资格考试（简称：软考）纳入全国专业技术人员职业资格证书制度统一规划！软考从传统的“技能考试”上升为“国家级考试”。软考...

先说开源地址：Open-Sora 开源地址：https://github.com/hpcaitech/Open-Sora目前星标是8.9k，感兴趣可以去看下。本文转自机器之心继 2 周前推出成本直降 46% 的 Sora 训练推理复现流程后，Colossal-AI 团队全面开源...

一周之前，ChatGPT迎来重大更新，不管是 GPT-4 还是 GPT-3.5 模型，都可以基于图像