算法进阶

自2017年Transformer模型提出以来，自然语言处理研究逐步转向基于该框架的预训练模型，如BERT、GPT、BART和T5等。这些预训练模型与下游任务适配后，持续刷新最优结果。然而，现有评测方法存在广度和深度不足、数据偏差、忽视模型其他能力或属性评估等问题。因此，需要全面评测和深入研究模型的

2024 年 7 月 4 日，一年一度的世界人工智能大会 ( WAIC ) 在上海拉开帷幕，多款具身智能机器人惊艳亮相。早在ITF Worl半导体大会上英伟达CEO黄仁勋就曾表示：AI下一个浪潮正是“具身智能”。随着LLM不断智能化，具身智能体一定是未来的大势所趋。至少未来3三年，将会涌现出一大批基

图神经网络Transformers是一项机器学习的最新进展，提供了一类用于图结构数据的新型神经网络模型。Transformers与图学习的结合在各种图相关任务中表现出强大的性能和多功能性。本综述对图Transformers研究的最新进展和挑战进行了深入的回顾。我们首先介绍图和Transformers

本文全面概述了深度学习用于时间序列异常检测的最新架构，提供了基于策略和模型的方法，并讨论了各种技术的优点和局限性。此外，还举例说明了近年来深度学习在时间序列异常检测中各领域的应用。1  背景时间序列是一系列按照时间顺序依次索引的数据点。最常见的时间序列形式是按时间记录的观察序列。时间序列通

有创新点，就能顺利发paper吗？当然不是！有了创新点只是开始，模型的编码、调试才是重头戏。很多小伙伴都是改了大量的模型和代码，实验结果却没有多少提升，白白耽误投稿时间。今天就分享一些发paper必备的工具：82个即插即用缝合模块！这些模块就像积木一样，可以按照自己的想法插入到模型中，构建出自己的模

1  介绍本文对大型语言模型的压缩和效率推理进行了综述。大型语言模型基于Transformer架构，具有强大的性能，但也带来了巨大的内存和计算成本。本文从算法角度对大型语言模型的压缩和效率推理方法进行了分类，包括量化、剪枝、知识蒸馏、紧凑架构设计和动态网络。大型语言模型有两个显著特点：（1

最新【四天+无限学】：ChatGPT-GPT4科研实践应用与AI绘图技术及论文高效写作培训班 现场时间： 2024年3月17日-21日 【17日全天报到，全程四天教学】 直播时间： 2024年3月18日-21日 【腾讯会议】 现场地点： 长沙 无...

1  前言 在传统软件工程中，程序问题（即Bugs）会导致程序崩溃，但开发人员可以通过检查错误来了解原因。 然而，在深度学习中，代码可能会在没有明确原因的情况下崩溃。虽然这些问题可以手动调试，但深度学习模型通...

在计算机、人工智能这个领域的研究生和青椒 ， 发论文，甚至顶会顶刊，是一道无法绕过的坎。 运气好的， 遇到有实力、又负责任的导师， 能发一篇顶刊。 运气不好的， 被导师一直放养，即使 一天泡十几小时实验室，想...

如今，熟练使用像 Keras、TensorFlow 或 PyTorch 之类的专用框架和高级程序库后，我们不用再经常费心考虑神经网络模型的大小，或者记住激活函数和导数的公式什么的。有了这些库和框架，我们创建一个神经网络，哪怕是...

导语 新年伊始，OpenAI  Sora 横空出世，声称是“作为世界模拟的视频生成模型”（Video generation models as world simulators），让“世界模型”这一概念再次进入人们的视野。那么什么是世界模型？Sora 到底是不是 wor...

最新 的 《医疗大数据和人工智能产业报告》中显示， 人工智能医学图像 已经走到行业最前端，成为人工智能交叉领域中最有热度的方向之一。 针对所有人工智能医学图像的同学们，我打造了 16节医学图像系列课程 。涵盖...

本文中了 2023 ICLR。PatchTST  作为 Transformer-based 预测模型，它是和计算机视觉中的 ViT 最相似的一篇论文（文章标题也很像）。 它成功超过了 DLinear，也证明了 DLinear 中 Transformer可能不适合于序列预测任...

大家好，我是花哥，之前介绍了 图神经网络(GNN)的数学原理 ，本文介绍图神经网络的发展及应用进展。 虽然 ChatGPT 或生成式 AI 的扩散模型等 AI 大模型在过去几个月中备受关注，但图神经网络 （GNN） 一直在迅速发展...

Transformer 如今已经成为主流，为各种任务创造了 SOTA 结果，它是一种新型的神经网络架构，用于处理多种感知模态数据（如图像、文本、音频等），比如机器翻译和文本生成。 我们邀请到哈工大博士李老师为大家直播分...

一、聚类的简介 聚类分析，也称为聚类，是一种无监督的机器学习任务。与监督学习不同，聚类算法仅依赖输入数据，并致力于在特征空间中找到自然的组或群集。这些群集通常是特征空间中的密度区域，其中同一群集的数据...

量化，简单说就是程序+交易→盈利。 程序员 ，或许内心深处都怀揣着一个量化投资的梦想，渴望凭借自己的编程和人工智能技能，再补点基础的金融知识，我们便可以构建一个量化交易系统，轻松实现财富自由 。这样的理想...

如果你的导师属于第一个课题就让你自己找，没钱，没资源，也没法做指导，唯一会的技能就是问进度的话！那么，你有idea就发，别管水不水。没有idea，来研梦非凡！ 原始idea是重要的！ 写作表达也很重要。 很多同学可...