入门深度学习,这本书不容错过!

Python与算法社区

共 976字,需浏览 2分钟

 ·

2021-08-11 11:21

你好,我是 zhenguo

最近在学习一本书:《深入浅出 embedding》,今天总结其中一部分。这本书得到北京智源人工智能研究院院长的大力推荐,所著作此书确实让人眼前一亮,是帮助我们掌握深度学习基础和提高实践运用能力很棒的一本书籍。

首先为你介绍这本书的整体结构,分为两大部分,第一部分是embedding基础,第二部分是embedding的应用实例

其中第一部分包括:


第二部分包括:


下面集中一个点介绍,注意力机制,Attention Mechanism,在深度学习中起着举足轻重的作用,Seq2Seq引入注意力机制,Transformer基于自注意力机制,在NLP、推荐系统中都有广泛应用。

人类在学习时,也会无意识的使用注意力,就拿这篇文章,我把注意力集中在注意力模型的总结上,其实这就是注意力机制。

使用注意力机制最经典的应用应该是机器翻译,比如翻译Tom chase Jerry这句话的 Jerry 单词时,我们一定希望将注意力集中在 Jerry 这个单词上,提高对它的权重系数,解决这个问题的模型就是注意力机制。

这本书把模型求解划分为三阶段,如下图所示,借助示意图理解起来就会便容易,F函数描述Key和Query的相似性,其他的看图就差不多理解这三个阶段,其中Key是指 Tom,chase, Jerry, Query比如已经翻译出单词追赶与它们的相关系数,是输入句子中单词的编码值。


这本书第一步介绍的是深度学习 embedding 的基础,第二部分介绍应用实例,全书讲解比较通俗,并且每个部分都配有 Pytorch 的代码实现,非常推荐学习。

特别感谢华章出版社赞助我的公众号:Python与算法社区 6本书,我自己留一本,其余5本我全部赠送给大家。参与形式:

  1. 首先,关注我的视频号
  2. 其次,在公众号或视频号最近一条视频留言区留言,谈谈你使用深度学习做过哪些好玩的事情?

我会参考留言走心程度、最近两周视频号内点赞或转发情况,选出5位,截止时间:这周五晚上22点。点击下面图片详细了解此书,也可以点击阅读原文

浏览 6
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报