沉迷于GPT的博士师兄

导师简介：Michael老师

-美国休斯顿大学博士，美国某顶尖公司总部资深研究科学家

-共发表10余篇SCI国际期刊和SEG（行业顶会）论文，包括一区期刊Fuel(影响因子6.609)，及二区期刊Pure and Applied Geophysics(影响因子2.61)；行业会议顶刊论文SEG, AAPG, EAGE等

-长期担任SEG (Society of Exploration Geophysicist), AAPG, EAGE等审稿人， IEEE Signal Processing，Pure and Applied Geophysics等国际顶级期刊审稿人，并担任某国际会议Program Chair

-研究领域：图像识别，目标检测，异常值识别、去噪、图像合成、数据挖掘，NLP、金融量化等

直播大纲

1.使用基于解码器（decoder）和自注意力机制（self-attention）的框架搭建自己的gpt模型

2.从文本tokenizer开始，经过embedding，加上位置embedding，计算注意力

3.经过几轮训练，实现一个gpt“小模型”

近期，苹果公司正在悄悄研究可以挑战OpenAI、谷歌和其他公司的 AI 工具，建立自己的框架来创建大语言模型，大语言模型正迅速成为互联网时代最热门的技术创新之一。接下来，我们来看看大语言模型的 5大应用场景：

一、文本翻译

大语言模型最简单的实际应用之一就是翻译书面文本。例如，用户可以向 AI 助手输入文本，并要求它翻译成另一种语言，然后应用就会自动开始翻译成自然流畅的文本。

二、恶意软件分析

大数据模型可以利用大量的数据来建立模型，通过机器学习算法和数据挖掘技术，从中发现恶意软件的特征和行为模式，从而可以更好地对恶意软件进行检测、分类和分析。2023 年 4 月，谷歌推出网络安全 LLM Sec PaLM 的大语言模型，展示了在恶意软件分析中的一些用途。

三、创造文本内容

大语言模型的另一个越来越常见的用途是文本内容的创造。各种大语言模型都具备可以按照用户想法，生成博客、长篇文章、短篇故事、摘要、脚本、问卷、调查和社交媒体帖子等一系列书面内容的能力。用户提供的想法越详细，模型输出内容的质量就越高。

四、搜索

许多刚开始接触大语言模型的用户，会首先尝试将生成式 AI 作为一种替代搜索的工具。用户只需要使用自然语言向 AI 程序提问，程序会立即回复，并提供关于相关话题的见解和“事实”。现在市场面已经有非常多的搜索引擎，已经引入大语言模型，来带给用户更好的体验，例如Bing等。

五、代码开发

生成式 AI 工具不仅能生成自然语言，还能生成例如 JavaScript、Python、PHP、Java 和 C# 等编程语言的代码。大语言模型的代码生成能力可以使得非技术用户也能生成一些基本的代码。此外，它们还可用于帮助调试现有代码，甚至生成注释文档。