多模态智能#Hello AIGC类杂志实验,一起build anything#AIGC训练营

Mix Lab味知实验室

共 3307字,需浏览 7分钟

 · 2023-10-31


shadow

类杂志是我们从6月开始孵化的一个小型内容产品。目前还在不断迭代升级中~~ 今天和大家聊聊心得体会:


从2023-06-12发布第一期以来,我和小杜一起打磨了前面几期,逐步找到稳定的内容表达方式后,由小杜独立负责此类杂志的更新。所以此类杂志也记录着出品人的成长。

超出我预期的2期,分别是音视频生成,采用了视频形式来发布,非常有创意,本期N8选题也很符合技术发展趋势。OpenAI相继发布了DALL-E 3和对文档(PDF)的支持,多模态ChatGPT来了。


采用类杂志的方式,梳理最前沿的技术发展和落地案例,什么叫“类杂志”?

就是形态有点像,但是可以灵活更改表达方式(比如某一期采用音视频形式),同时,会按照一期期不同的主题来发布内容,有期数的记录,但是又不严格限定发布日期(边学边更新)。









介绍了 GPT-4V 视觉语言模型的多模态能力,可以进行图像识别、解析复杂图像等任务。同时,GPT-4V 还具备辅助编码、产品经理等多项功能,可作为个人助理和可靠合作伙伴。另外,给大家准备了相关资源和论文,以及开源工具的精选。

精华:
  • GPT-4V Vision可以识别和解码1954年的原理图,准确率达到100%。

  • GPT-4V Vision可以推理和解析复杂图像,如《盗梦空间》概念图表。



PDF免费领取


源文件和往期,在知识库下载



往期类杂志全集:


-
N1 开篇
作为第一期,开始探索类杂志内容的形态。介绍了一本名为《元宇宙创意图谱》的书籍,旨在探讨元宇宙行业的开放与去权威,以及创意生产工具的应用。同时,还介绍了一些交互式创作技术和图像编辑工具,如DragGAN、InstructPix2Pix等。此外,还介绍了一些智能产品和AI工具,如Stable Diffusion Reimagine、Headshotpro等。最后,还提到了Zorion时空旅行者的故事,以及他们在异次元中的探索和适应。 

-
N2 数智运营
包括完美的镜像对称、角色肖像、超现实主义、超详细摄影风格等。此外,还介绍了使用稳定扩散的AI二维码制作流程,并推荐了一些AI工具,如快速二维码艺术、Dora-NoCode Design Platform等。




-
N3 智能设计
智能设计相关的工具和资源。其中包括能够生成矢量图的AIGC产品,视频版的Photoshop-MAGVIT,以及利用AI的力量在几秒内改造房间的Micasa应用。此外,还介绍了一些关于智能设计的论文和学习资料。
              
-
N4 工作流
主要是AI工作流的创新案例,如AI制作3D模型、AI用于视频编辑、无代码AI工具等。

精华:
"使用geppettoai,用AI创作电影与游戏。视频展示了geppettoai文本到3D(运行时)AI引擎的视频,该引擎为AI游戏提供了动力。" 

"Dumme是一家将AI用于视频编辑的初创公司,在向公众开放之前已经产生了需求。这家由Y Combinator支持的公司有数百名视频创作者测试其产品,该产品利用人工智能从YouTube内容中创建短视频。" 



-
N5 大模型
介绍了一些关于大模型和开源模型的信息,包括细节丰富的图像和视频生成模型,以及能够理解用户指令的聊天机器人模型。还介绍了一些开源项目和工具,用于图像识别、图像分割和多模态数据处理。这些模型和工具的发布将为研究和生产环境中的NLP任务提供更多选择和便利。
精华:
  • "Llama-v2已在Azure上推出,很快就会在AWS、Hugging Face等平台上推出" - 提到了一个新的大模型Llama-v2的发布和即将到来的推出。

  • "HuggingChat是一个强大的聊天机器人,用于在生产环境中无缝部署和管理NLP模型" - 提到了一个聊天机器人模型HuggingChat的功能和用途。




-
N6 音视频生成
音频与视频生成,介绍了一系列智能工具和应用平台,包括AI应用开发平台tryleap.ai、音频生成工具AudioLDM 2、视频生成工具Pika.art等。这些工具可用于生成图像、音频、视频等多种艺术创作内容,提供了便捷的方式将AI功能应用到应用程序中。

精华:
生成式AI正在消解“创造过程”的意义。
AI工作流会催生出新的过程意义与体验意义吗?
生成式AI不是创造的意义,是结果与目的的意义。

!!划重点,本期类杂志发布采用视频形式:

        


全集下载地址:

1/ 领取知识库优惠券



2/ 加入后点击#杂志 标签




集齐每一期封面,会解锁什么呢?


欢迎加入#AIGC训练营

一起build anything


浏览 327
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报