全球首个数字人,开源!

Python客栈

共 2651字,需浏览 6分钟

 ·

2024-06-28 17:00

Python客栈设为“星标
第一时间收到最新资讯

全球首个 2D 真人级、AIGC 实时渲染数字人模型开源了!DUIX 是硅基智能打造的数字人智能交互平台。

开源项目提供了详细的开放文档,方便你轻松开发出定制化的虚拟人应用。借助这个开源项目,开发者能够在 Android 或者 iOS 上一键部署数字人,为你的用户提供即时的虚拟人互动体验。

硅基数字人SDK是完全开源的,底层推理引擎以及上层的商业化应用逻辑都开放了源代码。你可以深入了解其工作原理,并进行进一步的优化和创新。

开源地址:https://github.com/GuijiAI/duix.ai


01

开源数字人多强?

这个开源的SDK不仅提供了直观的效果展示,还支持用户进行二次开发,核心功能有:

① 数字人形象模板:提供了 14 个数字人模板,你可以前往开源项目的地址下载和使用这些数字人模型。硅基数字人还会不定期更新本地模型包,以便下载和使用最新的模型
② 部署成本低:支持低成本快速部署在 iOS、安卓或者大屏上。并且在平板、车载系统上也能流畅运行。
③ 画面流畅:支持 50 帧/秒的流畅画面,视频生成效率超过 1:0.5、满足直播等一些对实时性要求很高的场景
④ 真实模拟:数字人行业顶级的真实度,能够精准的模拟动作、说话的唇形、微表情
⑤ 可以搭建的场景:AI伴侣、直播带货、数字人短视频生成、批量数字人口播视频内容生成,用于抖音/视频号等平台的营销推广、品牌IP、内容制作。

02

效果如何?

这里是一个数字人的真实 Demo,能够对对话的人的话有比较合理的理解和反馈。有一个问题就是你说完话,数字人大概需要反应 3~4 s 才有反馈。但是随着端侧模型的性能优化,这个问题很快可能就会被解决。

03

如何部署使用?

安卓 SDK 集成教程

该开源项目提供了详细的使用部署教程,可以移步该项目的地址去查看,我直接把重要的部分贴在了下方。
iOS 部署方式
SDK 提供了多种回调方法,包括数字人渲染报错回调、音频播放结束回调、音频播放进度回调等。
动作相关的还支持随机动作、开始动作、结束动作等。建议前往开源项目去查看详细文档。
NSString *basePath =[NSString stringWithFormat:@"%@/%@",[[NSBundle mainBundle] bundlePath],@"gj_dh_res"];
          NSString *digitalPath =[NSString stringWithFormat:@"%@/%@",[[NSBundle mainBundle] bundlePath],@"lixin_a_540s"];
//初始化
NSInteger result= [[GJLDigitalManager manager] initBaseModel:basePath digitalModel:digitalPath showView:weakSelf.showView];
if(result==1)
{
   //开始
   [[GJLDigitalManager manager] toStart:^(BOOL isSuccess, NSString *errorMsg) {
   if(!isSuccess)
     {
      [SVProgressHUD showInfoWithStatus:errorMsg];
     }
   }];
}

04

谁开源的?

看了一下开源该项目的开发者,是叫做硅基智能的 AI 公司。我之前还经常刷到他们的短视频。这个公司已成功克隆 50 万数字人,实现 AIGC 产品在十多个行业的商业化应用。

为了降低技术门槛,为个人开发者和企业提供参与数字人的创新的机会,硅基智能公开数字人技术的核心代码。
开源地址:https://github.com/GuijiAI/duix.ai
算是为推动数字人技术的快速发展和普及出一份力!respect


往期回顾

1、未来可能消失的编程语言
2、神奇的代码注释,看着看着就哭了!
3、可怕!CPU暗藏了这些未公开的指令!
4、实测 20 款国民 APP !小用半天,体积暴增 865%
5、这个女生写的软件,解决了无数程序员最头疼的问题!
         


点击关注公众号,阅读更多精彩内容

浏览 136
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报