直播线上实时翻译和流式字幕技术实践与应用
京东科技开发者
共 1254字,需浏览 3分钟
· 2021-12-11
直播线上实时翻译和流式字幕技术,区别于传统的线下翻译+字幕叠加硬件设备,创新性的采用云线上实时翻译+流式字幕叠加,通过API的方式实现直播视音频分离、音频转码、语音识别及转文本、文本翻译、自动审核、字幕返回等功能,并最终将流式字幕叠加到直播源流中,语音识别、转写及翻译准确率预计可达90%以上,并拥有自动校正功能,在保证字幕效果的情况下,极大的节省了使用成本,且系统支持动态扩缩容,便捷高效。
技术实现原理是将直播流进行音频流剥离,利用AI语音能力将直播流中的音频流进行实时识别、转写,同时进行多语言翻译及内容审核,过滤敏感内容,保障内容的安全合规,最终将识别的原语言和翻译语言以实时字幕的方式叠加到直播流中,让用户可以在观看直播画面、声音的同时可以获取文字维度的信息,极大的提升用户的观看体验。
模块组成:
业务实现流程:
技术优势:
实践过程中遇到的难点:
技术应用场景:
该技术可以广泛的应用于电商、会展、融媒、教育等领域,比如在电商领域,可以帮助企业聚焦直播带货出海业务场景,通过云端实时翻译+多语言字幕的技术手段,降低海外地区用户的观看门槛,提升直播观看量,从而提升商品购买转化率和GMV;在会展行业,可以完美替代同传和线下硬件设备,大大降低会展直播成本。
技术实践:
该技术在2021年相继应用于服贸会、亚欧商品贸易博览会、商洽会等国际性展会项目中,具体效果通过下面的视频来展示:
评论
字节的跳动职级与薪资(2024年)
上一篇:阿里公布年终奖,P7, 3.5+,22W年终奖,还有35W长期现金激励,真香字节跳动自2012年3月成立以来,已经迅速成长为一个全球性的科技公司。其产品和服务已经遍布全球150多个国家与地区,并且支持超过75种不同的语言。在字节跳动的官方网站上,列出了一系列引人注目的产品和服务,包括但不限于
开发者全社区
0
搭建完美的技术写作环境,第1-10章
大家好,我是章北海,《机器学习算法与 Python 实战》和《玩机器学习的章北海》号主,985 统计学硕士,5 年时间撰写了 460 余篇优质原创文章,内容涵盖统计学、数据分析、机器学习、深度学习、Python 实战。毕业之后先后从事数据分析、机器学习工程师、项目管理,这些年积累了很多经验,工作之外
机器学习算法与Python实战
0
管理世界2024 | 使用管理层讨论与分析测量「企业人工智能指标」
Tips: 公众号推送后内容只能更改一次,且只能改20字符。如果内容出问题,或者想更新内容, 只能重复推送。为了更好的阅读体验,建议阅读本文博客版, 链接地址 https://textdata.cn/blog/2024-04-19-ai-improve-firm-productivity/
大邓和他的Python
0
Open-Sora全面开源升级:支持16s视频生成和720p分辨率
机器之心发布 机器之心编辑部Open-Sora 在开源社区悄悄更新了,现在单镜头支持长达16秒的视频生成,分辨率最高可达720p,并且可以处理任何宽高比的文本到图像、文本到视频、图像到视频、视频到视频和无限长视频的生成需求。我们来试试效果。生成个横屏圣诞雪景,发b站再生成个竖屏,发抖音还能
机器学习算法与Python实战
0
文本嵌入、文本分类和语义搜索
在实践中使用大型语言模型(LLM)中,RAG 的一个关键部分是使用文本嵌入从知识库中自动检索相关信息。在这里,我将更深入地讨论文本嵌入,并分享两个简单(但功能强大)的应用:文本分类和语义搜索。ChatGPT 吸引了全世界对人工智能及其潜力的想象。ChatGPT 的聊天界面是这一影响的关键因素,它使人
大邓和他的Python
0
超大规模数据中心网络架构及其技术演变
本文所讲的数据中心网络架构和技术范围是针对典型的大型互联网和云计算公司的超大规模数据中心(Hyperscale Data Center),不一定适合其他类型的数据中心网络。业界对于什么规模才算是“超大规模(Hyperscale”并没有一个精确的定义。一般来说,一个数据中心网络集群至少有 5000台服
数据中心运维管理
0
一站式解决方案:基于 Arthas 实现服务发现和权限控制
来源:juejin.cn/post/7281849496983994383👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目 2.0 版本完结啦, 演示链接
小哈学Java
0
国产算力训练大模型的经验与教训
本文来自“国产算力训练大模型的经验与教训”。本文介绍大模型的计算特征(国产平台介绍、系统挑战、算子实现、容错)、框架的并行性支持、未来算法等。随着ChatGPT的横空出世,人工智能大模型成为各行各业热议的焦点,国内外各种大模型如雨后春笋般涌现,引发了新一轮人工智能热潮。但在看到大模型取得巨大进步的同
架构师技术联盟
1