58.3万笔/秒!看阿里的黑科技
Hollis
共 5397字,需浏览 11分钟
·
2020-11-13 14:03
直播间里的每一秒都是技术人的骄傲
今年双11前夕,淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景,智能计算调用量日均已高达数千亿次,消费者兴趣宽度显著拓展,各类商家机会趋于多样,新商品孵化周期正在缩短。
此外,各类基础智能科技已在淘宝大规模应用,日调用量也在数千亿次。在视觉AI领域,拍立淘目前支持数亿商品对应的图片和视频检索;自然语言学习(NLP)、实时机器翻译、语义识别等技术,也在店小蜜、实时翻译、商品评价分析等关键链路使用。
在信息搜索、推荐和营销领域,传统机器学习机制会不断拟合用户行为。认知智能则能提供更好的发现性、丰富性。智能技术像水一样在阿里经济体流淌,认知智能引擎助力消费者更好地选选选,新货好货成爆款!
过去双11期间,阿里小二们想要进行诸如“跟往年相比哪些商品和渠道的表现更好?”等多维度、大批量的深度分析,这些看似简单的运营分析,背后涉及到的是大量数据计算和多维交叉分析,这些都需要大量的时间成本来实现。新一代的数据技术处理框架——“流批一体”,实现了“全链路、全维度、全实时”的数据处理分析,可以帮助阿里小二们及时发现问题、分析问题,实现实时运营决策。
“流批一体”在技术上,实现了哪怕是多个计算处理模式,也只需要撰写一套代码就能兼容。在计算速度上比其他框架快1倍、查询快4倍,给小二们搭建数据报表提升了4-10倍的速度。同时,由于“一体化”的特性,能实现实时与离线数据的完全一致。
在今年史上数据量最大的情况下,新一代数据计算处理框架——“流批一体”直接节省了一半的资源成本,真正实现了“快、准、省”。
MaxCompute支持双11场景下的海量数据高并发计算,预计2020计算同比增长超50%。其中,单日数据计算量将在2017年300PB、2018年600PB、2019年900PB的持续增长之后,在今年双11突破EB级。单日计算任务将在2017年300万、2018年500万、2019年900万之后,超过千万。
小蛮驴上岗了!阿里物流机器人将承包浙大菜鸟驿站天猫双11包裹配送
评论