详解今日头条技术架构分析
程序IT圈
共 3094字,需浏览 7分钟
· 2021-04-28
- 背景 -
5亿注册用户;
2014年5月1.5亿,2015年5月3亿,2016年5月份为5亿。几乎为成倍增长。
日活4800万用户;
2014年为1000万日活,2015年为3000万日活。
日均5亿PV;
5亿文章浏览,视频为1亿。页面请求量超过30亿次。
用户停留时长超过65分钟以上。
- 文章抓取与分析 -
- 用户建模 -
- 新用户的冷启动 -
- 推荐系统 -
- 数据存储 -
- 消息推送 -
- 今日头条系统架构 -
- 头条微服务架构 -
- 头条的虚拟化 PaaS 平台规划 -
- 总结 -
数据生成与采集; 数据传输:Kafka做消息总线连接在线和离线系统; 数据入库:数据仓库、ETL(抽取转换加载); 数据计算:数据仓库中的数据表如何能被高效的查询很关键,因为这会直接关系到数据分析的效率。常见的查询引擎可以归到三个模式中,Batch 类、MPP 类、Cube 类,头条在 3 种模式上都有所应用。
参考资料: 今日头条的核心架构解析 Go – 今日头条架构 从无到有、从小到大,今日头条大数据平台实践经历的那些坑 今日头条推荐系统架构设计实践
作者:钟镇刚
来源:blog.csdn.net/mucaoyx/article/details/84498468
关注公众号,回复:抽奖。抽奖一个iPad奖品!
评论
英伟达Blackwell平台网络配置分析
本文来自“英伟达Blachwell平台网络配置详解”。GTC大会英伟达展示了全新的 Blackwell 平台系列产品,包括 HGX B100 服务器、NVLINK Switch、GB200Superchip Computer Node、Quantum X800 交换机和 CX8 网卡(InfiniB
架构师技术联盟
0
Apache Paimon毕业,湖仓架构的未来发展趋势!
北京时间 2024 年 4 月 16日,开源软件基金会 Apache Software Foundation(以下简称 ASF)正式宣布 Apache Paimon 毕业成为 Apache 顶级项目(TLP, Top Level Project)。经过社区的共同努力和持续创新,Apache Paim
程序源代码
0
搭建完美的技术写作环境,第1-10章
大家好,我是章北海,《机器学习算法与 Python 实战》和《玩机器学习的章北海》号主,985 统计学硕士,5 年时间撰写了 460 余篇优质原创文章,内容涵盖统计学、数据分析、机器学习、深度学习、Python 实战。毕业之后先后从事数据分析、机器学习工程师、项目管理,这些年积累了很多经验,工作之外
机器学习算法与Python实战
0
光纤详解:光纤跳线如何分类,多向单模转换?
本文来自“光纤详解:光纤跳线如何分类,多向单模转换?”,光纤跳线作为光网络布线最基础的元件之一,被广泛应用于光纤链路的搭建中。如今,光纤制造商根据应用场景的不同推出众多类型的光纤跳线,如MPO/LC/SC/FC/ST光纤跳线,单工/双工光纤跳线,单模/多模光纤跳线等,它们之间各有特色,且不可替代。本
架构师技术联盟
0
今日思考
今天收到生财的手机壳和亦仁的一封信,虽然这些内容在星球都能找到,但是当他们把这封信打印出来放在你面前时,这个情绪价值是完全不一样的和大家分享几个触动我的点①拥有独立面向市场赚钱的能力是一个人在这个社会最大的底气羞于谈钱,耻于营销,卖东西觉得拧巴,捧着金饭碗要饭就是大部分人的常态②真诚是最高效的沟通方
python之禅
0
管理世界2024 | 使用管理层讨论与分析测量「企业人工智能指标」
Tips: 公众号推送后内容只能更改一次,且只能改20字符。如果内容出问题,或者想更新内容, 只能重复推送。为了更好的阅读体验,建议阅读本文博客版, 链接地址 https://textdata.cn/blog/2024-04-19-ai-improve-firm-productivity/
大邓和他的Python
0
从原理到实践:掌握DPDK内存池技术
前言:本文整理下之前的学习笔记,基于DPDK17.11版本源码分析。主要分析一下内存管理部分代码。一、概述内存管理是数据面开发套件(DPDK)的一个核心部分,以此为基础,DPDK的其他部分和用户应用得以发挥其最佳性能。本系列文章将详细介绍DPDK提供的各种内存管理的功能。但在此之前,有必要先谈一谈为
开源Linux
0
架构应该如何来理解?
来源:zhuanlan.zhihu.com/p/141027477👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目 2.0 版本完结啦, 演示链接:htt
小哈学Java
0