您现在的位置:锡尼信息门户网>军事>乐8国际娱乐app-腾讯大数据平台十年四次升级:从引进到自研,再到全面开源

乐8国际娱乐app-腾讯大数据平台十年四次升级:从引进到自研,再到全面开源

2020-01-11 15:53:03  

乐8国际娱乐app-腾讯大数据平台十年四次升级:从引进到自研,再到全面开源

乐8国际娱乐app,在11月6日召开的techo开发者大会上,腾讯云副总裁、腾讯数据平台部总经理蒋杰表示,经过10年的积累,腾讯大数据平台的算力资源池目前已有超过20万台的规模,每天实时数据计算量超过30万亿条,腾讯已经成为中国实时数据计算量最大的公司。

而这背后,则是腾讯大数据平台技术过去10年的不断演进。据蒋杰介绍,腾讯的数据量在短短5、6年时间增长了几千倍,目前每天产生的数据量超过几十万亿条数据在产生。为了应对这种爆炸式增长,腾讯走出了一条技术引进+改造+自研的道路,在过去10年间,腾讯大数据平台已经经历了四代演进。

蒋杰表示,腾讯大数据平台的第一代是在2009年至2011年期间,以hadoop为核心的离线计算时代。当时,腾讯基本还是拿来主义,在开源社区的基础上进行一些局部优化。

第二代是2012至2014年期间,这时候腾讯具备了一些开发能力,可以在spark、storm的基础上重写部分核心模块,从能力上来看,这时候的大数据平台已经可以从离线做到实时。

第三代则是2015年至2018年,这期间,腾讯已经进入到了ai的时代,它在机器学习和深度学习上做了很多的优化,正式从原来的部分改造走向了纯自研时代。

据蒋杰介绍,腾讯从无到有研发了分布式的机器学习引擎angel,以及一站式ai开发平台智能钛ti,用来解决数据训练和算法的问题。目前,angel已经发展到3.0版本,能支持万亿维度,也可以兼容spark、pytorch、tensorflow等生态。此外,angel今年还新增了对深度学习、图计算等的支持。

而以2019年为元年的第四代,腾讯正在研究以批流融合、abc融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。

蒋杰表示,从开始的技术引进、局部优化到如今的自主创新,腾讯的大数据技术也在实践中不断完善和创新。“十年前,腾讯管理几百个节点都很困难,调度性能差,规模上不去。后来为了有效解决计算能力和大规模集群问题,腾讯自研调度器,相对原生调度器性能提升150倍,大大提升了集群可扩展性。现在,腾讯大数据平台每天有1500万个分析任务,每天数据接入条数达35万亿条数据。”

当天,腾讯还宣布正式开源资源管理平台核心tke和分布式数据库tbase,两个月前,腾讯刚刚将其实时数据采集平台tubemq开源,并捐献给apache社区。蒋杰称,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商。

蒋杰告诉21世纪经济报道记者,腾讯的很多技术都来自于开源社区,所以现在做开源也是希望能够更好的回馈社区。虽然做开源对企业来说,会增加一定的人力成本消耗,但是开源同样也能帮助企业聚集更多技术人才。对于腾讯的大数据平台,蒋杰也提出了一个目标,即在未来要实现全面开源。

更多内容请下载21财经app

Copyright 2018-2019 lorenzauto.com 锡尼信息门户网 Inc. All Rights Reserved.