首届Apache Hadoop技术社区中国Meetup举办

?

最近,在Apache Hadoop社区的领导和邀请下,腾讯开源,腾讯大数据和腾讯云联合举办了首次在中国举办的Hadoop技术社区聚会。围绕Hadoop技术实践,来自腾讯,Cloudera,京东,小米,阿里,滴滴,华为和Bytes的许多嘉宾参加了讨论。

腾讯开源运营主管王春雨表示:“中国企业的参与是开源生态不可或缺的一部分。腾讯作为国内开源的先驱,将继续参与社区合作,开拓思路。促进更多的开源社区。交流对话,促进技术的生态发展。“

Hadoop是Apache Foundation开发的分布式系统基础结构。自2006年成立以来,Hadoop已经改变了存储,处理和分析数据的过程,形成了一个极其丰富的技术生态系统。在经历了大数据技术的快速发展之后,它迎来了3.x的时代。

作为Apache成员,Hadoop PMC&Committer,Hadoop社区的领导者之一,Block Junping在2011年开始关注Hadoop技术的进展,参与社区贡献,并积极推动全球Hadoop技术的推广。他还是腾讯TEG数据平台的大规模存储和计算研发主管,腾讯开源联盟主席,以及开源管理委员会成员。据报道,腾讯是首批采用Hadoop技术的中国公司之一。在过去两年中,它为社区贡献了大量补丁和功能,包括HDFS稳定性增强,YARN增强资源隔离方案以及臭氧项目的新功能。第一家公司是第一家在社区发布2.8.4和2.8.5版本的公司。

641

Block Junping展示了大数据Hadoop技术和社区发展的路线图。包括存储平台(HDFS,Ozone)到大规模,云,容器化,机器学习等方面的路由演变和最近的热门功能,包括RBF(Router Based Federation),即基于路由集群联合程序的机制,用于处理海量数据存储增长,外部对象存储的HDFS管理,对OpenTracing机制的支持以及臭氧功能。据报道,Hadoop项目最近的发布计划将包括2.8.6,3.1.3,3.2.1和3.3.0。

Jie Junping表示,Meetup将是Hadoop社区沟通的良好开端。腾讯将积极参与社区交流,贡献自己的技术实践,促进Hadoop技术的生态发展。未来,Apache Hadoop社区在中国的Meetup将遵循硅谷的先前方法,即由Hadoop PMC组织赞助,志愿参与社区贡献,以及开源贡献者参与并向开源提交问题社区。贡献者可以免费开放。未来,Hadoop社区将在中国组建一个季度中等规模的Meetup大会,甚至开辟新的形式,包括托管更大的HadoopCon。

腾讯的大数据工程师,Apache Hadoop Committer和PMC成员陈毅以臭氧为例介绍了Hadoop的本机对象存储服务解决方案。

Ozone是由Hadoop社区发起的一种新的强分布式分布式对象存储服务,用于解决当前HDFS Namenode的可扩展性上限问题。 Ozone具有与HDFS相同的可靠性,一致性和可用性,支持Hadoop文件系统接口,并与YARN,SPARK和HIVE无缝连接。支持S3接口,提供CNCF CSI驱动。臭氧不仅适用于内部大数据环境,也是大数据云和云存储的理想选择。

641

在分享中,陈毅介绍了臭氧的动机和目标,命名空间管理和数据管理分离架构,支持对象存储语义,对象读写过程,访问控制,用户可定制的弹性网络拓扑和Kubernetes集成。支持新功能,例如0.5版本的发布。

腾讯高级工程师,Hadoop YARN和Kubernetes社区活跃贡献者龚俊和陈东东介绍了腾讯的大规模YARN集群实践。腾讯的Hadoop YARN集群在2014年支持单个集群中8800个单元的规模,每天发送数亿个容器。龚军分享了优化调度器性能的一些基本思路和方法,包括改进热码算法,降低时间复杂度,避免重复搜索和计算,减少锁竞争,优化锁粒度。通过这些调度性能优化,YARN可以满足大规模集群的吞吐量。

641

陈东东主要介绍了如何使用cgroup灵活控制底层资源,确保服务请求的资源得到保证,尤其是管理多个资源的范围,包括cpu,memory,network io,disk io等,同时拥有闲置资源。在这种情况下,您可以暂时借用更多资源来提高底层资源的利用率。

641

此外,Cloudera,JD,小米,阿里,滴滴,华为,以及字节跳动的嘉宾也参与了分享,重点关注Hadoop在大型企业的大规模实践,HDFS优化和优化,YARN以及机器学习和云计算。讨论了本机集成和架构演化等主题。