浪潮服务器助力去哪儿大数据集群建设

2016-02-18 11:02
浏览量: 收藏:0 分享

  “去哪儿”是一个旅游搜索引擎中文在线旅行网站,创立于2005年2月,总部在北京。作为一家创新的技术公司,去哪儿网致力于为中国旅游消费者提供全面、准确的旅游信息服务,促进中国旅游行业在线化发展、移动化发展。去哪儿网为消费者提供机票、酒店、度假产品的实时搜索,并提供旅游产品团购以及其他旅游信息服务,为旅游行业合作伙伴提供在线技术、移动技术解决方案。

客户需求

  “去哪儿”为旅游者提供国内外机票、酒店、度假和签证服务的深度搜索,帮助中国旅游者做出更好的旅行选择。凭借其便捷、人性且先进的搜索技术,“去哪儿”对互联网上的机票、酒店、度假和签证等信息进行整合,为用户提供及时的旅游产品价格查询和信息比较服务。

  “去哪儿”基于大数据为用户实现精准搜索,让信息更精准连接到人,在大规模集群上提供MPI、BSP、MapReduce、Spark等多种计算模型,实现大规模基础统计、分类、聚类、矩阵分解、图算法等一系列算法,通过这种方式构建大数据分析平台。利用online learning技术,改进机器学习算法的规模以及性能,对网站进行内容基因分析,对用户进行长期兴趣点、短期兴趣点等的画像分析,帮助用户更快获取有兴趣的信息。

  由于业务发展,需要建立hadoop大数据集群。大数据集群不同类型的节点有不同的计算性能、存储容量、IO性能需求,服务器硬件需要对Hadoop工作负载进行优化设计。

解决方案:SA5112M4+SA5212M4的组合方案

去哪了

  Hadoop集群主要包括两类节点:Master和Slave节点。不同节点,采用SA5112M4+SA5212M4服务器组合的方式,适应不同的工作负载以及存储容量的需求。

  采用Inspur SA5112M4服务器为用户提供hadoop的Master节点方案,Master节点包括Jobtracker、Namenode等。 设计针对Hadoop工作负载进行优化的平衡架构: 2颗Intel Xeon E5-2630v3处理器,以及128G内存满足管理节点高性能需求。其中以NameNode为例,NameNode存储了所有分布式文件系统的元数据,其中包括文件、目录结构以及内存中的分块分配。每个分布式文件系统分块在NameNode的内存中大小约为250字节,另外加上文件和目录所需的250字节。按照64M的分布式文件系统分块大小,同时副本因子为3,64M实际数据需要1500字节内存空间。根据用户情况,haddop集群有PB级文件,且每个文件至少由1个分块组成,因此为NameNode配置128G内存以满足扩展需要。除此之外,采用2GB缓存的高速率raid卡、双600G硬盘做Raid1,为系统提供高可靠性。

  采用Inspur SA5212M4服务器为用户提供slave节点,其中主要包括TaskTracker和DataNode。服务器采用2颗Intel Xeon 2620V2处理器,128G内存,保障数据并行访问效率;配置2块600G SAS盘做Raid1为系统盘,12块3T SAS硬盘提供大容量数据空间,而IOPS性能由hadoop架构本身补偿。

  浪潮是中国互联网市场最大的服务器供应商,有着12年深耕互联网的丰富经验,最新的Grantley系列服务器专为互联网应用设计。它采用全新智能计算加速技术,搭载最新一代英特尔至强E5-2600V3系列处理器,可根据用户应用智能调节提供更优性能,可显著提升应用程序性能。采用最新的DDR4内存技术,内存带宽提升50%。相比DDR3,传输速率提高2~4倍,但耗电量减少,使得相同传输速率下,功率降低高达57.1%,帮助“去哪儿”大幅度提升大数据处理速率,并同时降低能耗。存储上SA5112M4支持8块2.5寸或4块3.5寸硬盘加上2块前置SSD,SA5212M4支持前置12块3.5寸加后置4块2.5寸硬盘,为“去哪儿”的大数据分析提供足够的存储空间及响应速度。最新的12Gbps硬盘控制器,将使得磁盘控制器与硬盘之间数据传输速度翻倍,也就意味着整个数据传输系统速度翻倍。

客户收益

  根据“去哪儿”的实际需求,Inspur为其提供SA5112M4+SA5212M4双路服务器的组合方案,借助组合方案服务器出色的可靠性、可访问性、灵活性、易用性等特点,满足用户对于IT产品性能、管理等方面的要求,提高用户的使用和管理效率,有效提高客户的运维效率,降低服务器设备的总体拥有成本。

  SA5112M4服务器以1U的紧凑尺寸提供更好的性能、效率、存储容量和可靠性,为用户提供高密度以及高性能工作负载,适应当前业务发展需要。

  SA5212M4服务器为2U服务器,相较SA5112M4具备更高的PCIE扩展性以及存储容量。,为用户提供更加灵活的业务能力选择。

  SA5112M4+SA5212M4组合拳方式,多角度响应用户需求,为用户提供更多业务上的灵活选择。


标签:

责任编辑:管理员
在线客服