Hadoop很酷,Spark很快,但有时候你需要经过优化的硬件,处理越来越庞大的数据工作负载。这正是Kinetica基于的前提,这种内存中数据库充分发挥了大规模分布式图形处理单元(GPU)的强大功能:有望将实时分析性能提升100倍至1000倍
针对k-means目前的特点,浪潮日前与国内某知名搜索公司实现合作,成功实现了对k-means算法的优化。在项目过程中,浪潮高性能计算并行团队在分析代码后,提出GPU集群的解决方案,并提出了从硬件(计算节点、网络互联、存储节点)到软件(优化软件)的一揽子解决方案。特别在软件方面,浪潮与客户算法专家团队共同成立专门联合项目组,基于K-means串行版本,完成GPU MPI集群版本的实现,节点内使用CPU+GPU协同计算,大幅降低了计算时间。