RereGraph:分布式图计算引擎
RereGraph是由我公司自主研发的分布式图计算框架,构建于RereCache(分布式缓存框架)基础之上,主要用于计算、分析与挖掘大数据领域数据实体之间的大规模关联关系。
RereGraph功能类似于Spark中的GraphX等图计算框架,但有以下不同特点:
(1)RereGraph是轻量级框架,主要作为底层构件用于支撑其它应用类大数据软件系统,而非构建大数据挖掘平台;
(2)RereGraph主要面向OLTP,实时性和速度为第一要求,OLAP为辅助性应用;
(3)RereGraph构建在RereCache之上,数据为分布式可变数据,而非Spark中的非可变(immutable)数据,高度强调模型的增量式训练。
RereGraph目前已支持的计算模型包括:
(1)MapReduce;
(2)QueuedOperation;
(3)BatchedOperation
(4)PageRank;
(5)Community detection;
(6)ShortestPath;
(7)TriangleCount;
(8)Connected components
RereGraph将会持续开发,不断增加和实现更多图计算模型。