SparkGraphX和Neo4j对比_天心有情的博客-CSDN博客_graphx对neo4j的操作
SparkGraphX和Neo4j对比
天心有情
于 2019-07-19 15:33:43 发布
2751
收藏
分类专栏：
neo4j
SparkGraphX
文章标签：
neo4j和Graphx
Graphx
neo4j与graphx区别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_35045195/article/details/96481886
版权
neo4j
同时被 2 个专栏收录
4 篇文章
0 订阅
订阅专栏
SparkGraphX
1 篇文章
0 订阅
订阅专栏
SparkGraphX和Neo4j对比
Neo4j
优点
支持交互式查询，查询效率很高。能够迅速从整网中找出符合特定模式的子网，供随后分析之用，适用于OLTP（Online Transaction Processing）场景支持算法：
社区发现算法,中心算法,路径查找算法,相似度算法,连接分量预测算法
缺点
不支持数据分片。因此存储数据有限
Spark
支持海量数据，运算基于RDD，因此Spark的优点既是SparkGraphX的优点，他的概念集中在图计算，而非图存储和查询领域，适合OLAP（Online Analytical Processing）场景支持算法
网页排名算法三角计数算法连接分量算法社区发现算法最短路径算法
Neo4j补充
Neo4j 是图数据库产品，偏向于存储和查询。图存储是说它能装那些关联关系比较复杂，实体之间的连接很丰富，就像一张网或一张图的数据。比如社交网络，知识图谱，金融风控等领域的数据。图查询是说它擅长从某个点或某些点出发，根据特定条件在复杂的关联关系中找到目标点或边。比如说在社交网络中找到我三步以内能认识的人，这些人可以认为是我的潜在朋友。这种数据量限定在一定范围内，能短时完成的查询就是所谓的 OLTP 操作。
GraphX补充
GraphX 是一个 Spark 的一个子模块，它是一个图计算系统，也可以说是图分析系统，它不去承担数据存储的职责。图分析和图查询的区别在于：图分析往往是整张图的操作，而且可能是多次迭代；而图查询只涉及图的一部分，且只需一次。对用户而言最直观的感受是：图分析很慢，图查询很快。
总结
Neo4j 这样的图数据库是在线事务处理 OLTP，GraphX 这样的图处理系统是在线分析处理 OLAP。
主要参考地址
https://www.zhihu.com/question/23916994
https://zhidao.baidu.com/question/1177784139537807219.html
https://neo4j.com/docs/graph-algorithms/3.5/
https://spark.apache.org/docs/2.2.0/graphx-programming-guide.html#aggregate-messages-aggregatemessages
https://stackoverflow.com/questions/28609125/neo4j-or-graphx-giraph-what-to-choose
https://www.jianshu.com/p/ad5cedc30ba4
天心有情
关注
关注
点赞
收藏
打赏
评论
SparkGraphX和Neo4j对比
SparkGraphX和Neo4j对比Neo4j优点支持交互式查询，查询效率很高。能够迅速从整网中找出符合特定模式的子网，供随后分析之用，适用于OLTP（Online Transaction Processing）场景支持算法：社区发现算法,中心算法,路径查找算法,相似度算法,连接分量预测算法缺点不支持数据分片。因此存储数据有限Spark支持海量数据，运算...
复制链接
扫一扫
专栏目录
基于SparkGraphx+Neo4j实现用户社群发现
02-24
中国有句老话，叫物以类聚，人以群分，在反作弊和市场营销等应用中，如果我们能根据用户间的某些联系发现社群，然后对这些社群进行反作弊分析或商品推荐，往往会起到意想不到的效果。本文就来介绍一个简单的社群发现的实践。构建社群我们首先需要找到社群用户的某种联系，上文提到的收徒模式本身就是用户间的一个天然联系，我们可以根据用户的师徒关系来构建社群。如下图所示，根据师徒关系我们构建了一个社群，点表示用户，边表示师徒关系。有了这样的社群之后，我们就可以基于社群维度分析设备及用户行为的异常，比如单个设备登陆过多的用户，设备一直处于充电状态，所有用户行为高度一致等，同时可以计算社群用户作弊率来通过已知作弊用户来发
连通子图个数leetcode-Neo4j-GraphX:类似于Shifu-Neo4j-GraphX扩展了Neo4j图数据库，以在可扩展的数据集
07-06
连通子图个数Neo4j-GraphX
Neo4j-GraphX
扩展了
Neo4j
图数据库，以在可扩展的数据集上使用
HDFS
Apache
Spark
处理大数据图算法
Neo4j
的图形分析
建筑学
此扩展使用
Message
Broker
架构，它是一个中间程序模块，可将消息从发送方的正式消息传递协议
(neo4j)
转换为接收方的正式消息传递协议
(Apache
Spark)。
此消息代理用于将图形处理作业分发到模块。
子图从
Neo4j
导出，并在调度代理作业时写入。
Neo4j
将子图导出到
HDFS
后，会通知
Spark
的单独服务开始处理该数据。
然后这个扩展通过
Scala
调用
Spark
GraphX
模块开始图处理算法。
然后
Spark
GraphX
模块将序列化和分布式算法发送给
Apache
Spark
进行处理。
支持的算法
SVD++（不稳定）
网页排名
亲近中心性
中介中心性
三角形计数
连接组件
强连接组件
标签传播（不稳定）
Neo4j
Mazerunner
服务
此图中的
Neo4j
Mazerunner
服务是一个向
Ne
参与评论
您还未登录，请先
登录
后发表或查看评论
graphX 基本介绍
08-08
spark graphX 简单介绍
graphX示例
最新发布
weixin_45514285的博客
10-07
167
graphX示例
基于spark Graph X的图形数据分析
TT15751097576的博客
10-13
388
基于spark Graph X的图形数据分析
理解Spark Graph X数据模型
理解SparkGraphX API
理解Spark Graph X 图算法
​ PageRank
理解Spark Graph X Prege
许多大数据以大规模图或网络的形式呈现的
许多非图结构的大数据
Neo4j 专门用于图形数据库
列数据库是按照列来存储数据，行式数据库式按照几张表来存储...
PageRank算法--从原理到实现
热门推荐
rubinorth的博客
08-15
4万+
PageRank 算法标签： PageRank Markov MapReduce本文将介绍PageRank算法的相关内容，具体如下：PageRank 算法
算法来源
算法原理
算法证明
PR值计算方法
1 幂迭代法
2 特征值法
3 代数法
算法实现
1 基于迭代法的简单实现
2 MapReduce实现
PageRank算法的缺点
写在最后
参考资料1. 算法来源这个要从搜索引擎的发展讲起。最早的搜
图数据库选型对比：HugeGraph、JanusGraph、Neo4j
hellohiworld的博客
03-12
8392
图数据库选型对比：HugeGraph、JanusGraph、Neo4j
​图数据库是NoSQL Database的一种类型，它应用图形理论存储实体之间的关系信息。它应用图形理论存储实体之间的关系信息。最常见例子就是社会网络中人与人之间的关系。关系型数据库用于存储“关系型”数据的效果并不好，其查询复杂、缓慢、超出预期，而图形数据库的独特设计恰恰弥补了这个缺陷。
​ 现在市面上经常有的图库...
图数据库 Neo4j 学习随笔之高级操作
qq_19283249的博客
05-03
746
Neo4j - CQL 使用
Neo4j 的 Cypher 语言是为处理图形数据库而构建的，CQL 代表 Cypher 查询语言。
类似 关系型数据库的 SQL 语言。
文章目录Neo4j - CQL 使用前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结
前言
提示：这里可以添加本文要记录的大概内容：
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。
提示：以下是本篇文章正文内容，下面案例可供参考
一、panda
neo4j与spark 的结合
for_yayun的博客
03-07
1911
spark 是用来 做 图计算的，Graphx,其实 spark 和Neo4j 有交叉点，在图论算法上都可以用上
使用 neo4j 和 spark 结合
1.首先 如果你的neo4j 是需要账号密码登录的话，你就应该 在项目中配置一下，两三种方式
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{SQLContext, Spa...
图数据库Neo4j
谢彦的技术博客
02-19
1322
传统数据库难以处理复杂多跳的关系运算。需要一种支持海量、复杂、且结构灵活的关系运算数据库，图数据库应运而生。
相关概念
简介
图数据库由顶点和边组成；
主要用于对图数据的增删改查；
目前常用的图数据库有Neo4j，JanuxGraph等
使用场景
常用于社交、电商、金融、零售、物联网等行业
用于关系查询
用于遍历复杂关系
用于实现复杂的规则：如子图比较、推荐等
对于结构化数据，常可使用关系型数据库；对于关系比较多，数据不太规律的情况，则用图数据库
分类
属性图数据库
构成：顶点、边、顶
neo4j连接spark
weixin_42625388的博客
05-10
551
neo4j连接spark（使用neo4j-connector-apache-spark_2.12）
一、依赖
spark版本：2.4.5
scala版本：2.12
这里使用的依赖是：
<dependency>
<groupId>neo4j-contrib</groupId>
<artifactId>neo4j-connector-apache-spark_2.12</artifactId>
谈谈Spark GraphX吧！
明日菜心
06-29
4155
一.浅谈Spark GraphX
1.首先，介绍下构成图的两大结构体。
1）一个是节点RDD，其结构体如下：
VertexRDD[VertexProperty]=RDD[(VertexId,VertexProperty)]
2）一个是边RDD，其结构体如下：
EdgeRDD[EdgeProperty]=RDD[Edge[EdgeProperty]]）,附加一个既含有节
GraphX与GraphLab、Pregel的对比
yang灬仔
09-19
868
分布式批同步BSP
Pregel、GraphLab、GraphX都是基于BSP（Bulk Synchronous Parallel）模式，即整体同步并行。一次计算过程由一系列全局超步组成，每一个超步由并发计算、通信和同步三个步骤组成。从垂直上看,一个程序由一系列串行的超步组成。从水平上看，在一个超步中，所有的进程并行执行局部计算。BSP最大的好处是编程简单，但在某些情况下BSP运算的性能非常差，...
python neo4j子图挖掘,将Neo4j子图加载到Networkx
weixin_29111593的博客
02-19
451
I have been dealing with Neo4j through python's Bulbflow and now need a way to save/export subgraphs. I have seen Java and even Ruby approaches for doing this, however a simple Python approach seems t...
Apache Spark源码走读之14 -- Graphx实现剖析
weixin_34256074的博客
06-11
107
欢迎转载，转载请注明出处，徽沪一郎。
概要
图的并行化处理一直是一个非常热门的话题，这里头的重点有两个，一是如何将图的算法并行化，二是找到一个合适的并行化处理框架。Spark作为一个非常优秀的并行处理框架，将一些并行化的算法移到其上面就成了一个很自然的事情。
Graphx是一些图的常用算法在Spark上的并行化实现，同时提供了丰富的API接口。本文就Graphx的代码架构及pagerank在...
graphx-社区发现（community detection）
qq_14950717的博客
03-07
7003
LPA算法（标签传播算法）
1、为所有的节点指定一个唯一的标签
2、逐轮刷新所有节点的标签，直到达到收敛要求为止，对于每一轮刷新，节点标签刷新的规则如下：
对某一个节点，考察其所有邻居节点的标签，并进行统计，将出现个数最多的那个标签赋给当前节点，当个数最多的标签不唯一时，随机选择一个。
目前spark-graphx实现了该社区发现算法。该算法优点就是算法原理简单，实现简便，廉价的计算;缺点就
GraphX的基本介绍
feige1990的专栏
09-04
3354
1、GraphX的需要懂的三个问题：
(1)提供给用户的API,各家提供的差不多
(2)图在分布式系统中如何存储？每个机器存哪个边？哪个点？
(3)分布式图是如何通信的呢？（边点确定时）
2、GraphX图引擎
基于Spark，其存的点和边叫分别较做EdgeRDD和VertexRDD，相比于RDD，附加了元信息。
分布式的存储方式会影响后期的执行效率；边和点的存
大数据Spark结合图数据库Neo4j设计架构
徐腾瑞的博客
02-24
2241
Introduce
大数据分布式技术结合图库Neo4J项目，由于Neo4j采用单节点，性能存在以下问题：
. 插入速率随着图库数据增加而减少，成反比相关。
. 对前端页面查询点边关系，测试一条数据耗时10s以上。
所以重新设计架构，采用分布式中间件来取代单节点式Neo4j部分功能。经测试，几套架构尚可满足Spark离线处理和实时计算需求。
Coding Introd...
Neo4j连接spark(使用neo4j-spark-connector.jar)
weixin_44455388的博客
03-03
3745
(1)首先，需要自行编译添加jar包 neo4j-spark-connector_*.jar或者添加maven依赖。
下载源码:
https://github.com/neo4j-contrib/neo4j-spark-connector
使用maven编译。
或直接使用maven仓库:
<!-- https://mvnrepository.com/artifact/neo4j-contr...
大数据Spark实战第六集 图像处理和GraphX实战
fegus的博客
04-30
1342
什么是图：图模式，图相关技术与使用场景
在本模块中，我们将学习 Spark 如何处理图，也就是 Spark 的图挖掘套件 GraphX。虽然图这种数据结构在最近几年中，越来越多地出现在业务场景中，但平心而论，图的使用频率相比前面所学的内容还没有那么频繁。但是，一旦有这方面的需求，无论是工程师还是科学家，都可以用 Spark 提供的解决方案很好地完成任务，甚至可以说是“屠龙技”也不为过，经过本模块的学习之后，相信你也会有这样的感受。
本课时主要围绕图这种核心结构介绍，分为以下三个部分：
图结构
图存储
使用SparkJava和Neo4j构建Java后端案例
m0_69860228的博客
04-21
150
前端是用 vue.js 编写的，看起来很漂亮。
它调用许多 REST API 端点来提供不同的视图和功能。
基本功能是：
注册和验证用户并存储他们的信息
列出类型、电影、排序和过滤的人员以及相关信息
收藏和评价电影并返回这些列表和推荐
应用程序开发课程逐步实现端点，从假夹具数据开始，到成熟的应用程序结束，准备部署。
这里是包含应用程序代码的存储库，可用于构建和运行应用程序。
Web 框架 - SparkJava
您可能没有听说过SparkJava，它已经存在了很长一段时间，它是 Ex...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：技术黑板
设计师：CSDN官方博客
返回首页
天心有情
CSDN认证博客专家
CSDN认证企业博客
码龄7年
请填写具体企业名称、岗位名称
102
原创
1万+
周排名
2万+
总排名
28万+
访问
等级
3356
积分
1620
粉丝
125
获赞
83
评论
246
收藏
私信
关注
热门文章
‘conda‘ 不是内部或外部命令，也不是可运行的程序 或批处理文件。
52718
scala中extends和with的使用
15262
Name node is in safe mode.（NameNode处于安全模式）
14694
图数据库JanusGraph与neo4j对比
10273
FileSystem类的方法使用
9946
分类专栏
dolphinscheduler
5篇
Spark学习之路-思想
5篇
Spark学习之路-源码
14篇
操作系统
1篇
CDH
2篇
linux
2篇
Spark
29篇
SparkRPC
8篇
hadoop
9篇
scala
8篇
Zookeeper
1篇
hive
6篇
scrapy
2篇
HBase
5篇
HDFS
4篇
java
12篇
neo4j
4篇
kafka
2篇
机器学习数据集
1篇
spark机器学习
1篇
坑爹那回事
24篇
图解大数据
3篇
图数据库
3篇
Greenplum
2篇
SparkGraphX
1篇
最新评论
Neo4j性能测试
天心有情:
是的，用的是shell查询，服务也需要反复关闭，预热就是提前查询一次，第二次查询，第一次查询无论在哪查询一样的
Neo4j性能测试
weixin_46040059:
咨询下，这个预热和不预热是针对cypher-shell查询么。你测试时，是不是需要反复关闭服务。预热是只执行一条命令就行了吧，在浏览器前端中执行也行吧
Centos7安装CDH6.3.0
天心有情:
文章内附有链接，自己注册账号下载
Centos7安装CDH6.3.0
᭄凌云࿐:
您好，您有cdh3.6.0的安装资料包吗？
Neo4j性能测试
写点有用的:
好的，谢谢博主
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
基于Thrift的分布式Hive数据源连接器
Required field ‘client_protocol‘ is unset 原因探究
浅谈IOC编程思想
2022年9篇
2021年7篇
2020年7篇
2019年26篇
2018年14篇
2017年39篇
目录
目录
分类专栏
dolphinscheduler
5篇
Spark学习之路-思想
5篇
Spark学习之路-源码
14篇
操作系统
1篇
CDH
2篇
linux
2篇
Spark
29篇
SparkRPC
8篇
hadoop
9篇
scala
8篇
Zookeeper
1篇
hive
6篇
scrapy
2篇
HBase
5篇
HDFS
4篇
java
12篇
neo4j
4篇
kafka
2篇
机器学习数据集
1篇
spark机器学习
1篇
坑爹那回事
24篇
图解大数据
3篇
图数据库
3篇
Greenplum
2篇
SparkGraphX
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
天心有情
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值