Neo4j·数据导入需要注意的坑·方案对比_BrotherDongDong的博客-CSDN博客
Neo4j·数据导入需要注意的坑·方案对比
BrotherDongDong
于 2018-07-27 10:23:42 发布
12671
收藏
32
分类专栏：
数据库
文章标签：
Neo4j
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzwdcld/article/details/81232489
版权
数据库
专栏收录该内容
7 篇文章
0 订阅
订阅专栏
如果觉得写的好或对您有帮助，麻烦右边点个赞哦~~
数据导入方案对比
neo4j-admin import
最快的方案10s导入15w节点Spark（同事）
0.5h, 50w节点apoc导入hdfs里的csv文件
100w个节点数据0.5h导不完
CSV处理经验
源数据到CSV，注意将源数据中的英文，进行提前处理字符串内部的引号不提前转义或过滤会引起导入错误
如： 的合法时间“为人特让他”发顺丰 被识别为三个字符串hash不是唯一映射， 自增长ID可以解决唯一性问题
.CSV说明
Node的类型用:Label做headerEdge的类型用:TYPE做header官方文档里ID用的是不带引号的字符串，ID是32位内整型（忘记在哪查到的了）.CSV中的字符串不一定要有单引号' '或双引号，两种引号应该都可以。但请一定加引号，避免字段内有英文逗号。header中propertyName后面的“:类型" 可以省略node.csv里加了ID namespace，edge.csv里也得加上才能互相识别出来Official Document. https://neo4j.com/docs/operations-manual/current/tutorial/import-tool/
可以把同一个label的csv文件分成多个，比如：person-part1.csv, person-part2.csv，只要把它们写在一个--nodes参数就可以了。 
neo4j 批量导入数据
将大规模数据导入Neo4j的五种方法. https://blog.csdn.net/xingxiupaioxue/article/details/71747284【推荐】.http://arganzheng.life/import-json-data-into-neo4j.html
内容：
通过neo4j-admin import命令可以将数据从 CSV 文件批量导入到未使用的数据库。load data into a previously unused database.通过[LOAD CSV](https://neo4j.com/docs/developer-manual/3.2/cypher/clauses/load-csv/)语句 import small to medium-sized CSV files into an existing database.
官方提供的 neo4j-import
https://neo4j.com/docs/operations-manual/current/tutorial/import-tool/步骤：
不需要启动数据库可以执行默认只支持相对路径。 请将需要导入的文件放到bin目录下（其他路径没试过）执行neo4j-import命令一定要在neo4j根目录的bin文件夹下进行，否则回报参数不全这种奇怪的问题。X.db不能已经存在，即使不报错，最后数据也不正确。.\neo4j-import --into ..\data\databases\graph-geo.db --nodes node*.csv --relationships edge*.csv --ignore-extra-columns=true --multiline-fields=true --skip-bad-relationships=true --bad-tolerance=500(windows) .\neo4j-import --into ..\data\databases\graph5.db --nodes food*.csv --nodes geography*.csv --nodes location*.csv --nodes travel*.csv --relationships:Relation edge.csv --ignore-extra-columns=true --multiline-fields=true --skip-bad-relationships=true --bad-tolerance=500--ignore-extra-columns=false && --bad-tolerance=500 时，当某行列数超过头部，导入数据会直接失败，这一行不会被忽略。Input error: Expected '--nodes' to have at least 1 valid item, but had 0 [] 表示文件路径不支持
如果要是用缩写，结尾必须带有.csv失败的原因是geography*，location*这种写法不支持
geography*.csv是允许的，geography*是不允许的。--nodes food*.csv --nodes geography*.csv --nodes location*.csv --nodes travel*.csv是允许的，food*.csv,geography*.csv,location*.csv,travel*.csv是不允许的
如果.csv中没有:LABEL这一列，需要在命令中显示指定LABEL，如下：
--nodes:Entity --relationships:Relation使用绝对路径的方法. https://my.oschina.net/sunyouling/blog/882754
没试过在配置文件中注释#dbms.directories.import=importLoad CSV 支持周期性分批导入
Linux下使用neo4j-import
不需要先执行neo4j consolesudo /usr/bin/neo4j-import  --into  /var/lib/neo4j/data/databases/graph.db   --nodes ~/node*.csv  --relationships ~/edge*.csv 
Tips
导入关系的时候最好先把节点的id索引构建了。这样在做关系节点关联查询的时候会比较快。mac导入数据. http://arganzheng.life/import-json-data-into-neo4j.html
BrotherDongDong
关注
关注
点赞
32
收藏
打赏
评论
Neo4j·数据导入需要注意的坑·方案对比
如果觉得写的好或对您有帮助，麻烦右边点个赞哦~~ 数据导入方案对比neo4j-admin import最快的方案10s导入15w节点Spark（同事）0.5h, 50w节点apoc导入hdfs里的csv文件100w个节点数据0.5h导不完 CSV处理经验源数据到CSV，注意将源数据中的英文，进行提前处理...
复制链接
扫一扫
专栏目录
neo4j-admin import导入工具csv导入及参数说明
07-25
neo4j-admin import导入工具csv导入及参数说明
【Neo4j学习】Neo4j使用过程报错记录
weixin_44849501的博客
05-06
512
报错记录
1.Import-Module : 未能加载指定的模块解决方法：
解决办法：找到bin目录下的neo4j ps1 文件，将其打开找到Import-Module将相对路径改为绝对路径即
可。
"D:\Neo4j\neo4j-community-3.5.25\bin\Neo4j-Management.psd1"
2.更改密码时neo4j Neo.ClientError.Security.Unauthorized
解决办法：conf文件夹下neo4j.conf打开，将#dbms.security
评论 8
您还未登录，请先
登录
后发表或查看评论
如何将大规模数据导入Neo4j
热门推荐
人生最遗憾的莫过于：轻易地放弃了不该放弃的,固执地坚持了不该坚持的
05-12
2万+
如何将大规模数据导入Neo4j
项目需要基于Neo4j开发，由于数据量较大（数千万节点），因此对当前数据插入的方法进行了分析和对比。
常见数据插入方式概览
Neo4j Version
Language Driver
Community 3.0.2
Python neo4j-driver 1.0.0
目前主要有以下
Neo4j本地上传数据：Input error: Expected ‘--nodes‘ to have at least 1 valid item, but had 0 []
最新发布
qq_47410487的博客
11-09
11
Neo4j本地上传数据：Input error: Expected '--nodes' to have at least 1 valid item, but had 0 []
neo4j中导入数据的两种常用方式（千万级和亿级）
阿黎逸阳的博客
06-29
1774
neo4j中快速导入csv数据的两种方式
Neo4j笔记（三）Neo4j批量导入数据
haveanybody的博客
05-24
6426
Neo4j批量导入提供了三个工具：load csv、neo4j-admin import、apoc。本文只介绍前两个方法，也是使用最多的方法，关于apoc的内容在后面介绍。load csv和neo4j-admin import的主要区别就是 load csv是在线导入方式，即Neo4j不需要停止运行，支持增量导入数据，本质是cypher语言；neo4j-admin import 导入数据必须是生成...
neo4j导入数据的不同方式比较
chenpe32cp的博客
03-10
984
本文转自这里，更多内容请点击原文查看
常见数据导入方式概览
(1) Cypher create 语句，为每一条数据写一个create
(2) Cypher load csv 语句，将数据转成CSV格式，通过LOAD CSV读取数据。
(3) 官方提供的neo4j-import工具，未来将被neo4j-adminimport代替
(4) 官方提供的Java API BatchI...
csv文件导入neo4j、数据批量导入neo4j
Karenmaxx的博客
07-01
4768
csv文件导入neo4j、数据批量导入一、数据准备阶段1.创建文件夹2.导入neo4j数据格式2.1 结点类型2.2 关系类型2.3.csv文件转换二、数据导入阶段Import文件夹导入的代码语句大功告成三、一些问题导入neo4j后乱码问题Unable to parse header
一、数据准备阶段
1.创建文件夹
首先进入neo4j文件夹，看一下是否有import这个文件夹，没有的话就新建一个。
2.导入neo4j数据格式
2.1 结点类型
csv文件需要指定一个唯一标识id，如果需要标签的话用
[学习笔记]neo4j离线导入csv文件——neo4j import
qq_43405375的博客
04-26
3262
官方文档
一、
准备好所需的csv文件，文件格式为：节点[node:ID,name,:LABEL]以及关系[:START_ID,:END_ID,:TYPE]，文件存放在neo4j安装地址，新建一个import文件夹，参考地址：F:\neo4j-chs-community-4.2.2-windows\import
二、
打开cmd窗口，进入neo4j安装地址
F:\neo4j-chs-community-4.2.2-windows
先输入neo4j stop 停止服务
neo4j stop
再输入n
Neo4j导入csv数据错误for header: [classId:ID, name:string, :LABEL]
Learning from the mistakes
07-30
2418
今天在用Neo4j的时候出现了下面的错误：
➜ installation-3.5.6 ./bin/neo4j-admin import --mode=csv --database=graph.db --nodes /Users/admin/Documents/data/knowledgeGraph/students.csv,/Users/admin/Documents/data/knowle...
Neo4j数据导入导出
qq_42367906的博客
03-28
1981
Neo4j数据导入导出
------------------------导出------------------------
1.先关闭neo4j
neo4j stop;
2.执行备份命令
neo4j-admin dump --database=graph01.db --to=E:\neo4jdata
graph01.db是数据库名，自己指定的，若不指定则默认导出全部，默认是graph.db
------------------------导入------------------------
1.先关闭ne
一点neo4j导入数据实践
龙共三金的专栏
08-26
217
neo4j版本
使用3.5.3
unwind
测试使用jdbc批量插入的形式，驱动使用bolt协议，测试发现使用http协议数据库服务端直接承受不了负载不响应请求。
load csv
load csv 可以定时提交数据到neo4j，使用语法using periodic commit 10000，这种方式写是很方便的，但是有个问题，比如我们的导入的数据是一个点很多关系的，那我们肯定希望点不能重复，那我们需要使用merge语法来写数据，因为merge = match + create，所以我们需要对点建立索引（
记录第一次使用neo4j进行图数据库实验时踩到的一些坑
Dan_Kuroto的博客
07-18
475
PyCharm项目迁移时报错：虚拟环境SDK失效
很显然，提供项目文件的那个人没咋用过GitHub(╬▔皿▔)╯我以前在GitHub上见到的python项目都是代码文件+资源文件+requirements.txt，装第三方库的时候直接一句pip install -r requirements.txt就能搞定，它不香吗？
不过没办法，木已成舟，总不能就这么不做了吧。
我的解决方法是这样的：直接运行代码，根据报错信息，我们可以知道缺少哪些库，比方说，如果缺py2neo这个库，那就在venv/lib/site-p
Windows10-Neo4j安装问题及解决方案
weixin_30342209的博客
08-18
1079
暑假都过得差不多了才终于开始搭环境了
1、下载Neo4j
Neo4j官网下载翻墙的话还可以 不翻墙的话下了好几次都下不下来
不用下载desktop，下载community server就可以了
2、下载jdk
然后在Oracle官网上下载最新版的jdk
我下的是.zip 解压之后在\bin里面会有java.exe就是neo4j连接时需要的
在环境变量添加JAVA_HOME，...
2019-06-28 知识图谱：Neo4j数据导入与多库切换
雨笋情缘的专栏
06-28
144
一. 数据导入
（1）import导入csv
格式：
neo4j-admin import [--mode=csv] [--database=<name>]
[--additional-config=<config-file-path>...
关于批量导入数据到neo4j
qq_15800603的博客
07-21
1136
基于neo4j-admin import
一、首先将要导入的数据置于neo4j根目录下的import文件夹下
二、可通过conf文件夹下的配置文件neo4j.conf做一些配置
对于默认数据库的配置
dbms.default_database=neo4j
初始时时注释状态，可去掉其注释；由于neo4j数据库每次只能运行默认的数据库，所以可以根据需要进行修改。
dbms.security.auth_enabled=false
...
Neo4j导入：java.lang.IllegalStateException：不支持在单个导入中混合指定和未指定的组所有物...
最佳 Java 编程
06-04
99
休息片刻之后，我最近一直在使用Neo4j导入工具 ，并遇到了我最初不理解的有趣的错误消息。
我有一些CSV文件，其中包含要导入Neo4j的节点。 它们的内容如下所示：
$ cat people_header.csv
name:ID(Person)
$ cat people.csv
"Mark"
"Michael"
"Ryan"
"Will"
"Jennifer"
"Karin"...
neo4j的安装及使用neo4j-import导入数据
ilasjdklfj的博客
01-21
1万+
neo4j安装
去官网（https://neo4j.com/download/other-releases/#releases）下载neo4j对应版本，解压即可使用
tar -xzvf neo4j-community-3.3.1-unix.tar.gz
启动命令：bin/neo4j start/console/stop（启动/控制台/停止）
命令行：bin/cyphe
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：编程工作室
设计师：CSDN官方博客
返回首页
BrotherDongDong
CSDN认证博客专家
CSDN认证企业博客
码龄12年
暂无认证
86
原创
10万+
周排名
58万+
总排名
27万+
访问
等级
3585
积分
63
粉丝
91
获赞
44
评论
222
收藏
私信
关注
热门文章
离散数学-二元关系、闭包的概念
38118
算法学习-分治法-大整数乘法
22863
Neo4j服务关闭启动·常用配置·快速设定新密码
16301
图数据库查询语言Cypher、Gremlin和SPARQL
13588
Neo4j·数据导入需要注意的坑·方案对比
12669
分类专栏
Neo4j
图数据库图计算
数据结构和算法
4篇
正则表达式
1篇
设计模式
面试
招聘
Online Judge
1篇
网络
4篇
国科大24小时选课工具
数据库
7篇
数据处理
6篇
笔试面试
2篇
感想
3篇
计算机基础与理论
10篇
留念
1篇
程序人生
4篇
Java
4篇
知识图谱
5篇
图数据库
19篇
最新评论
对DBpedia各子数据集特点分析
moss flora:
可以用curl或者wget
算法学习-分治法-大整数乘法
Linux丶JJ:
不懂别这么暴躁好吗，算法领域都把log2n记为logn
算法学习-分治法-大整数乘法
a8853881029:
！！！！2的n次方和10的n次方分不清楚，写出来误人子弟！！！要不就不要写！！！！！！！！
JanusGraph·Index中文笔记
mike198300:
不错，值得学习下
Neo4j·数据导入需要注意的坑·方案对比
weixin_39249736:
请问数据中的英文需要如何处理，一直报错说找不到结束引号
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
JanusGraph Remote Server简单配置连接 入门
微软项目总结
关于百科知识图谱zhishime数据集的调研（解压后5G，支持循环多跳）
2018年65篇
2016年3篇
2015年17篇
2013年2篇
目录
目录
分类专栏
Neo4j
图数据库图计算
数据结构和算法
4篇
正则表达式
1篇
设计模式
面试
招聘
Online Judge
1篇
网络
4篇
国科大24小时选课工具
数据库
7篇
数据处理
6篇
笔试面试
2篇
感想
3篇
计算机基础与理论
10篇
留念
1篇
程序人生
4篇
Java
4篇
知识图谱
5篇
图数据库
19篇
目录
评论 8
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
BrotherDongDong
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值