什么是Oozie——大数据任务调度框架_TNTZS666的博客-CSDN博客_oozie
什么是Oozie——大数据任务调度框架
TNTZS666
于 2018-08-21 22:33:15 发布
23123
收藏
52
分类专栏：
大数据学习
文章标签：
Oozie
workflow
coordinator
任务调度框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TNTZS666/article/details/81915820
版权
大数据学习
专栏收录该内容
16 篇文章
6 订阅
订阅专栏
Oozie简介
Oozie是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。功能相似的任务调度框架还有Azkaban和Zeus。
Oozie三大功能模块
从图中不难看出，Oozie主要有三大功能模块构成：
workflow(工作流)：定义job任务执行。Coordinator：定时触发workflow，周期性执行workflowBundle Job：绑定多个coordinator，一起提交或触发所以coordinator
Oozie工作流
Oozie工作流定义，同JBoss jBPM提供的jPDL一样，也提供了类似的流程定义语言hPDL，通过XML文件格式来实现流程的定义。对于工作流系统，一般都会有很多不同功能的节点，比如分支、并发、汇合等等。Oozie定义了控制流节点（Control Flow Nodes）和动作节点（Action Nodes），其中控制流节点定义了流程的开始和结束，以及控制流程的执行路径（Execution Path），如decision、fork、join等；而动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。oozie本质就是一个作业协调工具（底层原理是通过将xml语言转换成mapreduce程序来做，但只是在集中map端做处理，避免shuffle的过程。）
执行workflow之前首先要进行相关配置：
job.properties 定义job相关属性以及参数workflow.xml 定义控制流和动作节点lib 存放job任务运行的相关资料文件[jar]
特别注意：
Oozie的工作流必须是一个有向无环图，实际上Oozie就相当于Hadoop的一个客户端，当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml，然后使用Oozie提交本次任务，Oozie会托管此任务流。
Oozie Cli命令
注意：使用Oozie之前必须先启动hdfs，yarn和jobhistory，这里jobhistory一开始很容易忘~
l 启动任务
oozie job -oozie oozie_url -config job.properties_address -run
l 停止任务
oozie job -oozie oozie_url -kill jobId -oozie-oozi -W
l 提交任务
oozie job -oozie oozie_url -config job.properties_address -submit
l 开始任务
oozie job -oozie oozie_url -config job.properties_address -startJobId -oozie-oozi -W
l 查看任务执行情况
oozie job -oozie oozie_url -config job.properties_address -info jobId -oozie-oozi -W
说明： 所有的命令都是以oozie job -oozie oozie_url 开头的-config 制定job.properties文件夹的位置，-run 文件启动后会返回一个唯一的jobId，供之后使用。
TNTZS666
关注
关注
点赞
52
收藏
打赏
评论
什么是Oozie——大数据任务调度框架
Oozie简介 Oozie是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。 它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。 Oozie需要部署到Java Servlet容器中运行。 功能相似的任务调度框架还有Azkaban和Zeus。 Oo...
复制链接
扫一扫
专栏目录
Sqoop手册（中文版）
10-08
Sqoop手册（中文版），Sqoop官方中文手册（中文版），
关于oozie的简单说明
Jack Zhu
02-14
1607
关于oozie的简单说明
1.oozie应用程序目录结构说明：
一个完整的oozie应用程序一般情况下至少包含三个文件及目录：job.properties、workflow.xml、lib（lib表示为用来存放程序运行需要的jar包，非必需）
2.flow nodes的六种类型：
start, end, decision, fork, join, kill
3.action-no
评论 2
您还未登录，请先
登录
后发表或查看评论
Sqoop简介以及使用
最新发布
喜欢yp的小菜鸟
10-18
274
1.2 Sqoop是什么
​ Sqoop是一个用于Hadoop和结构化数据存储（如关系型数据库）之间进行高效传输大批量数据的工具。它包括以下两个方面：
​ 可以使用Sqoop将数据从关系型数据库管理系统(如MySQL)导入到Hadoop系统(如HDFS、Hive、HBase)中
​ 将数据从Hadoop系统中抽取并导出到关系型数据库(如MySQL)常见数据库开源工具：​ Sqoop的核心设计思想是利用MapReduce加快数据传输速度。也就是说Sqoop的导入和导出功能是通
oozie常见问题
hua的专栏
12-10
3887
通过异常信息，可以猜测应该是在执行任务时，配置没有读到，所以使用了默认的0.0.0.0:8030地址。为了验证是否是这个原因造成的，我们可以修改oozie/conf目录下的log4j的日志级别为调试。
然后通过查看和跟踪hadoop的源代码，验证了猜想的正确性，由于oozie在提交job的时候，会读取oozie/conf/hadop-conf/core-site.xml中的配置，异常我们
Hadoop离线_oozie的概述与安装部署
weixin_44449054的博客
02-20
88
标题1.oozie的介绍2.oozie的架构3.oozie的安装
1.oozie的介绍
Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。那么，对于OozieWorkflow中的一个个的action（可以理解成一个个MapReduce任务）Oozie是根据什么来对action的执行时间与执行顺序进行管理调度的呢？答案就是我们在数据结构中常见的有向无环图(DAGDirect Acyclic Graph)的模式来进行管理调度的，我
Oozie基础入门
热门推荐
weixin_39198774的博客
03-01
3万+
前言：
因为工作需要用到oozie，但是网上的资料越看越迷茫，经过很大的努力，终于折腾清楚了，这里，做一个总结，帮助后来者更好地进行入门，当然，粗鄙之言，难免疏漏，欢迎交流指正
引入：
对于我们的工作，可能需要好几个hadoop作业（job）来协作完成，往往一个job的输出会被当做另一个job的输入来使用，这个时候就涉及到了数据流的处理。
我...
大数据调度工具oozie详细介绍
Abysscarry的博客
08-17
1万+
背景：
之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行，这样实现的话比较简单，但是随着多个job复杂度的提升，无论是协调工作还是任务监控都变得麻烦，我们选择使用oozie来对工作流进行调度监控。在此介绍一下oozie~
注：我的 Oozie server version：[4.1.0 - CDH 5.13.0]
一、官网介绍
首先看官网首...
大数据调度工具之Oozie
m0_43405302的博客
02-27
567
文章目录一、oozie1、Oozie模块1.Workflow2.Coordinator3.Bundle Job2、Oozie的常用节点1.控制流节点（Control Flow Nodes）2.动作节点（Action Nodes）二、Oozie安装1、配置maven环境1.打开文件2.输入以下内容4、验证maven仓库是否配置完成2、下载资源3、编译安装4、安装Oozie5、Hadoop配置修改1.core-site.xml2.mappred-site.xml3.yarn-site.xml6、部署Oozie7
Oozie简介
03-27
2572
Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：工作流定义当前运行的工作流实例，包括实例的状态和变量Oozie工作流是放置在控制依赖DAG（有向无环图 Direct Acyclic Graph）中的一组动作（例如，Hadoop的Map/Reduce作业、Pig作业等），其中指定了动作执行的顺序。我们会使用hPDL（...
大数据开发之oozie介绍
只是甲的博客
12-14
757
备注:
CDH 6.3.1
oozie 5.1.0
文章目录一.oozie简介二.oozie各个版本架构2.1 v12.2 v22.3 v3参考
一.oozie简介
Oozie是一个基于工作流引擎的开源框架，是由Cloudera公司贡献给Apache的，它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。
所谓工作流，即是指数据import进HDFS，然后用hive分析，然后将分析结果集export，把不同的结果集合并成最
大数据Hadoop之——任务调度器Oozie（Oozie环境部署）
匠人精神，持之以恒！
04-30
2076
文章目录一、概述二、Oozie架构三、Oozie环境部署（Oozie与CDH集成）1）添加服务2）将 Oozie 服务添加到 CDH3）自定义角色分配4）数据库设置5）审核更改6）开始自动安装并自启四、CDH的 Hue 整合 Oozie五、Oozie简单使用1）在Hue上操作Ooize1、利用 Hue 调度 shell 脚本2、利用 Hue 调度 hive 脚本3、 利用 Hue 配置定时调度任务4）CLI操作Ooize六、Oozie与Azkaban对比
一、概述
Oozie是一个基于工作流引擎的开源框架
oozie调度中的重试和手工rerun一个workflow
weixin_34179762的博客
01-31
560
在oozie中有Bundle、Coordinator和Workflow三种类型的job，他们之间可以有以下包含关系。
Bundle > Coordinator > Workflow。
1. 重新运行一个Coordinator job，可以通过如下命令：
oozie job -rerun 0000034-180116183039102-oozie-hado-C -refresh...
【Oozie】Oozie中的时区设置及Coordinator概念及实例介绍
小燕子的博客
07-20
3504
将系统默认时区西四区改为东八区，以及Oozie中的时区修改，并介绍了Oozie v2中Coodinator的概念及运行实例。
工作流调度框架 Oozie
跟着大数据和AI去旅行
01-26
2936
工作流调度框架Oozie
工作流
import -> hive -> export
将不同的业务进行编排
调度
作业/任务 定时执行
事件的触发执行
时间：如每天5点触发
数据集：如某个文件夹中有文件就触发
1.Hadoop调度框架
1. Linux Crontab（最原始，最简单的任务调度）
crontab是针对每个用户而言
规则：*分 *时 *天 *月 *星期
oozie 用法说明
learner_up的博客
01-14
983
本博客一共包含ooize workflow流程写法，job.properties 文件配置，ooize 任务的启动与杀死。
oozie 流程定义：
1.workflow 的开始和workflow 的命名
<workflow-app xmlns="uri:oozie:workflow:0.2" name="adx-wf">
<start to="adx_clean_fork...
Oozie的详细使用
@小刘同学nice
07-15
2177
案例一：Oozie调度shell脚本
目标：使用Oozie调度Shell脚本
分步实现：
创建工作目录
[liujh@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir -p oozie-apps/shell
在oozie-apps/shell目录下创建两个文件——job.properties和workflow.xml文件
[liujh@hadoop102 sh...
Oozie的安装和使用
不懂开发的程序猿的博客
06-30
322
本实验练习Oozie的安装和配置，然后运行例子进行oozie的功能测试。学会Oozie的安装和使用Ubuntu16.04、mysql-5.7.22、oozie-4.3.0、hadoop-2.7.3、jdk1.8.0_73解压编译好的oozie安装包，然后进行配置,配置主要有hadoop文件的配置和oozie文件的配置。
♥ 知识链接
oozie简介
  Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：1.工作流定义，2.当前
oozie简介_Oozie简介
cunfu6353的博客
07-07
351
oozie简介 在Hadoop中执行的任务有时需要将多个Map / Reduce作业链接在一起以完成其目标。 [1]在Hadoop生态系统中，有一个相对较新的组件Oozie [2]，该组件允许将多个Map / Reduce作业组合成一个逻辑工作单元，从而完成更大的任务。 在本文中，我们将介绍Oozie及其使用方式。
什么是Oozie？
Oozie是一个Java Web应用程序，它在Jav...
oozie简介
weixin_44853953的博客
09-08
131
oozie简介1.oozie的介绍2.oozie的架构2.1.oozie的执行流程2.2.oozie的组件介绍
1.oozie的介绍
Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。那么，对于OozieWorkflow中的一个个的action（可以理解成一个个MapReduce任务）Oozie是根据什么来对action的执行时间与执行顺序进行管理调度的呢？答案就是我们在数据结构中常见的有向无环图(DAGDirect Acycl
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：技术黑板
设计师：CSDN官方博客
返回首页
TNTZS666
CSDN认证博客专家
CSDN认证企业博客
码龄5年
暂无认证
79
原创
4万+
周排名
125万+
总排名
11万+
访问
等级
2012
积分
89
粉丝
239
获赞
48
评论
427
收藏
私信
关注
分类专栏
LeetCode
8篇
PAT(乙级)
26篇
Java
7篇
PTA（数据结构）
C++
1篇
转载
1篇
Linux
4篇
SQL
9篇
大数据学习
16篇
爬虫
7篇
最新评论
HA集群出现脑裂情况解决方法
菜菜的大数据开发之路:
写的都很不错,向你学习吧
Java向下转型以及如何判断能否向下转型
稍尽春风150:
一句话给我整明白了，强
什么是Oozie——大数据任务调度框架
TNTZS666:
尽管用，现在这种定义网上基本都是千篇一律的，没什么关系的
什么是Oozie——大数据任务调度框架
m0_62088942:
请问可以借用一些定义说明来做思维导图嘛？不用于商用，仅仅是自己学习。
Java向下转型以及如何判断能否向下转型
雀巢741:
父亲有很多个儿子，但父亲就一个
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
LeetCode刷题（八）——贪心算法
LeetCode刷题（七）——堆
LeetCode刷题（六）——栈
2020年15篇
2019年38篇
2018年28篇
目录
目录
分类专栏
LeetCode
8篇
PAT(乙级)
26篇
Java
7篇
PTA（数据结构）
C++
1篇
转载
1篇
Linux
4篇
SQL
9篇
大数据学习
16篇
爬虫
7篇
目录
评论 2
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
TNTZS666
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值