通过 Hive 访问 HBase 表 - Amazon EMR


本站和网页 https://docs.amazonaws.cn/emr/latest/ReleaseGuide/emr-hbase-access-hive.html 的作者无关,不对其内容负责。快照谨为网络故障时之索引,不代表被搜索网站的即时页面。

通过 Hive 访问 HBase 表 - Amazon EMR通过 Hive 访问 HBase 表 - Amazon EMR亚马逊云科技文档Amazon EMRAmazon EMR 版本指南 Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门。通过 Hive 访问 HBase 表HBase 与Apache Hive紧密集成,让您可以在 HBase 中存储的数据上直接运行大规模并行处理的工作负载。要将 Hive 与 HBase 结合使用,您通常可以在同一个集群上启动它们。不过,您可以在单独的集群上启动 Hive 和 HBase。在不同的集群上单独运行 HBase 和 Hive 可以提高性能,因为这可让每个应用程序更高效地利用集群资源。以下过程说明如何使用 Hive 连接到集群上的 HBase。注意您只能将 Hive 集群连接到单个 HBase 集群。将 Hive 连接到 HBase
创建安装了 Hive 和 HBase 的单独集群或创建安装了 HBase 和 Hive 的单个集群。
如果您使用单独的集群,请修改您的安全组,以便 HBase 和 Hive 端口在这两个主节点之间是开放的。
使用 SSH 连接到安装了 Hive 的集群的主节点。有关更多信息,请参阅《Amazon EMR 管理指南》中的使用 SSH 连接到主节点。
通过以下命令启动 Hive shell。
hive
(可选)如果 HBase 和 Hive 位于同一个集群上,则您无需执行此操作。将 Hive 集群上的 HBase 客户端与包含数据的 HBase 集群连接。在以下示例中,使用 HBase 集群的主节点公有 DNS 名称替换 public-DNS-name,如:ec2-50-19-76-67.compute-1.amazonaws.com。
set hbase.zookeeper.quorum=public-DNS-name;
根据需要继续对 HBase 数据运行 Hive 查询或查看后续步骤。
通过 Hive 访问 HBase 数据
在 Hive 和 HBase HBase 集群之间建立连接后 (如上一过程所示)。您可以通过在 Hive 中创建外部表访问存储在 HBase 集群上的数据。
从主节点上的 Hive 提示符中运行时,以下示例创建了一个外部表,此表引用了存储在名为 inputTable 的 HBase 表上的数据。然后,您可以引用 Hive 语句中的 inputTable,查询和修改存储在 HBase 集群上的数据。
set hbase.zookeeper.quorum=ec2-107-21-163-157.compute-1.amazonaws.com;
create external table inputTable (key string, value string)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties ("hbase.columns.mapping" = ":key,f1:col1")
tblproperties ("hbase.table.name" = "t1");
select count(key) from inputTable ;
有关将 HBase 和 Hive 结合使用的更高级的使用案例和示例,请参阅Amazon大数据博客文章 Combine NoSQL and massively parallel analytics using Apache HBase and Apache Hive on Amazon EMR。Javascript 在您的浏览器中被禁用或不可用。要使用 Amazon Web Services 文档,必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。 使用 HBase shell使用 HBase 快照