AWS EMR上搭建HBase环境
0. 概述
AWS的EMR服务为客户提供的托管 Hadoop 框架可以让您轻松、快
速、经济高效地在多个动态可扩展的 Amazon EC2 实例之间分发和处理
大量数据。您还可以运行其他常用的分发框架(例如 Amazon EMR 中的
Spark 和 Presto)与其他 AWS 数据存储服务(例如 Amazon S3 和
靠地处理大数据使用案例,包括日志分析、Web 索引、数据仓库、机器
学习、财务分析、科学模拟和生物信息。
通过EMR服务,我们不必再去手动一个个的安装JDK,Hadoop,
不用再为安装这些软件费神,搭建过Hadoop集群的人都知道,很繁琐,
还有很多配置,甚至每台机器上遇到的问题还不一样。现在有了EMR一切
都变得简单,使你专注于自己的开发,现在说起来简单,但我在用EMR的
时候也遇到了很多问题,由于众所周知的原因AWS在朝鲜和其他国家并
不能方便的应用,尤其EMR,所以我能找到的关于EMR的资料没有帮我
完全搞定,官方的文档很多,但有的问题没有说清楚,在和AWS技术支
持沟通后才搞定。
1. 创建密钥对
密钥对是用来ssh登录远程主机的
1 打开 Amazon EC2 控制台 https://console.aws.amazon.com/ec2/。
2 左侧找到密钥对
3 创建密钥对
点击创建后会弹出对话框让你保存密钥,保存好,ssh登录的时候会用到
2. 创建S3存储桶
如果此步忽略,后面会默认创建一个存储桶
1 通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/。
2 创建存储桶
3. 创建EMR,托管Hadoop集群
1 通过以下网址打开 Amazon EMR 控制台:https://console.aws.amazon.com/elasticmapreduce/。
2 创建集群
输入集群名称,设置S3存储路径,即为第二步里创建的S3存储桶,如果没有创建,这里会自动分配一个路径
选择Hbase
设置集群数量,默认即可
选择密钥对,就是在第一步里创建的密钥对,然后点击创建,则开始启动集群,知道集群状态显示为等待状态时说明启动成功
这样Hadoop集群就创建好了,在集群列表里点击刚才创建好的集群,进行集群详细信息
4. 登陆主机
根据官方文档,就是让你直接用主节点共有DNS和密钥对登陆,但是它没有说明要设置安全组,于是我在这个地方折腾了很久
1 修改安全策略
AWS为了安全,默认的安全组里禁用了SSH的22端口,也禁用ping,总之你要用到的端口都必须自己去打开,我为了省事,因为是测试,所以全部打开了端口,具体操作如下:
在集群详细信息里,找到主机点的安全组,点击后面的连接进入安全组设置
点击入站,这里就是所有开放的端口,这里可以设置具体哪个IP访问,点击编辑,新增你的安全规则
打开ICMP是为了能ping同主机,打开SSH 22端口是为了SSH登录,也是为什么创建好主机直接登录不成功的原因所在,因为我要用程序通过thrift服务器来连接HBase所以打开TCP的端口,为安全起见,建议用到什么端口就打开什么端口
2 登录
PuTTY 本身不支持 Amazon EC2 生成的私有密钥格式 (.pem)。PuTTY 有一个名为 PuTTYgen 的工具,可将密钥转换成所需的 PuTTY 格式 (.ppk)。您必须将私有密钥转换为此格式 (.ppk),然后才能尝试使用 PuTTY 连接到您的实例。
转换您的私有密钥
– 启动 PuTTYgen(例如,在“Start”菜单中,依次单击“All Programs > PuTTY > PuTTYgen ”)。
– 在 Type of key to generate (要生成的密钥类型) 下,选择 SSH-2 RSA。
– 单击“Load”。在默认情况下,PuTTYgen 仅显示扩展名为 .ppk 的文件。要找到您的 .pem 文件,请选 择显示所有类型的文件的选项。
– 为启动实例时指定的密钥对选择 .pem 文件,然后单击 Open。单击 OK (确定) 关闭确认对话框。
– 单击 Save private key (保存私有密钥),以 PuTTY 可用的格式保存密钥。PuTTYgen 显示一条关于在没有口令的情况下保存密钥的警告。单击 Yes (是)。
然后通过生成的ppk密钥来登录
登录成功:
输入hbase shell即可操作hbase
EMR默认已经开启thrift,所以不再手动去启动它,这样程序里就可以访问主机了
用程序连接的时候可以用主机公共DNS名称连接即可。