一直使用AWS的相关产品，从最开始用EC2，后来到EMR，也遇到一些问题，整理下，作为记录。 最开始的aws配置就不讲了。 不会的话就 aws help aws ec2 help aws emr ls help 首先下面这段代码终端里肯定是不能跑的，我只是为了好看，才这样放的。而且不一定要从终端的方式，python可以用boto3, 其他编程语言也提供了相应的SDK，可以操作。 $ aws emr create-cluster --application...

Continue reading »

1. Dynamic Resource Allocation在AWS EMR Spark中已经默认配置好了。因此–num-executors只是job启动时的一个初始值，cluster会根据可用资源情况再自动分配。不要设置成太大，因为如果初始申请的资源超过现有资源，就会提交job失败。   2. CPU的申请和使用：yarn是hadoop 2的资源管理框架。在默认配置下，它和mesos （hadoop V1提供的资源管理框架）一样，只将内存作为可...

Continue reading »

AWS EMR 可以指定 EC2 instance profile 来限制 EMR 节点中的程序的权限. 注意: 这里说的是 EC2 instance profile, 不是 EMR role, 这两个容易混淆. 但可以肯定的是: 如果想限制在 EMR 集群中的 EC2 节点上运行的程序的 AWS 相关资源的权限, 应该使用 EC2 instance profile EC2 instance profile 而今天遇到这样一个需求: 一个 EMR 集群需要仅仅开放对 hive 的 test 数据库的读写...

Continue reading »

0. 概述 AWS的EMR服务为客户提供的托管 Hadoop 框架可以让您轻松、快 速、经济高效地在多个动态可扩展的 Amazon EC2 实例之间分发和处理 大量数据。您还可以运行其他常用的分发框架（例如 Amazon EMR 中的 Spark 和 Presto）与其他 AWS 数据存储服务（例如 Amazon S3 和 靠地处理大数据使用案例，包括日志分析、Web 索引、数据仓库、机器 学习、财务分析、科学模拟和生物信息。 通过EMR...

Continue reading »

Nginx碰过好几次了，一次比一次熟，了解的配置也越来越多。跨域问题经常会碰到，这次尝试通过Nginx来解决跨域问题。 关于跨域，SegmentFault里面有篇详解JS跨域的文章。 实践部分 以下是自己的情况： A: 前端Web应用，访问地址是http://yunwei123.com:33867 B: 服务器，提供api服务，地址是https://yunwei123.com:8383 因为这里A和B的协议和端口都不同，所以需要在后端进行允许跨域的配...

Continue reading »