EMR是amazon提供的整合分散資料處理平台，最大的好處就是與AWS家族的各種服務綁在一起(EC2、cloudWatch、S3等等)，節省了許多叢集配置的時間，並可彈性配置task node，下圖是提供的整合服務架構: 資料可以從s3、kinesis 餵入EMR，經過hadoop or spark處理後，在把output輸出在DB or S3，Data Pipeline可以設定排程來執行EMR的work 首先點進AWS EMR的service，點擊Create cluster來到新...

Continue reading »