IAM Role 搭配 STS 透過調用 STS::AssumeRole()，可以在不同 Amazon Account 之間授權；撇開 SAML 授予 Management Console 不談，Role / STS 可是授權與不特定人的瑰寶。如果打算在 APP Layer 自行實作驗證，也可以在授予 Temporary Credential 的時候進一步限制權限，而每次弄出來的 N+1 胎權限會與前次取交集。 iam:Put*Policy() 就不是這樣了；其他權限再低，只要能貼 Policy 上 Us...

Continue reading »

其實我本來想寫篇介紹spark的，但網路上參考文章實在太多了，我自己也只跑過簡單的範例程式，就不誤人子弟了 至於為何標題這樣取呢? 因為小弟在學習spark與複習hadoop的過程產生了很多疑問 為何要用這個不用那個? 這個為何比那個好? 所以我就把我survey的階段性結果整理成好幾個比較，這篇在未來的未來還會再新增，伴隨我與spark越來越熟的過程吧! 在開始比較前先分享兩篇文章，對於入...

Continue reading »

EMR是amazon提供的整合分散資料處理平台，最大的好處就是與AWS家族的各種服務綁在一起(EC2、cloudWatch、S3等等)，節省了許多叢集配置的時間，並可彈性配置task node，下圖是提供的整合服務架構: 資料可以從s3、kinesis 餵入EMR，經過hadoop or spark處理後，在把output輸出在DB or S3，Data Pipeline可以設定排程來執行EMR的work 首先點進AWS EMR的service，點擊Create cluster來到新...

Continue reading »

heroku簡單說就是一個自動部屬的平台，強大的是他可以只用git指令deploy，git push到heroku就可以在他的平台上執行程式了 他方便的點在於，平常我們要做QA，要不是叫QA人員pull code下來，就是傳到測試server，前者會需要QA有相同的測試環境，後者只能同時有一人測試，不然就要多開一堆server，這時heroku就是一個非常便利的平台 每次開發完就將code同步部屬到heroku，提供連結給QA測試...

Continue reading »

今年 2016/4/19 參加 AWS User Group in Taiwan Meetup #10 的心得紀錄。講者 Pahud 聽得出來對 AWS 非常熱情，而且非常實務地分享了 AWS ECS 和 AWS Lambda 的各種適用情境。 old school 作法: ELB/ASG + 2 subsets + RDS mutil-AZ challenges ec2 instances 太花錢 for micro services (都要 x2 才能HA) complexity in infrastructure (VPC, routing-table, NAT, NACL, security gr...

Continue reading »