https://aws.amazon.com/apac/awspodcast/episode82 降價： 這波降價起源於 Google，但對雲消費者與生態系都是利多。 VPC Peering： 目前限於同 region, 但未來會突破；注意 CIDR。 AWS Linux AMI 更新： 新 Kernel、cloud-init  #86  這周主題簡述如下： Oracle …. 跳過 DynamoDB 實裝 Query Filtering 以往只有 scan 支援此項功能，現在 query 也提供。 Query Filt...

Continue reading »

ELB 是 AWS 的 Managed Load Balancing 服務，可管理 Region 內跨 AZ 的 scalability & HA （在好的雲端架構中，這是一體兩面；並且不能存在 SPOF）。透過官方文件與黑箱測試，可推論其特性如下： 基本功能 ELB 可設定對外（請求端，Load Balancer protocol）與對內（服務端，Instance Protocol）兩邊的協定；依照選擇不同，常見有幾類作法： TCP / TCP : L4 LB HTTPS / HTTP: HT...

Continue reading »

IAM Role 搭配 STS 透過調用 STS::AssumeRole()，可以在不同 Amazon Account 之間授權；撇開 SAML 授予 Management Console 不談，Role / STS 可是授權與不特定人的瑰寶。如果打算在 APP Layer 自行實作驗證，也可以在授予 Temporary Credential 的時候進一步限制權限，而每次弄出來的 N+1 胎權限會與前次取交集。 iam:Put*Policy() 就不是這樣了；其他權限再低，只要能貼 Policy 上 Us...

Continue reading »

其實我本來想寫篇介紹spark的，但網路上參考文章實在太多了，我自己也只跑過簡單的範例程式，就不誤人子弟了 至於為何標題這樣取呢? 因為小弟在學習spark與複習hadoop的過程產生了很多疑問 為何要用這個不用那個? 這個為何比那個好? 所以我就把我survey的階段性結果整理成好幾個比較，這篇在未來的未來還會再新增，伴隨我與spark越來越熟的過程吧! 在開始比較前先分享兩篇文章，對於入...

Continue reading »

EMR是amazon提供的整合分散資料處理平台，最大的好處就是與AWS家族的各種服務綁在一起(EC2、cloudWatch、S3等等)，節省了許多叢集配置的時間，並可彈性配置task node，下圖是提供的整合服務架構: 資料可以從s3、kinesis 餵入EMR，經過hadoop or spark處理後，在把output輸出在DB or S3，Data Pipeline可以設定排程來執行EMR的work 首先點進AWS EMR的service，點擊Create cluster來到新...

Continue reading »