EMRのManagementConsole/APIバージョンアップ
11/7にきたメールで、AWS EMRの機能追加などがあったとのことを知りました。対応Hadoop自体のバージョンアップはこれまでもありましたが、今回はInterface系のバージョンアップです。
変更点として、ManagementConsoleでは出来なかったクラスタへのインスタンスの追加操作などがサポートされるようですし、大味な感じのEMRのAPIが少し整った感じがするので、さらに便利になりそうで良いなぁと思います。
Management Consoleの変更点
従来はAPIでしか出来なかった操作のWebUI対応と、新機能
- Resize a running cluster (add/remove instances)
- Clone a running or terminated cluster
- Use Hadoop 2 and access custom CloudWatch metrics for Hadoop 2
- Target a specific Availability Zone when launching a cluster
- Create clusters with IAM roles
- Submit multiple processing steps (before and after cluster creation)
- Search the EMR Documentation via a new EMR Help Portal
APIの変更点
全般的に設定したJobFlowの情報を取得しやすくするAPIが追加されていました。従来のDescribeJobFlows使うよりも早く取得できるとの説明もあります。DescribeJobFlowsで取得できる情報は巨大だったので、部分的に目的のものだけが取得できるのはいいですね。
ハイパフォーマンスAPI群：
- ListClusters
- DescribeCluster
- ListSteps
- DescribeStep
- ListBootstrapActions
- ListInstanceGroups
- ListInstances
なお、新しいAPIの詳細については、こちらにあがっていました。（更新日時：October 25, 2013）
- aws documentation Amazon Elastic MapReduce
AWS SDKsではすでにサポートとかかれてます（が、SDK for PHPは、まだ対応版がリリースされてなさげ）。EMR Command Line Interfaceは、今月中に対応とありました。
