読者です 読者をやめる 読者になる 読者になる

AWS / PHP / Python ちょいメモ

amazon web service , PHP, Python を使ったときのメモ。日本語でググってもわからなかった事を中心に。

EMRのManagementConsole/APIバージョンアップ

EMR

11/7にきたメールで、AWS EMRの機能追加などがあったとのことを知りました。対応Hadoop自体のバージョンアップはこれまでもありましたが、今回はInterface系のバージョンアップです。

変更点として、ManagementConsoleでは出来なかったクラスタへのインスタンスの追加操作などがサポートされるようですし、大味な感じのEMRのAPIが少し整った感じがするので、さらに便利になりそうで良いなぁと思います。

Management Consoleの変更点

従来はAPIでしか出来なかった操作のWebUI対応と、新機能

  • Resize a running cluster (add/remove instances)
  • Clone a running or terminated cluster
  • Use Hadoop 2 and access custom CloudWatch metrics for Hadoop 2
  • Target a specific Availability Zone when launching a cluster
  • Create clusters with IAM roles
  • Submit multiple processing steps (before and after cluster creation)
  • Search the EMR Documentation via a new EMR Help Portal

APIの変更点

全般的に設定したJobFlowの情報を取得しやすくするAPIが追加されていました。従来のDescribeJobFlows使うよりも早く取得できるとの説明もあります。DescribeJobFlowsで取得できる情報は巨大だったので、部分的に目的のものだけが取得できるのはいいですね。

ハイパフォーマンスAPI群:

  • ListClusters
  • DescribeCluster
  • ListSteps
  • DescribeStep
  • ListBootstrapActions
  • ListInstanceGroups
  • ListInstances


なお、新しいAPIの詳細については、こちらにあがっていました。(更新日時:October 25, 2013)

AWS SDKsではすでにサポートとかかれてます(が、SDK for PHPは、まだ対応版がリリースされてなさげ)。EMR Command Line Interfaceは、今月中に対応とありました。