AWS / PHP / Python ちょいメモ

amazon web service , PHP, Python を使ったときのメモ。日本語でググってもわからなかった事を中心に。

EMR

EMRのManagementConsole/APIバージョンアップ

EMR

11/7にきたメールで、AWS EMRの機能追加などがあったとのことを知りました。対応Hadoop自体のバージョンアップはこれまでもありましたが、今回はInterface系のバージョンアップです。変更点として、ManagementConsoleでは出来なかったクラスタへのインスタン…

EMR上でHiveを使うときのチューニングメモ

AWS EMR(Elastic MapReduce)でHiveを使うときに使えそうなチューニング情報。そもそもMapReduceの仕組みと、Hiveが裏でやってくれる事を理解していないと、出来ないチューニングポイントの方が多いのですが、ここらにあるということだけを、メモしておきます…

EMR利用時のURI Prefix "s3:// " と "s3n://" の違い

EMRからS3へアクセスする時に、次の2種類のURI記述方法があります。 s3://hogehoge... s3n://hogehoge... ふとどうやって使い分けするんだっけ?と思ったので調べてみました(どこかで、s3n://が今後推奨されるという表記を見た気がしたのですが、次の情報を…