AWS / PHP / Python ちょいメモ

amazon web service , PHP, Python を使ったときのメモ。日本語でググってもわからなかった事を中心に。

TIPS

EC2 SecurityGroup バックアップできる?

これまで管理もなく使うだけ使ってたリージョンがあったので、整理しようと思い立ってやってみました。 背景 本やオンライン見て試行錯誤すると、よくわからないSecurityGoup増えてませんかね?僕は、増えてました。が、さくっと消せるかというと、後で欲し…

JAWS-UG CLI専門支部 SQSハンズオン オンライン参加

先日参加したハンズオンの続きで参加しました。SQSをCLIで使ったのは初めてでしたが、シンプルなサービスだからか、思った以上に簡単に使えました。 152R SQS入門 jawsug-cli.connpass.com 事前準備は、ちゃんとやっておく 前回の失敗ポイントとして、事前準…

JAWS-UG CLI専門支部 ハンズオン オンライン参加

本日オンライン開催された JAWS-UG CLI専門支部 #151R AWS CLI入門 に参加したので、自分の気づきをメモ。なおオンライン会議室は Amazon Chime を使って準備されていました。 151R AWS CLI入門 JAWS-UG CLI専門支部 のオンラインイベントで、今回の講師は H…

Ubuntu Server 6年以上使ってるね

昨日のエントリー書いてから、ふとデジャブに。探してみたら2014年のエントリーが見つかった。そうか、12.04 から 14.04 へのアップグレードもしたサーバーだったのだ(w 履歴 2014年7月 Ubuntu Server 12.0.4 から 14.0.4 へのアップデート 2020年4月 do-re…

do-release-upgrade ( 14.04 から 16.04 ) で エラー3つ

あるサーバ作業に使ってる、Ubuntu。最近アップデートふってこないなと思ったのですが、14.04 と気づいた。作業ログも増えてきたので、整理も兼ねて、次の LTS にあげてみることに。いくつか思うように行ってませんが、最終的には 16.04 になりました! 問題…

AWS CLI の 出力形式は JSON, TEXT, TABLE (v2 は YAMLも)

AWS CLI v2 リリース関連を読んでたら、出力形式に YAML も追加とありました。 AWS CLI v2 が GA(General Availability) になったので早速使ってみました。 - Qiita あれ、出力形式ってJSONだけじゃないのかと気づいて調べてみた。デフォルト JSON の他、TEX…

Pythonパッケージマネージャー 2020年

お恥ずかしながら、Pythonプロジェクト 10個前後の私の経験の浅さに気づいた本日。先日、エントリー pip ? conda ? パッケージマネージャーを意識しておこう を書きました。が、世の中は、この2つ (pip と conda) どころの状況ではなかったことがわかりまし…

公式 aws-cli コンテナイメージ があるのね

先日、次のエントリーで、Amazon Linux 2コンテナ上に aws-cli 環境を構築しました。 Amazon Linux 2 コンテナに AWS CLI をインストール コンテナに AWS CLI をインストールした後は、 その後、ふと Qiita を読んで歩いてたら、次の記事を発見!qiita.com …

コンテナに AWS CLI をインストールした後は、

前回 Amazon Linux 2 をコンテナで用意して、aws-cli に必要なコマンドなどを入れて準備しました。これで、コマンドでなんでもAWSサービス動かせちゃう、と、怖いですよね。いくら Amazon Linux といえども。ここから、ちょっとだけオマジナイがいるので、書…

Amazon Linux 2 コンテナに AWS CLI をインストール

AWS で使うディストリビューションなら、やっぱ Amazon Linux 2だよね。LTS (長期サポート) で 2023年までサポートされてるし、 今後主流の systemd 対応 (CentOS 7 などから採用されてる、各種サービスの起動方式)だから。でも、EC2で作ると課金対象に…

VPC, EC2, RDS, ELB キャッチアップのオススメ ハンズオン

インフラエンジニアからみると、恐ろしいほどの自由度のAWS基本サービス群(VPC, EC2, ELBあたり)。オンプレから一定規模のWebやってる人なら、VMとか、VLANとか、ロードバランサーとか、IPアドレスとか、すんなりだろうと。でも、アプリ開発者からすると …

Python が 参照する証明書ストアを掘ってみた (Ubuntu 版)

Python で作ったプログラムが、あるサイトをのぞきに行けなったのだが、証明書ストアに中間証明書がなかったことが原因だった。という話の、まとめ。結論としては、Ubuntuの証明書ストア管理には、ca-certificates という仕組みが用意されているので、それを…

Mac に pythonz 入れる時の OPTION 設定

以前書いた pythonz on Mac の手順が、通用しないようだったので修正方法を探ってみました。結果としては、pythonz で install する時にオプション設定をすることで解決しました。 MacOS ver 10.11.6 (OS X El Capitan) /usr/local/opt/openssl 1.0.2j (by h…

php シェルを使って簡単に検証

ちょっとしたコードの動作を確認したい場合に使えると思う。というか使った。インタラクティブ Shell便利ー $ man php ... -a Run PHP interactively. This lets you enter snippets of PHP code that directly get executed. When readline sup- port is en…

管理時に欲しくなる yum オプションをまとめておく

ついつい忘れてググッてしまう。 インストール済み yum list installed : インストール済みパッケージを一覧表示 過去の履歴 yum history list all : 過去に実施した yum の履歴を一覧を全件表示 yum history info : 特定のTransaction IDの詳細表示 yum …

Beautiful Soup 4.x では parser を明示指定しよう

python で スクレイピングなどを行うときに便利なのが BeautifulSoup (ここでは bs4 を扱っています) 。 parserを選択できる仕様になっていますが、 4.3.xまでは明示的に指定しなくても、適度に動いていました (どう動いてたかは、調べてない)。 こちら…

Mac に pythonz 入れる前にやっておくこと

direnv構築 していて遭遇した問題の原因がわかった。homebrew版のpythonが必要なのではなく、「homebrewでopensslを事前にインストールしておく必要がある」が正解だった。先に openssl を入れておかないと、pythonz で落としてきたpythonのBuild時に openss…

Pillow インストール前にやっておきたいこと

Sphinx で blockdiag + IPAフォントを使った時のTIPS。Ubuntu上で make html を行ったところ、次のエラーがでて図が出力できなかった。 ImportError: The _imagingft C module is not installed blockdiag_fontpath で、IPAフォントを指定したところエラーが…

STATIC_URL と MEDIA_URL は 異なる値が必要

タイトルの通りです。本番側でDebug=Falseで触ってたら気づかなかった。 FileField 使ったのですが、同じパスにしたら、上げたファイルをapacheの設定変えなくても見えるじゃんと、手抜きしたのがいかん。ちゃんと、開発でDebug=Trueで作業してからあげまし…

homebrew direnv には homebrew python が必要?

(4/27 追記) homebew版 python が必要ではなく、direnv で使ってた pythonz で pythonを入れる前に homebew版 openssl が必要だったのが問題点でした。 Mac に pythonz 入れる前にやっておくこと - AWS / PHP / Python ちょいメモ - direnvをよく目にする…

Django の Debug Toolbar をリモート接続で表示

以前書いたエントリーの追記。やはり、リモートでデバッグしてる時にも、Debug Toolbar を使いたくなったので調べてみると、接続元IPがわかれば、設定に書いてあげることで表示が可能でした。 設定方法 settings.py とかに、次の変数をセットしてあげればOK…

Apache で VirtualHost一覧を表示

久しぶりに触るたびに、忘れてる気がするのでメモ。簡単なコマンド: apachectl -S VirtualHostのみを表示する場合: apachectl -t -D DUMP_VHOSTS すごく便利ですよね?Apache使いなら、当たり前なのだろうと思いつつも。

Python & Django 読んでおきたいエントリー

ここ一年ほど、Python&Djangoをやってきて気になったエントリー集。けっこう好きになった気がする > Python。壮大なフレームワークなんだねと実感してきた > Django。読破したというより、読んでみたいがメインではあります。あと、Pythonメインの選定になっ…

flake8 2.5.0 のエラー対処 on Ubuntu

Ubuntu に pip で flake8 を入れたら、上手く動かなかった。次の対処で上手く動作したのでメモ。 対処1 設定ファイル書くか -j0 オプション付けて並列処理をなくしたら動作。 vi ~/.config/flake8 [flake8] jobs = 1 $ cat /etc/os-release NAME="Ubuntu" VE…

dateutil で 曖昧な日付をパースする

python の dateutil ライブラリ。標準の datetime.strptime で日付を構文解析するよりも手軽にパースすることができます。2.x/3.x 両対応。今回、このようなフォーマットの日付をパースしたのですが、表記が曖昧なので、結果が揺れてしまいました。 In [1]: …

Python仮想環境ツール一覧 virtualenvwrapper, direnvとか

Pythonなど新しいバージョンがリリースされる言語は、プロジェクトや勉強に合わせたパッケージ用意したりと、1つの環境で作業しているとグチャグチャになります。 そこで1台のPC上に独立した個別環境を複数作れる、Python仮想環境を用意するツールを利用し…

Beautiful Soup 4.4.0 で extract() を使うとDOM treeが壊れる?

Python で Beautiful Soup 4.4.0 を使った時に遭遇した問題。stackoverflow でも取り上げられていて、取り敢えずは 4.3.2 に戻すことで対処しました。 python - Beautiful Soup Not able to get_text after using extract() - Stack Overflow 環境 Ubuntu 14…

urllib2.urlopen() で GET/POST を使い分け

Python の urllib2 で、ちょっとした仕様に気づいてなかったのでメモ。urlopen() の 第2引数 data を渡すと、必ずPOSTの挙動になるようです。確認環境: Mac OS X , Python 2.7.6 POST Data なにげに data を渡すと、POST methodが送られる Requestオブジェ…

OS X で Wireshark を使う

思い立って調べてみたところ、うまく動作したのでメモしておきます。OS X 10.10.2 (Yosemite) に、homebrew を使って wireshark 1.12.4 の Qt版をインストールしました。 '--with-qt' なしでインストールしたら、GUIなプログラムがインストールされなかった…

言語・locale 変更方法 (日->英, 英->日)

Linux の言語(ロケール / locale)変更するときのコマンドや関連ファイルのメモ。X 上で設定画面があるディストリビューションもあるのかもしれないのですが、Debian/Ubuntu系でのコマンドを使った方法の紹介です。 コマンドや設定ファイル だいたい、これ…