Linux なら /dev に出現する。
takuya@:~$ ls /dev/mqueue/
/sample という名前でキューを作ったのでキューを確認することが出来る。
takuya@:mq$ ls /dev/mqueue/ sample
cat すれば中身が見られる。
takuya@:mq$ sudo cat /dev/mqueue/sample QSIZE:30 NOTIFY:0 SIGNO:0 NOTIFY_PID:0
/dev/ から消せば、簡単にゴミを消せる。
http://unix.stackexchange.com/questions/70837/linux-command-to-check-posix-message-queue
プロセス間通信などと呼ばれる。POSIXのキューを使ってみる。
プロセスとプロセスのデータのやり取りにメッセージ・キューを使うことで幾分楽になる。マルチスレッド以前に複数プロセスでデータをやり取りすると複数分散して処理が楽になることもある。
受信側は、なにもしなくても受信不可ならブロックされるので楽ちん。感覚的には、空っぽのパイプと同じですね。
python で使うには posix_ipcを使う
pip install posix_ipc
#!/usr/bin/env python import json import posix_ipc def main () : mq = posix_ipc.MessageQueue("/my_q01", posix_ipc.O_CREAT ) # cnt = 0 # while True: cnt = cnt + 1 obj = { "counter": cnt } mq.send( json.dumps( obj ) ) print("pushed: %d" % cnt ) time.sleep(1) if __name__ == "__main__" : main()
#!/usr/bin/env python import json import posix_ipc def main () : mq = posix_ipc.MessageQueue("/my_q01", posix_ipc.O_CREAT ) # while True: data = mq.receive() print( data[0] ) time.sleep(1) if __name__ == "__main__" : main()
#!/usr/bin/env python import posix_ipc mq = posix_ipc.MessageQueue("/my_q01") mq.unlink()
Semanchuk.com - POSIX IPC for Python - Semaphores, Shared Memory and Message Queues
選択肢になるコマンドは、分割・結合でそれぞれ次の通り
などが使えることがわかった。
fold -w2
grep -E -o '.{2}'
fold コマンドが便利。ruby であればsplit/grep などで出来る。
takuya@~$ echo $(openssl rand -hex 6) | fold -w1 0 3 3 9 5 2 f 0 7 3 1 e
takuya@Desktop$ echo $(openssl rand -hex 4) | fold -w4 d0ac 01f3
takuya@~$ echo ああああ | fold -w 3 あ あ あ あ
echo $(openssl rand -hex 4) | /bin/grep -i -E -o '.{2}'
7f
1c
10
ec
おお。grep 万能説！
join かと思いきや、paste を使うと便利だった。
paste -sd ':'
takuya@Desktop$ cat - | paste -sd "," a b c a,b,c
xdd/hexdump/od 何かと組み合わせると便利かも
takuya@Desktop$ xxd -p -l 100 logo.png | ~/.bin/grep -i -E -o '.{2}' | paste -sd ","
89,50,4e,47,0d,0a,1a,0a,00,00,00,0d,49,48,44,52,00,00,00,60,00,00,00,2d,08,03,00,00,00,66,80,9e,b8,00,00,00,19,74,45,58,74,53,6f,66,74,77,61,72,65,00,41,64,6f,62,65,20,49,6d,61,67,65,52,65,61,64,79,71,c9,65,3c,00,00,03,12,69,54,58,74,58,4d,4c,3a,63,6f,6d,2e,61,64,6f,62,65,2e,78,6d,70,00,00,00,00,00
takuya@~$ echo $(openssl rand -hex 6) | fold -w2 | paste -sd ':' 7e:25:cb:0b:70:ef
http://stackoverflow.com/questions/7578930/bash-split-string-into-character-array
昔は cron-apt でやってたけど、今時はどうするのかなーと思って調べてたらUnattendedUpgradesがあったのでコレを設定することに。
sudo apt install unattended-upgrades apt-listchanges
apt-listchanges は無くても良さそう。apt-listchangesはメールで更新の通知をするツール。
sudo dpkg-reconfigure -plow unattended-upgrades
sudo -e /etc/apt/apt.conf.d/20auto-upgrades
定期的にアップグレードとパッケージリストの更新を有効にする。
APT::Periodic::Update-Package-Lists "1"; APT::Periodic::Unattended-Upgrade "1";
sudo unattended-upgrades --dry-run
dry-run で自動更新の設定と動作をチェックできる。
takuya@orangepizero:~$ cat /etc/apt/apt.conf.d/50unattended-upgrades | head // Unattended-Upgrade::Origins-Pattern controls which packages are // upgraded. // // Lines below have the format format is "keyword=value,...". A // package will be upgraded only if the values in its metadata match // all the supplied keywords in a line. (In other words, omitted // keywords are wild cards.) The keywords originate from the Release // file, but several aliases are accepted. The accepted keywords are: // a,archive,suite (eg, "stable") // c,component (eg, "main", "crontrib", "non-free")
sudo dpkg-reconfigure -plow unattended-upgrades
設定ファイル更新されるの嫌だから、ローカル優先しておいた。
以下のファイルにアレコレ書いて、更新するパッケージを指定する。 デフォルトで大丈夫だと思うのですが。更新したら動かなくなる野良ビルドドライバとか入ってたら linux-header とかカーネルの更新は避けたいところだったりする。
sudo -e /etc/apt/apt.conf.d/50unattended-upgrades
gitlab-ce をapt に行を追加していて、ominibus パッケージとして使っている場合
// Automatically upgrade packages from these (origin:archive) pairs
Unattended-Upgrade::Allowed-Origins {
"${distro_id}:${distro_codename}-security";
"${distro_id}:${distro_codename}-updates";
// この行を追加
"o=*packages.gitlab.com/gitlab/gitlab-ce,codename=${distro_codename}";
このようにすると apt に追加した gitlab のパッケージが自動更新の対象になる。
もし自身でapt に追加していたらこのようにする。通常は debian の updates / security を自動インストールしてくれる。
除外したい場合はブラックリストにパッケージ名を書く
アップデートの実行ログは /var/log/unattended-upgrades/unattended-upgrades.log に書かれる。
また、dpkg のログが /var/log/dpkg.log に記載されるので、自動更新のヒストリ（履歴・実行記録）をたまに見てやるといい。
ログについて記述を追加
web.archive.org のインターネットアーカイブがとても便利。
著作権云々だとかで魚拓サービスはとても使いにくいので、アーカイブから取るのが良い。
基本的はURLは日付＋取得したいURLになってる
http://web.archive.org/web/20170225084900/http://auctions.yahoo.co.jp/
http://web.archive.org/web/*/http://auctions.yahoo.co.jp/ http://web.archive.org/web/http://auctions.yahoo.co.jp/ # または
日付を省略すれば、その月の最新版の付近が取れる。
http://web.archive.org/web/201303/http://auctions.yahoo.co.jp/
月日を省略すれば、その年の最新版の付近が取れる。
http://web.archive.org/web/2013/http://auctions.yahoo.co.jp/
存在しなくてもその前後の日付で、アーカイブが存在する一番近い日付にリダイレクトしてくれる。
## あるかないか知らないけど、20130315 のデータくださいってリクエスト http://web.archive.org/web/20130315/http://auctions.yahoo.co.jp/
画像も同じようにURLを指定すれば取れると思う。
http://web.archive.org/web/20040610050213/http://example.com/sample.jpg
ただし、ページに埋まってる画像は次のようなURLで取得されることになる。
## 20040610050213のhttp://example.comが存在する場合で、その中に埋まってる画像のURL http://web.archive.org/web/20040610050213_im/http://example.com/sample.jpg
なんなら、FLVとかもあったりする。
InternetArchiveのwayback machine はいざという時に貴重。
WebArchiveプロジェクトは、ストレージや転送量が大変なプロジェクトだとおもう。でもとても救われることが多い。
なので少しばかり応援してさせていただいた。
ssh でIP浪費するのもめんどくさい話だし。
バックエンドへの接続をもう少し楽にできたら良いんだけど。
発想としていくつかある。
フロント┬────── Backend 0 ├────── Backend 1 └────── Backend 2
フロントにSSHログインする場合：踏み台経由の多段ログイン
sshd_config の Match を使ってフォワードする。
Match user takuya ForceCommand ssh -t backend-host
authorized_keys に登録する公開鍵に次のように書く。
Command ssh -t backend-host ssh-rsa AAAAAAAAAAAA
LDAPの認証エントリに sshd_config/authorized_keys と同等のこと記述したらいい。
そもそも認証状態を転送できないのか？ LDAPを使えばワンちゃん。Backend側がフロント側のPAMに聞きに行けばいいんだけど、依存関係が増えてもうめんどくさい。
すぐに思いつくのはポートフォワード。でもVhostに振り分けたいって要望がある時点で、ポートを開けたりIPを触りたくない前提があるわけだから、此の解決策は手軽なゆえに、多くの人は規制により使えないことが多いと思う。
BackendがLXCで同一ホスト内なら、SSHログイン後の Chroot Directory や Home をアレコレすることでなんとかなる。
実はこれは意外とオススメ。NFSでマウントして触らせておくのはバックエンドサーバーのプロセスをそのまま触られないので結構バランスする。
Match Group sftpuser ChrootDirectory /var/backend/01
sudo mount Backend01:/var/www /var/backend/01
もしくは、これらのマウントを sshfs で起動するスクリプトをログイン（bashrc/sshd_config/authorize_keys)に仕込めばいい。
sshpiperd が使えるらしい
クライアント側でバックエンドへの転送を、フロント側のSSHサーバーに指定をする。
ssh front-host -t ssh backend-host
.ssh/config
Host backend Hostname backend Port 22 ProxyCommand ssh -W %h:%p frontend
ポート転送をしてフロント側とバックエンドへの接続用に、フロント側にポートを開ける。
などで指定すればいけそう。
今回はネットワークの３レイヤあたりは余り考慮せず７レイヤをメインで考慮したのでこれらの解決策は余り検討しなかった。
OpenSSHの此のスレッドのこの辺り(Name based SSH proxy )で議論されてる。
I hope we do not introduce a cleartext SNI into the SSH protocol. This leaks far too much sensitive metadata for passive monitors. TLS has cleartext SNI, and it is quite difficult to figure out how to protect it from passive monitors
やろうと思えば出来るけど、SSHのプロトコルにないもんを作るのはSSHプロトコルの定義からの見直しになりそうだし、そもそもSNIはクリアテキストになってんじゃないの？そんなの実装したくねーわって丁寧な言葉で書かれてる。たぶんコレが全て答え。そのため、どうしてもやりたいなら stunnel を使う必要がある。
https://www.infiniteloop.co.jp/blog/2016/05/user-namebase-ssh-reverse-proxy/
http://hogem.hatenablog.com/entry/2015/06/08/233000
https://github.com/tg123/sshpiper
http://yudai.arielworks.com/memo/2010/12/15/225715
この動画なんだっけ？wmv？avi？ mpegts ？
ファイル名の変換をミスった。拡張子がトンだ。もうしにたい。仕方ないのでコーデック情報見ながら各種データの拡張子を探ることに
ffmpeg で動画の情報を見るには ffprobe を使う。
ffprobe -i movie.mov
まぁこれだけでも見るだけなら 標準エラーにffmpeg と同じ情報が出てきてログ見たらわかるんだけど。もっと手軽にほしいところだけ見たいな的な。
ネット見てたら、ffmpeg/ffprobe のエラーストリームへログをgrep してたりしてたいへんだ。
-print_format json
ffprobe には show_format があってJSONでストリーム情報を取り出せる。
ffprobe -i movie.mov -show_streams -print_format json
これで、ストリーム情報を取り出せる。
サポートしてるフォーマットとかの情報がうるさいので黙らせる。-loglevel quietで指定する。
ffprobe -i movie.mov -loglevel quiet -show_streams -print_format json
-print_format json と jq を組み合わせる。ここまで来たら後は楽ちん。 jq と組合あせて戦う。
takuya@Desktop$ ffprobe -loglevel quiet -show_streams -print_format json "$f" | jq '.streams[] | {"index":.index,"codec_type":.codec_type,"codec_name":.codec_name} ' -r
{
"index": 0,
"codec_type": "audio",
"codec_name": "aac"
}
{
"index": 1,
"codec_type": "video",
"codec_name": "h264"
}
{
"index": 2,
"codec_type": "data",
"codec_name": null
}
{
"index": 3,
"codec_type": "data",
"codec_name": null
}
takuya@Desktop$
ffprobe -loglevel quiet -show_streams -print_format json "$i" | jq .streams[0].codec_name -r
function ffmpeg_show_video_codec()
f=$1
ffprobe -loglevel quiet -show_streams -print_format json "$f" | jq .streams[0].codec_name -r
}
コレで行けそうですね。
json と jq はどうしても煩雑なので、 XML+XPATH のほうが楽だった。
-print_format xmlXML で出力してXPATHの方が // の省略記法があるので圧倒的に楽
ffprobe /Users/takuya/.Desktops/2017-02-10/IMG_4046.MOV-1.mov -loglevel quiet -show_streams -print_format xml | xpath '//stream/@codec_name'
やっぱりJSONめんどくさいんだよ。読みやすいけど、コードが煩雑。廃れてほしい。*1
などがある
formats 以外に見れるものもある。
ffprobe の man を眺めているとアレコレあるみたい
-show_data
-show_data_hash algorithm
-show_error
-show_format
-show_format_entry name
-show_entries section_entries
-show_packets
-show_frames
-show_streams
-show_programs
-show_chapters
時間無くて調べきれない。-show_programs 番組のprogram_id などが見れる TS のストリーム情報などはコッチ見た方がいいのかな。
動画の拡張子を wmv / mp4 にわける。
#!/usr/bin/env bash for i in ./movies/* ; do name=$(ffprobe -loglevel quiet -show_streams -print_format json "$i" | jq .streams[0].codec_name -r) echo $name $i case "$name" in wmv*) : echo mv "$i" "${i/.*/.wmv}" # mv "$i" "${i/.*/.wmv}" ;; h264|aac|mpeg4) : echo mv "$i" "${i/.*/mp4}" ;; esac done
alias ffmpeg_info_json ='$ ffprobe -loglevel quiet -show_streams -print_format json -i '
qpdf があればコピーを不可、編集不可、閲覧不可などのパスワードをつけることが出来る
--encryptqpdf --encrypt パスワード1 パスワード2 キー フラグ -- in.pdf out.pdf
最後にいれる -- はオプションフラグの識別のために必要
-- in.pdf out.pdf
USER_PASSWD='ユーザーパスワード' OWNER_PASSWD='オーナパスワード' qpdf --encrypt $USER_PASSWD $OWNER_PASSWD 40 --print=n --modify=n --extract=n --annotate=n -- 2.pdf 3.pdf
Mac の場合アイコンも変わる。
プレビューでも開けなくなってる。
誰でも閲覧は出来るが、編集不可で印刷不可にする場合
ユーザーパスワードには「空文字」が許可されるので、空文字を入れることで、オーナパスワードだけをつけることが出来る。
OWNER_PASSWD='オーナパスワード' qpdf --encrypt '' $OWNER_PASSWD 40 --print=n --modify=n --extract=n --annotate=n -- 2.pdf 3.pdf
印刷するには、このパスワードダイアログ出てくる。
でもqpdf で閲覧状態のPDFをdecrypt して解除できちゃうんだけどね。知らない人にはちょっとプレッシャーをかけることが出来る。
networksetup が便利なんだけど。これを使うと毎回毎回にダイアログが出る。
/usr/sbin/networksetup
sudo したら解決するらしい。なんでや。。。
sudo /usr/sbin/networksetup
sudo で解決するので、sudo つけるか、sudoers に コマンド追加したら解決しますね。
takuya@Desktop$ ll /usr/sbin/networksetup -rwxr-xr-x 1 root wheel 199K 2016-07-09 12:03 /usr/sbin/networksetup
これだから、suid を付加しても解決する。ただしSIP(system integrity protection) があるのでオフにしないと解決できない。
chmod u+s /usr/sbin/networksetup
データベースにアクセスしてデータを扱うには Sequel が便利。ActiveRecordもいいんだけどアレはめんどくさい。
SQLに極めて近い構造で余計なことはなにもなく便利でいい。
gem install sequel
DB = Sequel.connect('sqlite://./sample.db')
DB = Sequel.connect('mysql2://takuya:**pass**@192.168.100.1/takuya_db',:loggers => [Logger.new($stdout)])
DB.create_table!(:table) do primary_key :id String :user_name , :unique=>true Char :role, default: 'u' check(:role=>%w[a o u]) unique [:user_id, :group_id, :role] end
シンボルで、ハッシュキーでアクセスする。面倒なときはクラスを定義する（後述）
res = db[:tablename] res.all.each{|e| puts res[:id] puts res[:name] }
obj = { name: "takuya"}
table = DB[:tablename]
table.insert(obj)
table = DB[:tablename]
table = table.where( 'id > 1000' );
table.each{|r|
puts r[:id]
}
res = db[:tablename].where('id > 100') res = db[:tablename].where('id > 100').where(' id < 1000 ')
res = db[:tablename].where('id > 100').where(' id < 1000 ')
res.sql
table = DB[:tablename] table = table.where( 'id = 1000' ).imit(1); table.delete
table = DB[:tablename]
table = table.where( 'id = 1000' ).imit(1);
obj = { name: "takuya"}
table.update(obj)
obj = { name: str1 , path: str2 }
begin
table = DB[:user_file_info]
table.insert(obj)
rescue Sequel::UniqueConstraintViolation => e
puts e.backtrace
raise e
end
prepare = DB[:users].where('name like :n').prepare(:select,:select_by_name) prepare.call(:n=>"%#{e}%")
DB.create_table! # テーブルを削除して作る（データ消消える DB.create_table? # テーブルがなければ作る DB.create_table # テーブルがあればエラーになる
DB.create_table(:table) do primary_key :id foreign_key :user_id, :user end
次のようにカスケードを指定する場合もあり。
foreign_key :user_id, :user, :on_update=>true foreign_key :user_id, :user, :on_update=>true , :on_delte=>true foreign_key :user_id, :user, :on_update=>true , :on_delte=>true,:deferrable=>true
DB.create_table(:table) do
primary_key :id
Integer :user_id
String :user_name
foreign_key [:user_id, :user_name], :user
end
DB.create_table(:table) do primary_key :id Integer :user_id Integer :group_id String : role # 複数カラムの場合 unique [:user_id, :group_id, :role]
デフォルト制約 role を [‘r’,‘o’,‘u’,] に制限する場合。
check(:role=>%w[a o u])
クラス名を指定して扱える。テーブル名をハッシュで指定する。
class ImageCache < Sequel::Model(:image_cache) end r = ImageCache.all.first r.url # ドットでアクセス可能になる。
テーブル名を省略するとクラス名の複数名になる。
class User < Sequel::Model(:users); end class User < Sequel::Model; end # 省略可能
ActiveRecordじゃないとだめな人には此の方が便利かもしれない。
irb でいっかいテーブルのクラス定義をしてしまうと、再定義がめんどくさいので。一旦消す方がいい。
pry を再起動せずに、クラスを消すには remove_const するのが楽
class UserInfoTable < Sequel::Model(:user_info_table); end
Object.class_eval { remove_const :UserInfoTable }
バイナリを突っ込もうとしたらエラーになったことがあるので明示的にblob を指定する必要があった ( sqlite のとき )
obj = { image_url: image_url, image_data:Sequel.blob(bin) }
table = DB[:image_cache]
table.insert(obj)
ちょっとしたデータ処理でSQLでデータを格納したり、処理したりするのに便利。
ActiveRecordのようなモデルベースだと「アプリ」を使うには便利なんだけど、テーブルデータを触ったり増やしたりするにはとても不便なので、SequelはちょっとめんどくさいSQLをサボるのに便利だと思う。
http://stackoverflow.com/questions/25657286/ruby-sequel-error-table-already-exists http://stackoverflow.com/questions/10196624/how-to-check-constraints-in-sequel
http://takuya-1st.hatenablog.jp/entry/2015/12/28/204019
https://github.com/jeremyevans/sequel/blob/master/doc/schema_modification.rdoc
昔、教授が使ってて、なんやこれ！楽しそうと思ったファイラ。「これDOSですか？」「いいやちがうよ、古い頃から使ってるMS-DOSみたいなもんだな」「なんで？Finderあるじゃないですか？」「コレがいいんだよコマンドからはなれるとコレが使いやすいんだよ」
当時は何のことを指しているのか全く理解できませんでした。
MS-DOS時代を彷彿とさせるユーザーインターフェース。楽しそう。でも名前を忘れてて何かわからなかった。試すこともしなかった。
今日ふとした瞬間に見つけて懐かしい感じなにった。
Midnight Commander はビジュアルファイルマネージャです。ファイルやディレクトリー全体のコピー・移動・削除や、ファイルの検索、サブシェルでのコマンドの実行ができます。ビューアやエディタも内蔵しています。 Ncurses や S-Lang のような汎用のテキストインターフェイスを使っているため、通常のコンソール、X Window ターミナル、または SSH 接続を介してリモートシェルでも動作します。
takuya@~$ brew install midnight-commander
sudo apt install mc
(Terminal.appの方が自然に動く気がする）
takuya@~$ mc
マウスが使える（！）ので操作は最初はマウスからなれる
ファンクションキーで操作するあたりが、もうね、もうね、DOS時代です。
ファンクションキーの存在意義が曖昧にな現代のコンピュータで、ガンガンファンクションキーを使いまくる。
ファンクションキーに気づくことが出来る。F1-10が昔は如何様に使われいたか、そして現代ははどうなったのかを一瞬で体験できる。
SSH経由でターミナルだと、ファイル名を補完したり入力するのすらめんどくさいことが多いので、コレは最高だ。
NASのリモートサーバーにMC入れたら捗る。 ファイルの管理がすごく楽になった。コマンドだと ls 叩きまくりだしなぁ
とくに日本語ファイルが多くて補完が大変なときなどに重宝する。
もう、bash起動する必要なかったら、mc 直接起動しちゃえばいいんじゃないかな。
command="mc" ssh-rsa AABIwAAAQEA4pJgjWmRfoAZ6Ippi
まぁEmacsやVim NERDTree使えって話なんだろうけどね。
最初はとっつきにくいかもしれないけど、VNCやRDP上げてファイル操作するより、インストールも設定も楽だと思います。 なによりパケット量気にしない使えるのも嬉しい。
欠点といえば、画像をプレビューできないところくらいか。
昔からの人には当たり前なことだと思う。教授も日常で使ってたし。
昔からのCLI経由のインターフェースって完成されてるよね。。
http://takuya-1st.hatenablog.jp/entry/20110813/1313252992
takuya@:sites-available$ dig soa google.co.jp +short
ns2.google.com. dns-admin.google.com. 149484063 900 900 1800 60
^^^ ^^ ^^ ^^ ^^
│ │ │ │ └ minimun
│ │ │ └─ expire
│ │ └─ retry
│ └─ refresh
└─ serial
レコードを新規追加すると、通常だと次のような流れになります。
先に問い合わせが来てしまった場合。
プライマリ→セカンダリの同期前にセカンダリに問い合わせると、セカンダリにはレコードがなく問い合わせ結果がネガティブになり、その情報をSOAに従ってネガティブキャッシュしてしまう。なのでますます反映が遅くなることがある。
一般の人（NS運営してない）がSOAで見る情報はなにより、ネガティブキャッシュ設定だと思います。
なんでこんなことを調べてるのかというとV◯lue-d◯mainの更新の遅さに苦労しててちょっと調べてたわけです。
ひさしくpython2.7 だし全然不満がないのですが。python3.6 の文字列展開とjinja2 が便利そうだしそろそろ python3 使ってみようと思い立って、まずは基本的なリクエストを投げるところから。
urllib.request は 公式ドキュメントにすら Requests を使ったら？と書かれてたりする。 まぁ、そうなんだけど。py3から使い方も変わったしおさらいしておくことにする。
import urllib,urllib.request url = 'https://t.co' req = urllib.request.Request(url=url) f = urllib.request.urlopen(req) print(f.read().decode('utf-8'))
Request を作って urlopen(request) するのが基本的な流れ。
もちろんGETするだけならもっとシンプルに使える
urllib.request.urlopen(url)
でも、getして終わりってわけじゃないよね。プログラム言語を使い込んでいくならかならず POST/GET/PUT と JSON の送信なんかが出て来る。
#!/usr/bin/env python3 import http.client import urllib import urllib.request ## phpinfo の内容をjson で返してくれるURL url = 'http://[::1]/~takuya/info_json.php' ## GET SAMPLE def sample_get(): req = urllib.request.Request(url=url) f = urllib.request.urlopen(req) print(f.read().decode('utf-8')) ## POST SAMPLE def sample_post(): req = urllib.request.Request(url=url, data=b'var=1') f = urllib.request.urlopen(req) print(f.read().decode('utf-8')) ## POST with Custom HEADER def sample_post_with_header(): headers={ 'Content-type':'application/json' } req = urllib.request.Request(url=url,headers=headers, data=b'{ "a" : 1 }') f = urllib.request.urlopen(req) print(f.read().decode('utf-8')) ## POST json with Custom HEADER def sample_post_with_header_and_json(): headers={ 'Content-type':'application/json' } json_str='{"a":1}' req = urllib.request.Request(url=url,headers=headers, data=json_str.encode('utf-8')) f = urllib.request.urlopen(req) print(f.read().decode('utf-8')) ## PUT json with Custom HEADER def sample_put_with_header_and_json(): headers={ 'Content-type':'application/json' } json_str='{"a":1}' req = urllib.request.Request(url=url,headers=headers, data=json_str.encode('utf-8'), method='put') f = urllib.request.urlopen(req) print(f.read().decode('utf-8'))
HTTP(s)のリクエストを送信するときにアレコレする場合は、すべてurllib.request.Request を作って、それを open することになるとわかった。
引数増やすだけで対応できるので楽ですねぇ。
urllib.request.Request(url=url) # simple GET urllib.request.Request(url=url, data=b'var=1') # POSTする urllib.request.Request(url=url,headers=headers, data=b'var=1') # HEADERつける urllib.request.Request(url=url,headers=headers, data=json_str.encode('utf-8'), method='put')
ハマりどころは、POSTデータ byte 型になるところ
data=b'var=1' # または data=str.encode('utf-8')
などとやっておかないとエラーになる。油断してると忘れそうになる。
これで各種APIを叩くのが楽になりますね。
https://docs.python.org/3.4/library/urllib.request.html#module-urllib.request
GETはすぐ覚えらるけど、GETと同等に使うPOSTはちょっとコツが居る。
curl で POST などの HTTP のメソッドを指定するには、 -X HTTP_METHOD をつけて method を指定する。
curl -X GET curl -X DELETE curl -X POST --data 'name=value&id=1' curl -X PUT --data 'name=value&id=1'
POSTと ファイル名指定の -F と合わせ技
curl -X POST -F name=@path/to/name curl -X PUT -F name=@path/to/name
JSONを送る場合は、大抵の場合がPOSTなので、POSTと合わせて、--data で指定する。
curl -X POST --data '{"id":1}'
curl -X PUT --data '{"id":1}'
content-typeを状況により追加で付ける必要がある。
curl -X POST --data '{"id":1}' -H "Content-Type: application/json"
curl -X PUT --data '{"id":1}' -H "Content-Type: application/json"
--data つけるとPOSTわたしはPOSTやPUTであることを明示することで自分自身への確認としていますが。
--data をつけるだけでPOSTになる・
つまり、次の２つは同じと言える。
curl -X POST --data '{"id":1}'
curl --data '{"id":1}'
RESTなAPI好きなんだけど、HTTPメソッドで切り分けるとすると、リクエスト側でメソッド指定するのが不便ですねぇ。
自分で探すときに検索でマッチしないのでキーワードを追加。
