それマグで!

知識はカップより、マグでゆっくり頂きます。 takuya_1stのブログ

習慣に早くから配慮した者は、 おそらく人生の実りも大きい。

phpで文字列がメールアドレスかどうか調べる(RFC822) - filter_vars

phpで文字列がメールアドレスかどうか調べる。

<?php

filter_var('takuya@example.com', FILTER_VALIDATE_EMAIL ))

たったこれだけでRFC準拠のE-MAILのメールアドレスかどうかを調べることができる。

その他の出力結果はつぎのようになります。

php > var_dump(filter_var('takuya@example.com', FILTER_VALIDATE_EMAIL ));
string(18) "takuya@example.com"

php > var_dump(filter_var('takuya+sample@example.com', FILTER_VALIDATE_EMAIL ));
string(25) "takuya+sample@example.com"

php > var_dump(filter_var('takuya+sample@.com', FILTER_VALIDATE_EMAIL ));
bool(false)

php > var_dump(filter_var('takuya+sample@doc.com', FILTER_VALIDATE_EMAIL ));
string(21) "takuya+sample@doc.com"

php > var_dump(filter_var('takuya.@doc.com', FILTER_VALIDATE_EMAIL ));
bool(false)

php > var_dump(filter_var('takuya_1st@doc.com', FILTER_VALIDATE_EMAIL ));
string(18) "takuya_1st@doc.com"

php > var_dump(filter_var('tak.uya_1st@doc.com', FILTER_VALIDATE_EMAIL ));
string(19) "tak.uya_1st@doc.com"

php > var_dump(filter_var('tak..uya_1st@doc.com', FILTER_VALIDATE_EMAIL ));
bool(false)

RFC非準拠メールアドレスを捨てても大丈夫。

 むかしむかし、NTTドコモというメールアドレス発行者がいて、RFC非準拠メールアドレスを発行許可してくれました。 dd.@docomo.ne.jp のように@マークの前に ドットが入るものです。しかし現在では、ドコモのメールアドレスでは、@マーク前のドットは許可されされていません。スパムメール対策に敢えて準拠違反のメールアドレスを使うという暴挙が過去に行われていましたが、いまは昔です。

 Gmailでは ta..ku..ya@gmail.com のような ドットが連続するメールアドレスを使えましたが、これもいまは昔です。もう動きません。

 したがって、Phperが「妙ちくりん」なregular expression を書いたりコピペするよりも、FILTER_VALIDATE_EMAIL を使ってメールアドレスをバリデーションしたほうが確実なのです。

 なぜしないんでしょうね。コピペが横行していて、公式マニュアルを読まないのは少し不思議(SF)です。

メールアドレスのバリデーションは公式をまず使おう

php 組み込み関数 filter_var を使うほうが無難です。それでもどうしても対応できないものが出てきた時に、はじめてコピペや検索結果に出てくるアドバイスを見たらどうでしょうか。

<?php

filter_var('takuya@example.com', FILTER_VALIDATE_EMAIL ))

filter_vars に関するバリデーション一覧

https://www.php.net/manual/en/filter.filters.validate.php

マニュアルを少し見れば、変な正規表現パターンもテストも不要になるのではないでしょうか。

phpで 文字列がIPアドレスかどうか調べる- filter_vars

文字列がIPアドレスかどうか調べるには。

FILTER_VALIDATE_IP を filter_vars と組み合わせて使うとお手軽です。

<?php
function is_ipv4 ( $ip ){
  return filter_var($ip,  FILTER_VALIDATE_IP);
}

これで、v4かどうか調べることができる。

使い方と出力サンプルは次の通り

いくつかのタイプで調べてみると、動作がわかる。

php > var_dump(filter_var('a', FILTER_VALIDATE_IP));
bool(false)
php > var_dump(filter_var('127.0.0.1', FILTER_VALIDATE_IP));
string(9) "127.0.0.1"
php > var_dump(filter_var('127.', FILTER_VALIDATE_IP));
bool(false)
php > var_dump(filter_var('1.1.1.1', FILTER_VALIDATE_IP));
string(7) "1.1.1.1"
php > var_dump(filter_var('192.168.1.1/24', FILTER_VALIDATE_IP));
bool(false)
php > var_dump(filter_var('192.168.1.1', FILTER_VALIDATE_IP));
string(11) "192.168.1.1"
php >

FILTER_VALIDATE_IP と filter_var の組み合わせでバリデーションが出来て、ちゃんと動作しているのがわかるでしょうか。

v6 かどうか調べるには

FILTER_FLAG_IPV6  を使います。ただし、組み合わせて使います。

<?php
php > var_dump(filter_var('2001:a240:8383:a300::1', FILTER_VALIDATE_IP, FILTER_FLAG_IPV6 ));
string(22) "2001:a240:8383:a300::1"

マニュアル読もうぜ。

なぜphper は自作のヴァリでーションを書いてしまうのか。正規表現パターンをいいけど言語組み込みの機能は積極的に使ってほしいと思うんですよね。

https://www.php.net/manual/en/ref.filter.php

ubuntu で apt インストールした mariadb(mysql) のroot パスワードがわからないので初期設定を探した

ubuntu 20.04 で mariadb-server

mariadb-server をいれたけど、デフォルトのユーザーパスワードがわからない!

mysql をインストールしたときは、ユーザーパスワードの生成プロンプトが出てきたのに、最近のapt はプロンプト出さない傾向があるんですよ、とくにserver版のやつ

インストール済みのmariadb に接続する

uid 1 で、 mysql ユーザーもroot でログインすれば、パスワードがいらない。

sudo mysql -u root 

試してみた

### ubuntu 一般ユーザー→だめ
ubuntu@primary:/var/www$ mysql
ERROR 1698 (28000): Access denied for user 'ubuntu'@'localhost'

### ubuntu 一般ユーザーが mysql ユーザー root として → だめ
ubuntu@primary:/var/www$ mysql -u root
ERROR 1698 (28000): Access denied for user 'root'@'localhost'
### 上記の -p でパスワードプロンプト、、、パスワードが分からない。
ubuntu@primary:/var/www$ mysql -u root -p
Enter password:
ERROR 1698 (28000): Access denied for user 'root'@'localhost'
### sudo でやってみても、パスワードがないので詰まる。 未入力の状態でEnter → つながる!
ubuntu@primary:/var/www$ sudo mysql -u root -p
Enter password:
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 44
Server version: 10.1.44-MariaDB-0ubuntu0.18.04.1 Ubuntu 18.04

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]>

デフォルトはsudo パスワード=なしでログイン可能ですね

というわけで、 デフォルトはパスワード=なしでログイン可能ですよね。これってある意味やばいので注意が必要です。ただし、sudo 出来ない限りは大丈夫。 sudo ユーザーを増やしている場合は注意が必要ですね。

インストールが終わったら

初期化とユーザー登録と権限設定ですね。

MySQLの基本的コマンド(ユーザ・DB・権限・パスワード)の設定削除作成の早見表 -- sql 版 - それマグで!

ランダムなひらがな文字列を生成する-ruby でひみつの質問

ひみつの質問の回答をジェネレーターで作る

(1..10).each do
  puts (1..20).map{|e| (0x3042+Random.new.rand(0..82)).chr(Encoding::UTF_8)}.join
end

実行サンプル

ランダムな文字列を生成するのである。

/usr/bin/ruby himitu.rb
ふぉゔゃまゅめゅいごなこきむてぎなざさへ
ぽぽはとごだんむごよぇねとほうそわをゎつ
ねぽねなやしいづびぽぉばぐひごろへでおよ
がづつぷほぼゑたやかゆぺえへまよもいおぇ
りねっせぶぢけぺねあとほごせよんうゐだひ
ろざゆぃくばへごつちきゎそぱたついさげへ
ずじへめやむぺゐふぃまえしづめゃおゅなし
ふもぺょけにゃぜつかぢきいぎけのすむぉで
りこぐぶやをのうぐぱにずぬえぞはめぶゑち
もとをぷゅぱひよぱぢずゃぽんさけまぼしけ

仕組み

UTF-8 で 0x3042 が’あ’

0x3042 + ランダムな数字

数字.chr( Encoding::UTF_8 ) で、文字コードの数字を、文字に変換

あとはこれを必要文字数文繰り返す。

バリデーションで弾かれる可能性がある。

'ゔ', 'ゕ', 'ゖ' の3つの文字は、バリデーションで「かな」ではないと弾かれる可能性が高い。

世間に出回る、ひらがなチェック正規表現"regex": /^[ぁ-んー\s]+$/ になっているので 、’んー’以降に存在する 'ゔ', 'ゕ', 'ゖ'はひらがなとして認識されないかもしれない。

関連資料

秘密の質問ジェネレータを、pythonでぱぱっと - それマグで!

ssh の秘密鍵は何ビットやFingerprintのプロパティ情報を見る

SSH秘密鍵が何ビットだったか忘れた

随分前に作った秘密鍵なので、これが1024 / 2048 なのかすっかり忘れていました。

ssh-keygen で秘密鍵の情報を確認

秘密鍵の情報をみるには、ssh-keygenコマンドでやります。

ssh-keygen -l -f ~/.ssh/id_rsa

このコマンドを使えば、ビット数やRSAキーかどうか、Finterprintなどが表示できます。

実行例

takuya@~$ssh-keygen -l -f ~/.ssh/id_rsa
2048 SHA256:ikqYC8kkcxFABO/1+uEDhlZqm9Czt takuya@host (RSA)

これで、秘密鍵の指紋(Finterprint)が確認でき、キーの名前や、バイト数(上記の例では2048) を調べることが出来ます。

参考資料

How To: Inspect SSH Key Fingerprints

Apache2でmod_rewrite が動かない?

Apache2 で rewrite エンジンを動か無いときにチェックするもの

久しぶりに、ubuntu にApache2+php いれて /aaa/aaa を /index.php/aaa/aaa に転送しようとしたら出来ない。

apache2 の場合、rewrite を使うまでにいくつか手順が必要

  1. rewrite が有効になっていますか
  2. Allow Override が使えるか
  3. htaccess の記述内容は正しいですか

rewrite を有効にして、有効になっているか。

apache の場合、rewrite を使ってリクエストのPATHをキャッチオールするので、有効にする

sudo a2enmod rewrite 
sudo apache2 configtest
sudo apache2 restart

Allow Override

apache2.conf で Allow Orverride を有効にする

Allow Orverride はディレクトリに対する設定で書くので、apache2.conf に書く。

 <Directory /var/www/>
   Options Indexes FollowSymLinks
   AllowOverride All
   Require all granted
 </Directory>

.htaccess の記述

.htaccess の記述を確認する。rewrite を有効にしているかチェック

<IfModule mod_rewrite.c>

    RewriteEngine On

    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !^(.*)\.(gif|png|jpe?g|css|ico|js|svg|map)$ [NC]
    RewriteRule ^(.*)$ index.php [QSA,L]
</IfModule>

rewrite を使う時

rewrite は標準でインストールされるが、htaccess で使うのに Allow Override がhttpd.confに必要で、一回書くとずっと使うので忘れますね。

nginx だと rewrite のルールは nginx のconfig に書くので、更に忘れますね。

参考資料

Apache/Apacheでmod-rewriteが動かない場合の原因のいくつか - Web関連技術調査

シェル ( /bin/sh ) での正規表現マッチ。

以前、bash正規表現について書いた。

今回は、今更だけど、あえて、bash/zsh で使われている [[ を使わずに、正規表現を使おうとしてみた。

expr よりは bash の機能を使ったほうがいい。

以前書いた記事にある。bash/zsh正規表現を使う方法が個人的には優れていると思う。

takuya-1st.hatenablog.jp

どうしても sh じゃないとだめなんだったときは expr を使う選択肢になる。

/bin/sh の場合は expr で正規表現を扱う。

シェルの正規表現は、次のようにかける。

expr "なにか文字列" : "regex"

または、次のように書く。

expr match "なにか文字列"  "regex"

expr は expression の略だったかとおもう。Expressionの名前の通り、文字列表現の式を評価をする。四則演算なども使います。

expr を使う上での注意。

expr は式を評価するので、結果がプリントされます。

通常の [ / test は結果をプリントせずにステータース・コードをexit code で返しますが、expr は文字列を出力するので注意。

expr で正規表現

正規表現をするときは次のように書きます。

expr hello :  'h.*o' 

または

expr match hello   'h.*o' 

if 文 と expr でマッチングで条件分岐

expr を正規表現マッチで返すと一致したかどうかを文字列でプリントするので、出力を捨てる必要がある。

if expr hello :  'hello' > /dev/null ; then
  echo match
fi

サンプル

正規表現/bin/sh で動くように regex をexpr で扱ってbashだけでなく汎ゆる場所で動くことを想定したらこんな感じになるが

#!/bin/sh


match_test () {
  printf "%-18s:" "$1"
  if expr "$1" : '.*apple' > /dev/null ; then
   echo match
  else
    echo does not match
  fi

}

match_test "Hello World."
match_test "This is an apple."
match_test "This is a pen."

実行結果

上記の実行結果

$ ./test.sh
Hello World.      :does not match
This is an apple. :match
This is a pen.    :does not match

細かい部分で [[ と違う。

正規表現の柔軟度を考えると、bash / zsh に組み込まれている [[ を使ったほうが正規表現の書きやすさ、マッチ判断のわかりやすさが上回っている。

関連資料

bashでif に正規表現を使った文字列マッチ条件分岐 - それマグで!

Vimのet / noet って何?→expandtab です。

vimrc の設定ファイルでet を見かける

et ってなんだよ!ってことを感じたのでメモ。

set et  " set expandtab と同等
set noet  " = set noexpandtab 

noetno + et ですね。

vimrcなどvim の設定ファイル は noXXX で表記されることが多いですね。set nonumber 略して set nonuなど。

expandtabetなので、noexpandtabnoet ですね

expandtab ってなに

タブ文字入力をスペースとして扱うやつです。どのサイズになるのかは ts=2 ( tabstop=2 ) などで調整します。

expandtab(et / noet ) を設定するときは併せて ts / sw を調整しましょう

参考資料

:set expandtab(:set et)設定の時に、タブ文字を挿入する — 名無しのvim使い

Vim のカスタマイズ 〜 タブ/インデントの設定 〜 - Vim のブログ

ruby でGmail(smtp) 経由でメールを送信する。TLS有効化

ruby でメールを送信する

ruby からgmail を送信するには、 mail ライブラリだけでも出来るんだけど。

MIMEエンコードされたデータを受け取ってそのまま forward するには、もう少しいい方法がないかなと思って考えていた。

メールリレーの中間に入って、指定メールだけを転送したいとか、smtp-proxy を作っておきたいとかそういうときに活用できる。いちいちデコードして作り直しててめんどくさくてですね。

net/smtpgmail 送信。

require 'bundler'
Bundler.setup
require 'net/smtp'
require 'mail'
require_relative '../etc/gmail-passwd'



smtp = Net::SMTP.new("smtp.gmail.com", '587')
smtp.enable_starttls
smtp.start(
    'smtp.gmail.com',
    $gmail_account.username,
    $gmail_account.password,
    :login
)

mail = Mail.new
mail.from = "webmaster@example.com"
mail.to  = "takuya@example.com"
mail.subject = "test"
mail.body ="test test"
mail.attachments["photo.jpg"] = File.binread( File.expand_path( "./photo.jpg",  File.dirname($0) ) )


smtp.send_mail( mail.encoded , mail.from, mail.to )

これで、ファイルを入れているプロジェクトで bundle install したら大丈夫。

添付ファイルの準備。

送信テストで添付ファイルを使いたいので準備します。

convert -background white -fill black -pointsize 256 label:'Hello World' photo.jpg

送信テスト。

bundler init 
bundler add mail
bundler install 
ruby test-mail.rb

これで送信できます。

Mailのみの場合

mail ライブラリで新規メール作成して、送信するにはMail だけでいける。

require 'mail'


mail = Mail.new

mail.delivery_method(:smtp,
                     address:        "smtp.gmail.com",
                     port:           587,
                     domain:         "smtp.gmail.com",
                     authentication: :login,
                     user_name:      $gmail_account.username,
                     password:       $gmail_account.password
)


mail.from = "webmaster@example.com"
mail.to  = "takuya@example.com"
mail.subject = "test"
mail.body ="test test"

mail.deliver

redis のクライアントだけをインストールする。

redis に接続するクライアントだけインストールしたい

redis のクライアント redis-cli は次のコマンドでインストールする。

sudo apt install redis-tools

これで redisに接続して、データのやり取りをモニタリング出来る。

qcow2へ raw(qcowのnon-sparse) イメージを変換して sparse にする virt-sparsify

non-sparse から sparse なファイルにコピーする

qemu で使える raw image なnon sparseな hdd イメージを qcow2 形式の sparse なファイルにする。

生イメージだとどうしてもディスク容量が節約できないので動的にディスク容量を確保するほうが良いよね。

virt-sparsify

直接イメージをマウントしてコピーすると手順が大変なことになってしまいます。そこで virt-sparsify というコマンドが用意されています。

インストール

virt-sparsify は guestfs-tools に含まれて配布されるようです。

takuya@:~$ virt-sparsify

Command 'virt-sparsify' not found, but can be installed with:

sudo apt install libguestfs-tools

変換

変換は、直接ファイルを「書き換える」のではなく、コピーになります。

sudo virt-sparsify   FROM TO

コマンド例

virt-sparsifyはいくつオプションがあり、便利に使える。

virt-sparsify --check-tmpdir=fail  $SRC  $DST
virt-sparsify --in-place  $SRC $DST
virt-sparsify   $SRC--compress $DST

--check-tmpdir=fail/tmp を使う前に残容量を確認し、容量不足になりそうならエラーとする。

--compress は出来上がりのファイルを圧縮形式にする。使ってみた感じだとシングルスレッドで実行は遅いので時間がかかる。非圧縮に比べ容量は確実に減る。

--in-placeは、一時ファイルを作成せずに直接ファイルを書き換えに行く。容量不足になりそうならこれも選択肢である。ただし、sparsify 中に電源断などプロセスが止まったらファイルは壊れる。

状況に応じて使い分けるのがいい。

実際に変換してみた

takuya@host:~$ sudo virt-sparsify   /var/lib/libvirt/images/ubuntu-1910.img  /var/lib/libvirt/images/ubuntu-1910.sp.qcow2
[   0.0] Create overlay file in /tmp to protect source disk
[   0.0] Examine source disk
[  10.4] Fill free space in /dev/ubuntu-vg/root with zero
[ 477.6] Fill free space in volgroup ubuntu-vg with zero
[ 478.0] Copy to destination and make sparse
[ 922.2] Sparsify operation completed with no errors.
virt-sparsify: Before deleting the old disk, carefully check that the
target disk boots and works correctly.

なるほど。これでsparse ファイルになるのか。

無事に sparse なファイルに変換されました。メッセージには「念の為、起動してチェックしろよ」と書いてあります。

出来上がりを見てみます。

こっちが元のファイル。

takuya@:~$ sudo qemu-img info  /var/lib/libvirt/images/ubuntu-1910.img
[sudo] password for takuya:
image: /var/lib/libvirt/images/ubuntu-1910.img
file format: qcow2
virtual size: 200G (214748364800 bytes)
disk size: 191G
cluster_size: 65536
Format specific information:
    compat: 1.1
    lazy refcounts: false
    refcount bits: 16
    corrupt: false
After

次に、スパースファイルになった側

takuya@:~$ sudo qemu-img info  /var/lib/libvirt/images/ubuntu-1910.sp.qcow2
image: /var/lib/libvirt/images/ubuntu-1910.sp.qcow2
file format: qcow2
virtual size: 200G (214748364800 bytes)
disk size: 71G
cluster_size: 65536
Format specific information:
    compat: 1.1
    lazy refcounts: false
    refcount bits: 16
    corrupt: false

実際に消費する実ディスク容量が 191GB→ 71GB と削減されていることがわかります。仮想サイズはどちらも200GBです。

なぜ最初から sparseにしてなかったのか。

virt-manager で作ったqcow2のディスクで、特に設定しないとsparseにならないので注意が必要でした。

virt-manager ってsparseにしないんですね。いまはSSDだし?メモリもいっぱいあるから再配置オーバーヘッドよりもSSDのディスク容量のほうが貴重だしなぁ。

qemu-img を使ってる

libvirt と qcow2 で使ったっ場合、virt-spasify は内部的に qemu-img が使われていて、/tmp に書き出されるので作業用の容量はある程度確保する必要がある。

参考資料

https://milestone-of-se.nesuke.com/sv-basic/linux-basic/resize-kvm-image-sparse-file/

http://libguestfs.org/virt-sparsify.1.html

2022-05-22

追記

2023-02-01

オプションについて追記。

iOS SafariのWeb Inspectorがmacで動かない

Mac から iOS iphone / iPadSafariにアクセスできない

iOSSafariで JS / CSS の動作を確認しながら、shortcut.app の ページ内javascript 実行を書いてたのですが。

どうも謎のjavascript エラーが出るので Macに接続して iPhone Safari を Web Inspector ( 開発ツール)で覗こうとしたのですが 出来ない。

MacSafariを開いても「開発」に、自分のiOSバイスが出現しない、空っぽで iphoneが表示されない。なんどもUSB抜き差ししても現れない。本来なら WiFi/Bluetooth でつないでさえあれば、近くのiOSバイスSafariデバッグツールはUSB接続していなくてもネットワーク経由で見えるはずなのだ。

対応

iOS 側でセキュリティ設定をリセット掛けると治る

iOS 一般 →  リセット → 位置情報とプライバシー

iOS とUSB 接続

信頼済みのコンピュータ登録し直し

その後 iphone をUSB接続し、iOSの信頼済みのコンピュータを再設定する。

私の場合はこれで解決しました。

理由

信頼済みのコンピュータがおかしなことになってたと思われる。

リセット掛けるしか無いですね。

注意点

iOS/iphone のプライバシー設定がリセットされるんので、アプリ毎にGPS利用許可、カメラ利用許可など、アプリを起動するたびに再度利用許可が求められることになった。

lxc 間の通信で ホスト名を使って直IPを避ける

LXC コンテナ間の通信でホスト名を使いたい。

LXC のコンテナ間の通信で、IPアドレスをいちいち調べるのがめんどくさい。

docker-compose に記載したホスト間なら、ホスト名でアクセスできるので、おなじことをLXCでやりたいなと思ったら。

調べたら→出来る

出来るじゃん!!!

ホスト名.lxc でアクセス

ping my-container-01.lxc

これで出来ることがわかる。

コンテナ間で、役割分担をするとき、とてもべんりである。

例えば、次のようなlxc コンテナが立ち上がっているときに

takuya@:~$ lxc list
+---------------+---------+----------------------+------+-----------+-----------+
|     NAME      |  STATE  |         IPV4         | IPV6 |   TYPE    | SNAPSHOTS |
+---------------+---------+----------------------+------+-----------+-----------+
| mycontainer   | RUNNING | 10.185.93.111 (eth0) |      | CONTAINER | 0         |
+---------------+---------+----------------------+------+-----------+-----------+
| nginx         | RUNNING | 10.185.93.112 (eth0) |      | CONTAINER | 0         |
+---------------+---------+----------------------+------+-----------+-----------+
ping nginx.lxc
ping mycontainer.lxc

と指定できるわけです。

iOS Safari で再生ができる h265 フォーマット

iOSSafariで hevc 再生してみよう。

とりあえず、ffmpeg でぱぱっと変換してみる。

普通に、libx265 にしたら出来ない。

ffmpeg -y -i ../video/sample.mp4  -vcodec libx265  -vf scale=720:-1 -acodec copy   libx265.mp4

これだけでは、再生ができない。

tag をつけたら出来る。

x265 で変換した動画に tag:v hvc1 を付加すると iOS Safari で再生できる動画になる。

ffmpeg -i libx265.mp4  -c:v copy -c:a copy -tag:v hvc1 libx265-tag.mp4

おおお、再生できるじゃん。高圧縮使えるじゃん!

h264 を、タグを付けて h265 に変換する

ffmpeg -y -i ../video/sample.mp4  -vcodec libx265  -vf scale=720:-1 -acodec copy -tag:v hvc1  libx265.mp4

これで、iOS Safariで再生できる動画ができあがる。TSの変換で活躍しそうですね。

結論

iOS Safariで再生するなら、保存しているmp4 を変換するならタグだけでいいっぽい

必ずしもHLSにしてストリーミングにする必要はなさそう。

ただし、chrome

macgoogle chrome だと再生できませんでした。調査が必要かと思われる。chrome は webm使ってことかねぇ。

google chrome 見れる→ 見れない
VLC では見れる? → 見れる
omxplayer で再生できるのだろうか → raspi で再生できるのかな?→ 未チェック

参考資料

https://qiita.com/khagi/items/4d731fbe4df91df68254

unboundによるDNSブロッキング

dns ブロッキングをunboundで実現する。

ともちゃ先輩が面白そうなことをやっていたので、ちょっと真似てみる。

とも ちゃ日記(Tomo cha) - 元大学生のOL日記-

ちまたで、kawangoが暴れているDNSブロッキングというネタがあり、元々実装を検討していたものについて、便乗してみました。 (略) 糞みたいな広告で通信料および、お金が擦り落とされるのが非常に腹正しく、何かする方法がないか考えていた。もちろん、部屋でゴロゴロとしてPCでネットを見ていても、広告があまりにもうざく、嫌気を指していたので、対処するべく実装に至った。 そのほか、 @kawango2525の頭の悪さに、こいつの関係するサイトもブロッキングする実装とした。

つまり、広告で余計なパケットを浪費させられるのは「意図しないプログラムの実行」なので止めていいよね。カワンゴもdnsで都合の悪いものは止めろと公言してるわけで、kawangoさんの会社のサービスもDNSで止めちゃえってこと。前からやってみようと思ってたけど、unbound入れるまともなOpenWRTルーターがなかったので延期にしていた。VPSDNSサービス立ち上げ選択肢もあったが、この場合一歩間違うとDNS amp の攻撃に使われちゃうし。x86 OpenWrt が無事に稼働しているし 設定をぶっ飛ばして初期化したのでついでに実装しておくことにした。*1

DNSによるブロッカーの仕組み

unboundの場合、次のようなホスト名の名前解決のルールを記入してあげると、該当のドメイン名は、ローカルに対する問合わせと処理され、「そのドメイン名にIPはなにもないぜ」という応答がクライアントに返されるようになる。

local-zone: "trafficgate.net." static

これは書式として次のようになっている。

# ゾーン=ローカル  " ドメイン名 + . "  static なにもなし
local-zone: "${domain_name}." static

この書式に従っってドメイン名を追記していけば、「なにもない」という応答を返せる。

書式が通りに実際に記入してためしてみて、実際に問い合わせた結果が空になることが確認できたら、ドメイン名を追加していけばいい。 ブロックしたいドメイン名の一覧をどこからか取得すればいいわけです。

ドメインリストがあれば、dns blocking をローカルでやることができる。

準備 unbound をいれる。

今回は、私は、openwrt に入れたルーターのunbound dnsを使って 実験することにしました。

opkg install unbound 

ubuntudebian なら

apt install unbound*

unboundの設定にサンプルを追加して試す。

わたしは、OpenWrt のunboundなので、次のようになっています。

unbound.conf

私の環境では、次のような include 関係になっています。include を重ねて管理していくのはどなたでも同じだと思います。

##
## 略
# 
include: /var/lib/unbound/unbound_srv.conf

unbound_srv.conf

include: /etc/unbound/280blocker-list.conf

280blocker-list.conf

## 適当なドメイン名で実在するものをテストで入れておく
local-zone: "trafficgate.net." static

設定を書いたら再起動してためします。

再起動

/etc/init.d/unbound restart
/etc/init.d/dnsmasq restart

わたしは、dnsmasq がフロント(0.0.0.0:53)で、実際に問い合わせる先にunbound(0.0.0.0:5300)を指定してるので両方を再起動しています。両方のキャッシュを削除し設定を反映させています。

確認

dig trafficgate.net @192.168.1.1
dig trafficgate.net @1.1.1.1

unbound(+dnsmasq)に問い合わせた結果と、public dns に問い合わせた結果が異なることを確認します。

無事にDNS問い合わせが、マスキングされて空っぽになっていたら、これでブロッキングに使えますね。

280blocker さんから ホスト名一覧を借りる。

ブロッキングしたいDNS一覧を探しておきます。

https://280blocker.net/files/280blocker_domain.txt

これを借りてきます。

curl -L https://280blocker.net/files/280blocker_domain.txt  \
 | sed -e "s/\r//"  \
 | grep -E '^[a-z0-9]'  \
 | awk '{print "local-zone: \""$1".\" static"}'  \
 | sort  | uniq

sed / awk / grep / sort /uniq をつかって整形します。

これで完成です。

定期的に更新出来るように、スクリプトにまとめておきます。

スクリプトに更新して再起動する手順を手っ取り早くまとめておいて、あとはcron に登録しておきました。280blockerさんによると、毎月1度の取得で十分だそうです。

unboundのdnsブロッキングリストを更新する。 · GitHub

#!/usr/bin/env sh

## @since 2020-05-15 
## @last 2021-01-05 
## @author takuya
## unbound にブロッキング
## ブロッキングするURLを定期的に更新する

function update_domain_lists(){
  update280blocker
  updateYoutubeAdblocker
}
function geneate_conf(){

  URL=$1
  OUTPUT=$2
  curl -sL $URL \
    | sed -e "s/\r//"   \
    | grep -E '^[a-z0-9]' \
    | awk '{print "local-zone: \""$1".\" static"}' \
    | sort \
    | uniq \
    > $OUTPUT
}

function checkHTTPStatusIs200(){
  URL=$1
  RET=$(curl -IL -s -o /dev/null -w '%{http_code}' $URL)

  [[ $RET == 200 ]];

}
function update280blocker () {

  URL=https://280blocker.net/files/280blocker_domain_$(date +%Y%m).txt
  ## mirror
  ## URL=https://raw.githubusercontent.com/junkurihara/280blocker_domain-mirror/master/280blocker_domain.txt
  OUTPUT=/etc/unbound/280blocker-list.conf
  if ! checkHTTPStatusIs200 $URL ; then
    echo failed;
    return 1
  fi
  ##
  geneate_conf $URL $OUTPUT
}

function updateYoutubeAdblocker () {

  URL=https://raw.githubusercontent.com/anudeepND/youtubeadsblacklist/master/domainlist.txt
  OUTPUT=/etc/unbound/youtube-ad.conf
  ##
  if ! checkHTTPStatusIs200 $URL ; then
    echo failed;
    return 1
  fi
  ##
  geneate_conf $URL $OUTPUT
}

function restart_unbund(){
  [ -e /etc/init.d/unbound ] &&
  /etc/init.d/unbound restart
}
function restart_dnsmasq(){
  [ -e /etc/init.d/dnsmasq ] &&
  /etc/init.d/dnsmasq restart 2>&1 > /dev/null
}
function main(){
  update_domain_lists &&
  restart_unbund &&
  restart_dnsmasq
}



main


DNSブロッキングってすごく強力

ためしてみてわかったのですが、DNSブロッキングは強烈に強力です。

DNSTLS化したりHTTPS化してコンテンツの書き換えを防止したいというセキュリティ上の欲求の要請がよくわかります。

強烈に強力なので、これを監視に使いたいという欲求もよくわかります。

インターネット・イコール・DNSと言っても過言ではないので、こんな強力すぎるものをkawango と政府に握られるのはとても恐ろしやと思いますね。中国怖いです。はい。

DNSだけは死守しないと死にますね。8.8.8.8 / google public dnsや 1.1.1.1 / cloudflare dns がコンテンツフィルタリングしないとも限らないので、ちゃんとroot . から問い合わせる unboundを自宅に一つ持っておくべきだと思います。安易な8.8.8.8、ダメゼッタイ。

関連資料

unboundでrootから引くdnsサーバを作り、DNSフィルタリングに備える - それマグで!
ついに牙を向いたPublic DNS - それマグで!
我々のDNS問い合わせは監視されている。 - それマグで!

参考資料

Adguard HomeでVPSに広告ブロックDNSを立てました | 280blocker

とも ちゃ日記(Tomo cha) - 元大学生のOL日記-

https://blog.unko.pro/adblock-by-resolver/

2021-01-05

280blocker さんに迷惑をかけないように書き直し。

*1: ローカルネットのdebian/ubuntuのサーバーで色々と試してたりしますが、実運用に使うにはPPPoE持ってるルータに入れないと回線断やら再起動やら常時起動を考えると別サーバー運用にするのは煩雑だし。DHCP割り振りも考えると、キャッシュDNSの仕組み上、ルーターに持たせるのが楽なんですよ。