それマグで!

知識はカップより、マグでゆっくり頂きます。 takuya_1stのブログ

習慣に早くから配慮した者は、 おそらく人生の実りも大きい。

S.M.A.R.Tの値をsmartd で監視してメールを送る

HDD のsmart 状態を監視する

HDD のSMARTで値を監視して、ハードウェアの状態が変化したり、故障が近づいたらメール通知しておくことにして、少し安心したい。

準備

sudo apt install smartmontools

smartd の有効化

smartmontoolsを入れたら smartd がついてくる。

sudo systemctl status smartmontools
sudo  systemctl enable  smartd

smartd の設定

設定ファイルは /etc/smartd.conf になる。 以前では /etc/default にあったらしいけど、systemd導入後のDebianだから変わってると思う。

メール設定

さきに、通知が出来る sendmail を設定しておく必要がありそうだったので、設定した→ Deiban/Exim4を設定して、gmailで通知メールを送出する。 - それマグで!

通知の送信先を設定する。

DEVICESCAN -m takuya@example.com

監視するデバイスの設定

ディスクデバイスのパスを指定する。

/dev/sda -a 
/dev/disk/by-uuid/beef5axx-50ed-4ad8-xxx-xxxxxxxxxxxxx -a 

全部見るなら

DEVICESCAN -a

ちゃんとメールが届くかテストする。

DEVICESCAN -M test

実際には、この設定をまとめて書く

DEVICESCAN -a -M test -m takuya@example.com 

ハードディスクの一つずつに設定を書いた場合

/dev/sda -a -M test -m takuya@example.com 
/dev/sdb -a -M test -m takuya@example.com 

みたいにドンドン書く

何か実行させたい時

なにか、実行させたいときは、こんな感じにexec を掛けばいい。

-M exec path/to/file

Debian のデフォルトの場合は

/usr/share/smartmontools/smartd-runner 

が起動することになってた。

此のスクリプトの中で、次のディレクトリにあるファイルが状況に応じて実行されるように設定されてた。

/etc/smartmontools/run.d

実際にやってみた例。

takuya@:~$ sudo -e /etc/smartd.conf
takuya@:~$ sudo  systemctl enable  smartd
takuya@:~$ sudo  systemctl start smartd
takuya@:~$ sudo  systemctl status  smartd
● smartd.service - Self Monitoring and Reporting Technology (SMART) Daemon
   Loaded: loaded (/lib/systemd/system/smartd.service; enabled)
   Active: active (running) since 土 2017-03-04 03:41:43 JST; 1 day 23h ago
     Docs: man:smartd(8)
           man:smartd.conf(5)
 Main PID: 27135 (smartd)
   CGroup: /system.slice/smartd.service
           └─27135 /usr/sbin/smartd -n --interval=172800

 3月 06 03:27:54 acid systemd[1]: Started Self Monitoring and Reporting Technology (SMART) Daemon.
Warning: Journal has been rotated since unit was started. Log output is incomplete or unavailable.

参考資料

https://wiki.archlinuxjp.org/index.php/S.M.A.R.T.#.E3.83.87.E3.83.90.E3.82.A4.E3.82.B9.E3.81.AE.E7.9B.A3.E8.A6.96

ぱぱっとIP/ドメインを調べるhostコマンド

host コマンドでぱぱっと調べる

host コマンドなるものが有ります。dig みたいだけどdig ほどちゃんとDNSを見れるわけでもないですが、現在使用中のPCから見たドメインとIPの対応はきっちりわかります。

host コマンドの使用例1:Debian GNU/Linux

takuya@:~$ host smtp.gmail.com
smtp.gmail.com is an alias for gmail-smtp-msa.l.google.com.
gmail-smtp-msa.l.google.com has address 64.233.188.109
gmail-smtp-msa.l.google.com has address 64.233.188.108

host コマンドの使用例2:MacOSX

takuya@Desktop$ host t.co
T.co has address 104.244.42.133
T.co has address 104.244.42.5
T.co has address 104.244.42.197
T.co has address 104.244.42.69

host コマンドの使用例3:逆引き

takuya@Desktop$ host 58.188.43.194
194.43.188.58.in-addr.arpa domain name pointer 58-188-43-194f1.osk2.eonet.ne.jp.

IP入れたら逆引きされる。コレは楽

ネームサーバーからの応答を見たい時

-v をつければ、応答内容をちゃんと見れる。

takuya@Desktop$ host -v t.co
Trying "t.co"
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 47239
;; flags: qr rd ra; QUERY: 1, ANSWER: 4, AUTHORITY: 0, ADDITIONAL: 0

;; QUESTION SECTION:
;t.co.                IN    A

;; ANSWER SECTION:
t.co.            1540    IN    A    104.244.42.69
t.co.            1540    IN    A    104.244.42.197
t.co.            1540    IN    A    104.244.42.5
t.co.            1540    IN    A    104.244.42.133

Received 86 bytes from 192.168.2.1#53 in 2 ms
Trying "t.co"
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 49483
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 0

;; QUESTION SECTION:
;t.co.                IN    AAAA

Received 22 bytes from 192.168.2.1#53 in 1 ms
Trying "t.co"
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 61357
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 0

;; QUESTION SECTION:
;t.co.                IN    MX

;; AUTHORITY SECTION:
t.co.            60    IN    SOA    ns1.p26.dynect.net. ops.twitter.com. 1601 3600 600 604800 60

Received 91 bytes from 192.168.2.1#53 in 16 ms
takuya@Desktop$

host で出来ないこと

  • root からたどる
  • ネームサーバー指定

などが出来ないので、そのへんは不便なので、やっぱりdig使ったほうがいいかもしれない。 ただ、digはインストールが必要だったりするので host コマンドも有りかもしれない。

LinxuでHDDの状態を調べる。コマンド

コマンドでSMARTの状態を調べる

HDD の状態を調べるには、S.M.A.R.Tを調べる必要があって、それには smarttools のコマンド一式を使う必要が有ることがわかった。

HDDが異常化か正常化知りたいだけなんだ!

そんなせっかちな人には、此のコマンド PASSED と表示されたOKですね。*1

smartctl -H  /dev/sda -d sat
takuya@:~$ sudo smartctl -H  /dev/sda -d sat
smartctl 6.4 2014-10-07 r4002 [x86_64-linux-3.16.0-4-amd64] (local build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

では、インストールからいろいろ試してみます。

準備、インストール

apt でぱぱっと入るので楽ちんですね。

sudo apt install smartmontools

早速使ってみる

sudo smartctl -i /dev/sda

-i で指定すると基本的な情報が出てくる

smarttools を見るコマンドは smartctl で、おもに此のコマンドで状態を見る。

takuya@:~$ sudo smartctl -i /dev/sda
smartctl 6.4 2014-10-07 r4002 [x86_64-linux-3.16.0-4-amd64] (local build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar Green (AF, SATA 6Gb/s)
Device Model:     WDC WD20EZRX-00D8PB0
Serial Number:    WD-WMC4M2XXXXXX
LU WWN Device Id: 5 0014ee XXXXX
Firmware Version: 80.00A80
User Capacity:    2,000,398,934,016 bytes [2.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Fri Mar  3 17:54:18 2017 JST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

dm(data mapper) デバイスに対して行うと

DM について smartctl を行うとこんな感じ。ブロックデバイスでも出てくるものと出てこないものがある。かならず物理デバイスに対して行う必要がある。 lvm で dm してて、その元になった /dev/sdX が見えるわけでもない。

takuya@:~$ sudo smartctl -i /dev/mapper/data
smartctl 6.4 2014-10-07 r4002 [x86_64-linux-3.16.0-4-amd64] (local build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke, www.smartmontools.org

/dev/mapper/data-video: Unable to detect device type
Please specify device type with the -d option.

Use smartctl -h to get a usage summary

USB で繋いだドライブも見えないことがある。

USB 経由で繋いだハードディスク・ドライブでは、情報が取れないことがある。

USB経由で繋いでいるドライブなどは TYPEを指定してみる。

USB 経由で繋いだハードディスク・ドライブに実行した失敗例

takuya@:~$ sudo smartctl -a /dev/sda
smartctl 6.4 2014-10-07 r4002 [armv6l-linux-4.4.21+] (local build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke, www.smartmontools.org

/dev/sda: Unknown USB bridge [0x0789:0x0175 (0x103)]
Please specify device type with the -d option.

Use smartctl -h to get a usage summary

USB 経由で繋いだハードディスク・ドライブにTYPE指定した例

TYPE を指定するには -d TYPE_NAME を使うことで値がみられる。

takuya@:~$ sudo smartctl -i /dev/sda -d sat

TYPEに使える値は次の通り。

つかえるあたいは以下の通り。最近はSATAなので -d sat でイケルと思う

ata, scsi, sat[,auto][,N][+TYPE],
usbcypress[,X], usbjmicron[,p][,x][,N], usbsunplus,
marvell, areca,N/E, 3ware,N, hpt,L/M/N, 
megaraid,N, aacraid,H,L,ID, cciss,N, auto, test 

S.M.A.R.Tのオンオフを切り替える

smartctl でSMARTのオンオフを切り替える事ができる。

sudo smartctl -d sat -s on /dev/sda
sudo smartctl -d sat -s off /dev/sda

オフラインテスティングをオン・オフする

sudo smartctl -d sat -o on /dev/sda
sudo smartctl -d sat -o off /dev/sda

Attribute で表示される値のautosaveをオン・オフする

sudo smartctl -d sat -S on /dev/sda
sudo smartctl -d sat -S off /dev/sda

参考資料によると、オフラインテスティングは、ディスクのアイドル時にディスクアクセスを全部カットしてHDDのチェックをするらしい。ただし、ディスクアクセス要求があるとチェックを一旦停止してディスクアクセスを優先し、ディスク・アクセス終了後にディスク・チェックを再開するらしい。この一連の動作はパフォーマンスに影響を与えるかもしれないとのこと。

SMART の状態を表示する

-a で全部の状態を表示することが出来るわけです。

sudo smartctl -a  /dev/sda -d sat

これをつかえば、Windowsな人達もおなじみのデータが見られる。

Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       18
  3 Spin_Up_Time            0x0027   171   168   021    Pre-fail  Always       -       4441
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       259
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   066   066   000    Old_age   Always       -       25262
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       242
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       204
193 Load_Cycle_Count        0x0032   181   181   000    Old_age   Always       -       58619
194 Temperature_Celsius     0x0022   125   086   000    Old_age   Always       -       22
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART での提供情報を見る

smart で何が出来るかや設定状況を見る。 各項目ごとに、このHDDにおける、Enabled/supported が見える

Self-test を開始して何分ぐらいたったかもコレでわかる。 また、実行中のテストに何分くらい掛かるかわかる。

takuya@:~$ sudo smartctl -d sat /dev/sda  -c
smartctl 6.4 2014-10-07 r4002 [x86_64-linux-3.16.0-4-amd64] (local build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
General SMART Values:
Offline data collection status:  (0x82) Offline data collection activity
                    was completed without error.
                    Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                    without error or no self-test has ever
                    been run.
Total time to complete Offline
data collection:        (29040) seconds.
Offline data collection
capabilities:            (0x7b) SMART execute Offline immediate.
                    Auto Offline data collection on/off support.
                    Suspend Offline collection upon new
                    command.
                    Offline surface scan supported.
                    Self-test supported.
                    Conveyance Self-test supported.
                    Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                    power-saving mode.
                    Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                    General Purpose Logging supported.
Short self-test routine
recommended polling time:    (   2) minutes.
Extended self-test routine
recommended polling time:    ( 293) minutes.
Conveyance self-test routine
recommended polling time:    (   5) minutes.
SCT capabilities:          (0x7035) SCT Status supported.
                    SCT Feature Control supported.
                    SCT Data Table supported.

テストする

smart のHDD状態をチェックする。short と long が選べる。他にも offline, short, long, conveyance, force, vendorなどがある。

sudo smartctl -t short /dev/sda 

参考資料

https://blog.shadypixel.com/monitoring-hard-drive-health-on-linux-with-smartmontools/

https://help.ubuntu.com/community/Smartmontools

S.M.A.R.T. - ArchWiki

*1:正確には、これは最後にテストされて保存された結果から状態を表示しているので完璧とはいえないんだけど

Deiban/Exim4を設定して、gmailで通知メールを送出する。

2022-09-01 追記

Gmailの場合は「アプリパスワード」か「XOAUTH2」に対応させないと、SMTP/IMAPが使えない。

アプリパスワードは手軽だが、認証がめんどくさくなる諸刃の剣

なので、XOAUTH2が出来るように調べた→ https://takuya-1st.hatenablog.jp/entry/2022/03/14/181637

exim4 → XOAUTH2のPostix → 世界 と転送するのがマシだと思う。

メールの設定はめんどくさい→ exim4 で解決

SMTPリレーとかSMTP Outbound port Blocking 25 ( OBP 25 ) だとかさ、めんどくさいんですよね。理解できない人に、「○○が必要で」などと説明するのもめんどくさい。

実は、メール送信は細かい設定や説明を抜きにして簡単に使うことができる。

exim4 を使って localhost:25 宛に送れば外部のSMTPで送信することができる

Gmail 経由で送信する。

というわけで、一番手っ取り早くて、無料で確実なのが Gmail のアカウントを作ってそこから創出するわけですよ。

Debian/Exim4 でGmail経由で送信

DebianだとPostfixではなくExim4が使われていて、これが軽量で、最低限のことは十分にできるので、Exim4でほとんど十分。

Postfix でやる場合

Postfix ではいぜんやったので そちらのログがある

OBP25でもあきらめない。自宅サーバーでPostfixでスパム判定させずメールをリレーで送る方法: gmail の smtp を使った例 - それマグで!

用意するもの

Exim4の確認

exim4 が入っていることを確認する。

# sudo dpkg --list exim4

exim4 の再起動などの方法を確認

systemd 経由の起動状態を確認

sudo systemctl status exim4

systemd 経由で再起動などを確認

sudo systemctl reload exim4
sudo systemctl stop exim4
sudo systemctl start exim4

exim4 の設定反映はコレでもいける

sudo update-exim4.conf

/etc/exim4/update-exim4.conf.conf

設定を以下のようにする。

#  dc_eximconfig_configtype='local'
dc_eximconfig_configtype='smarthost'
dc_other_hostnames='pizero'
dc_local_interfaces='127.0.0.1 ; ::1'
dc_readhost=''
dc_relay_domains=''
dc_minimaldns='false'
dc_relay_nets=''
# -dc_smarthost=''
dc_smarthost='smtp.gmail.com::587'
CFILEMODE='644'
dc_use_split_config='false'
dc_hide_mailname=''
dc_mailname_in_oh='true'
dc_localdelivery='mail_spool'

ポイントは。次の通り。 :: コロンが2つなのはそういうものです。ミスタイプではありません。

dc_smarthost='smtp.gmail.com::587'

メールアカウントの設定

/etc/exim4/passwd.client

## Gmail アカウント
gmail-smtp.l.google.com:my_name@example.com:my_password
smtp.google.com:my_name@example.com:my_password
*.google.com:my_name@example.com:my_password
gmail-smtp-msa.l.google.com:my_name@example.com:my_password
smtp.gmail.com:my_name@example.com:my_password

パスワードをちょっとだけ保護する。

もっとこう、暗号化したり出来たらいいんだけど。 せめて一般ーザーにはパスワード読めないようにしておく

sudo chown root:Debian-exim /etc/exim4/passwd.client
sudo  chmod 640 /etc/exim4/passwd.client

あとはリロードしてテストする

リロード

sudo update-exim4.conf

テスト

メールが送信できるかテストする。

サンプルメールの作成

sendmail を毎回書くのはめんどくさいので、サンプルメールを作っておくことにします。

cat - >  sample-mail.txt
To:takuya@example.com
Subject: Hello, From pizero

Hi, can you see me ?

サンプルメールの送信

cat sample-mail.txt | sendmail -i -t 

crontab の送信先を変える

exim4 を使ってローカル転送をしてる場合は mailto を設定するとcrontab のメールがSMTP経由で届くようになる。

MAILTO=takuya@example.com

ローカル転送をする

ローカル転送を設定する必要がある

/etc/aliases

root:takuya
takuya: takuya+alias@example.com

/etc/email-addresses

takuya: takuya+from@example.com

ローカル転送の確認

takuya@:~$ exim -brw takuya@localhost
  sender: takuya+from@example.com
    from: takuya+from@example.com
      to: takuya@localhost
      cc: takuya@localhost
     bcc: takuya@localhost
reply-to: takuya+from@example.com
env-from: takuya+from@example.com
  env-to: takuya@localhost

このようにして、どのようにメールが転送されていく確認しておきましょう。

Gmail にブロックされることがある。

全く最近はお節介が過ぎてめんどくさい。

SMTP に直接ログインしようとすると less secure だと言われて怒られるので、分かった分かった。その機能オフにしてくれ。オプトアウトしなくちゃいけない。そもそもなにも設定してない時点でオプトインになってるのが面倒なんだが

手作業でファイルを更新するよりdpkg-reconfigureを使う方法もある。

dpkg-reconfigureを使うとログが残りにくくてめんどくさいんですが、マニュアルにするにはこっちのほうが「ウケ」がいいかもしれないですね。

初期設定画面を起動

sudo dpkg-reconfigure exim4-config

初期設定画面のダイアログ形式でちまちま入れていく

ここだけ入れておく

あとは、お好きなようにいれる。 dpkg-reconfigure が終了したら。/etc/exim4/passwd.client を編集する。

個人的な設定メモ

私は、以下のように設定した。

これでGmail経由で通知できる

sendmail 通知が出来るなら、あとは

  • crontab の通知
  • 再起動の通知
  • ジョブ終了の通知
  • ハードウェアの故障・異常の通知

など各種の通知をメールで受けれて便利ですね。

panic log がずっと送出される。

地味にめんどくさかったのがこのパニックログを消す方法

2019-01-01 15:35:09 socket bind() to port 25 for address ::1 failed: Cannot assign requested address: daemon abandoned

これは、私がサーバーのIPv6を止めて以来ずっと定期的に送られてくる。

実はこれ、過去のパニックログが残っていてログローテートしないことが原因らしい。マジすか exim4

/etc/exim4/update-exim4.conf.conf

# before
# dc_local_interfaces='127.0.0.1; ::1'
# after 
dc_local_interfaces='127.0.0.1'

設定を削除した後に、exim4を再起動

sudo update-exim4.conf
sudo service exim4 restart

これで新しいログは出なくなるが、古いパニック・ログが残存しているとそれを送ってくる。

なので、古いログを削除する必要がある。

sudo rm   /var/log/exim4/paniclog

2017-03-22 追記

ローカル配送と、Gmailのメッセージについて追記した。

2019-07-28 追記

「exim4 設定」でキーワードマッチしなかったので、キーワードを見直し

paniclog について記述を追加

参考資料

2020-01-11

GoogleGmailやアレコレを変えたのでこの設定を見直した

gmail と gsuite で若干の差異があるみたい。

iPhoneのSafariがパスワードを確実に学習するには

iOSSafariがパスワードを保存しないことがある。

なんでかずっと考えてたけど、よく考えたらパスワード保存のダイアログの発動条件を思い出したら、form.submit だったかなぁと考えて、保存させる方法に気づいた。SafariのAddonで解決させるしか無いかなと思ってたんだけど。結構にシンプルな解決方法で行けそう。

ドコモIDもちゃんと保存された

f:id:takuya_1st:20170303165429p:plain:w400

WEBページ側のボタンではなく、キーボードを押す

[f:id:takuya_1st:20170303170147p:plain:w250f:id:takuya_1st:20170303170150p:plain:w250

HTML側のボタンはなぜか、JSでアレコレ( xmlhttp や 隠しform ) されてることが多くログインを学習させないことが多いので、キーボード側からSubmitする。

それでも駄目なら Macとつなぐ

それでも駄目なら、iPhoneMacを繋いで、SafariのDevコンソールから、form.submit()ですねぇ。

こんな感じ?

var form = document.createElement('form');
var text = document.createElement('input');
text.value = 'userid'
var pass = document.createElement('input');
pass. setAttribute('type','password')
pass.value = 'my_pass'
form.insertAdjacentElement('beforeend',text)
form.insertAdjacentElement('beforeend',pass)
form.submit()

form[action]先は適当でも学習したり*1する。

もしくは、PCのパスワードをKeychain同期で持っていくしか無い。ああ不便すぎる。

ログインID学習禁止とかいつまでやるんだろうか。

iOS で共有パソコンっていうのも頭悪い話だし。いいかげんセキュリティ関連のテスト項目や実装項目から外してほしいんだけどなぁ。パスワードを学習しない方が、ずっとセキュリティ・コストだよ。キーチェーンは比較的安全なのにな。

*1: たぶん、送信元ページと結果URLが変わってて 200ok が返ってるのが条件だと思う。なので同一ドメインで適当なURLに飛ばせばいい、ログイン前だと殆どのベージでリダイレクト掛かるからコレは楽

Swiftをshebang指定でシェルスクリプト起動!?linuxでも

面白げな記事を見つけました。

新・OS X ハッキング! (166) 開発者でなくても「Swift」は便利に使える | マイナビニュース

#!/usr/bin/swift で swift が起動するというのです。

試してみる。Xcode は入っているので、ターミナルから試してみます。

バージョン確認
takuya@Desktop$ swift --version
Apple Swift version 3.0.1 (swiftlang-800.0.58.6 clang-800.0.42.1)
Target: x86_64-apple-macosx10.9
takuya@Desktop$

Macで実行してみる

シェルスクリプトとしてSwift を実行してみる。sample.swift ファイルつくって shebang いれて、実行権限をいれる感じですね。

ファイル作って

sample01.swift
#!/usr/bin/swift

import Foundation

let task = Process()


task.launchPath = "/usr/bin/find"
task.arguments = ["."]
task.launch()

task.waitUntilExit()

chmod して

chmod a+x ./sample01.swift

実行

takuya@~$ cd .Trash/
takuya@.Trash$ ~/Desktop/sample01.swift
.
./89-09kotudoro.xls

おおお /usr/bin/find が実行された。 これはシェルスクリプトの代替に pythonruby 使わなくて幸せに慣れそう。node / swift で書くことが出来る。やったね。

どうせならLinuxでも動かしてみる

うちの Debian jessie で swift を動かしてみる。

実験した環境

takuya@:swift$ cat /etc/debian_version
8.6
takuya@:swift$ lsb_release -a
LSB Version:    core-2.0-amd64:core-2.0-noarch:core-3.0-amd64:core-3.0-noarch:core-3.1-amd64:core-3.1-noarch:core-3.2-amd64:core-3.2-noarch:core-4.0-amd64:core-4.0-noarch:core-4.1-amd64:core-4.1-noarch:cxx-3.0-amd64:cxx-3.0-noarch:cxx-3.1-amd64:cxx-3.1-noarch:cxx-3.2-amd64:cxx-3.2-noarch:cxx-4.0-amd64:cxx-4.0-noarch:cxx-4.1-amd64:cxx-4.1-noarch:desktop-3.1-amd64:desktop-3.1-noarch:desktop-3.2-amd64:desktop-3.2-noarch:desktop-4.0-amd64:desktop-4.0-noarch:desktop-4.1-amd64:desktop-4.1-noarch:graphics-2.0-amd64:graphics-2.0-noarch:graphics-3.0-amd64:graphics-3.0-noarch:graphics-3.1-amd64:graphics-3.1-noarch:graphics-3.2-amd64:graphics-3.2-noarch:graphics-4.0-amd64:graphics-4.0-noarch:graphics-4.1-amd64:graphics-4.1-noarch:languages-3.2-amd64:languages-3.2-noarch:languages-4.0-amd64:languages-4.0-noarch:languages-4.1-amd64:languages-4.1-noarch:multimedia-3.2-amd64:multimedia-3.2-noarch:multimedia-4.0-amd64:multimedia-4.0-noarch:multimedia-4.1-amd64:multimedia-4.1-noarch:printing-3.2-amd64:printing-3.2-noarch:printing-4.0-amd64:printing-4.0-noarch:printing-4.1-amd64:printing-4.1-noarch:qt4-3.1-amd64:qt4-3.1-noarch:security-4.0-amd64:security-4.0-noarch:security-4.1-amd64:security-4.1-noarch
Distributor ID: Debian
Description:    Debian GNU/Linux 8.6 (jessie)
Release:    8.6
Codename:   jessie

公式サーバーから swift を持ってくる

ubuntu 14 のものが動いた

wget https://swift.org/builds/swift-3.0.2-release/ubuntu1404/swift-3.0.2-RELEASE/swift-3.0.2-RELEASE-ubuntu14.04.tar.gz \
| tar zxvf - 

REPL でコマンドラインを起動する

Linuxで動きそうなので、せっかくなので対話インターフェースで起動してみる。

./swift-3.0.2-RELEASE-ubuntu14.04/usr/bin/swift

動かす

takuya@:swift$ ./swift-3.0.2-RELEASE-ubuntu14.04/usr/bin/swift
Welcome to Swift version 3.0.2 (swift-3.0.2-RELEASE). Type :help for assistance.
  1> import Foundation
  2> print("Hello Swift Linux")
Hello Swift Linux
  3>

ええ。。。Foundationもあるの。カーソルで戻るなどで若干改行がおかしくなったりするけど問題なさそう。

スクリプトとして実行してみる

ファイル作って

takuya@:swift$ cat  - > sample.swift
#!/home/takuya/swift/swift-3.0.2-RELEASE-ubuntu14.04/usr/bin/swift

import Foundation

let filelist = Task()
filelist.launchPath = "/bin/sh"
filelist.arguments = ["-c", "ls -lS ./"]
filelist.launch()
filelist.waitUntilExit()

実行権限をつけて

takuya@:swift$ chmod 755  sample.swift

実行した

takuya@:swift$ ./sample.swift
合計 115764
-rw-rw-r-- 1 takuya takuya 118528337 12月 14 10:49 swift-3.0.2-RELEASE-ubuntu14.04.tar.gz
drwxrwxr-x 3 takuya takuya      4096  3月  3 16:12 swift-3.0.2-RELEASE-ubuntu14.04
-rwxr-xr-x 1 takuya takuya       226  3月  3 16:34 sample.swift
-rw-rw-r-- 1 takuya takuya       177  3月  3 16:17 test.swift

ちょっと面食らうのが NSTaskProcess でもなく Task だったところかな。

面白い

ちょっとしたシェルスクリプトのファイル操作なども swift で書くことが出来る。プログラミング言語として整ってるので期待したい。Swiftのちょっとしたコードをぱぱっと試せるのは便利ですね。関数の使い方をちょっと試すのに便利そう。内部でコンパイルしてるんだろうけど、、、、

MacのFinderなどプログラムを強制終了・再起動

Mac のFinderを再起動

Finderを再起動するのに

killall Finder

ですが、メニューからも出来るんです。

左上のメニューから再起動する

  • Finder.app を選ぶ
  • Finderを選んだ状態で左上  メニュー
  • Shift キーを押す

f:id:takuya_1st:20170301183207p:plain

なんでも強制終了出来る

finderに限らず、選択したアプリケーションをなんでも強制終了出来る。

f:id:takuya_1st:20170301183723p:plain

うん、手軽で便利ですね。

php のフォークと強制終了

単純なフォーク

<?php
$pid = pcntl_fork();
if ($pid == -1) {
  die('could not fork');
} else if ($pid) {
  // we are the parent
} else {
  // we are the child
  sleep(10);
  var_dump("We are the child:", $pid);
  exit;
}

実行結果

pcntl_wait($status); //Protect against Zombie children
var_dump("END :", $pid);

       \-+= 48201 takuya -bash
         \-+= 49054 takuya php fork.php
           \--- 49055 takuya php fork.php

49054 から 49055 が生えた

2個フォークした場合

<?php
$pid = pcntl_fork();
if ($pid == -1) {
  die('could not fork');
} else if ($pid) {
  // we are the parent
} else {
  // we are the child
  sleep(10);
  var_dump("We are the child:", $pid);
  exit;
}

$pid = pcntl_fork();
if ($pid == -1) {
  die('could not fork');
} else if ($pid) {
  // we are the parent
} else {
  // we are the child
  sleep(10);
  var_dump("We are the child1");
  exit;
}
pcntl_wait($status); //Protect against Zombie children
var_dump("END :", $pid);

実行中の状態

         \-+= 48802 takuya php fork.php
           |--- 48803 takuya php fork.php
           \--- 48804 takuya php fork.php

48802 から 48803, 48804 が生えた

フォークからさらにフォークした場合。

子プロセスから更に子プロセス、つまり孫プロセスを起動したら

<?php
$pid = pcntl_fork();
if ($pid == -1) {
  die('could not fork');
} else if ($pid) {
  // we are the parent
} else {
  // we are the child
  sleep(10);
  var_dump("We are the child:", $pid);
  exit;
}

$pid = pcntl_fork();
if ($pid == -1) {
  die('could not fork');
} else if ($pid) {
  // we are the parent
} else {
  // we are the child
  sleep(10);
  var_dump("We are the child1");
  exit;
}
pcntl_wait($status); //Protect against Zombie children
var_dump("END :", $pid);

この場合、子プロセスが孫より先に死ぬので孫が迷子になってしまう。孤児としてrootプロセスに引き取られる。

なのでちゃんと管理をしなくてはいけない。

fork 先でしっかり終了させる。つまり単純な作業に限定するとか、終了待ちをきちんとする。など

また、子プロセスが生成した子プロセスを見るには再帰して ps -o pid,ppid ax で 子プロセスpidを ppid にもつ孫を探すことになるかもしれない。

fork の注意点

fork を使う前に POSIX fork を知る必要がある。

fork のタイミングでメモリがコピーされますが、リソース(ファイルディスクリプタ)はコピーされると面倒が起きます。MySQLやHTTPなどのコネクションもfd(ファイルディスクリプタ)になってたりするので、fork 先でコネクションしないとエラーになることがある。

fork のコスト

fork するとメモリがコピーされるので、若干負荷が大きい操作になる。そこから先は別プロセスになるので、fork後のメモリの変更(変数の値変更)は別になる。

平行世界が作成されるイメージ

fork の利点

php でも時間がかかる処理は fork 先に任せて、メインは違うことに集中するなどと出来る。

コストは高いが、ジョブを待つだけの メインがあってジョブが来たら fork して仕事をやらせるみたいなことも出来る。

シグナルハンドラ

fork した両方のプロセスでシグナルをハンドリングするには、pcntl_signal_dispatchを入れてあげないといけないみたい

pcntl_signal_dispatch();の代わりに declare(ticks=1) を入れることで解決はしますが、tick を小さくするとパフォーマンスに影響します。

Ctrl+C(SIGINT)を押しても即時反応しない場合とかもdispatchまでいったんキューに入るからだと思います。

pcntl_signal_dispatch はその名前の通り、シグナルキューをそれぞれのハンドラに振り分けるものですね。

<?php


// signal handler function
function sig_handler($signo)
{
  echo "SIGNAL:" . $signo."\n";
  switch ($signo) {
    case SIGTERM:
      echo 'cactch SIGTERM'."\n";
      // handle shutdown tasks
      exit;
      break;
    case SIGINT:
      echo 'cactch SIGINT'."\n";
      exit;
    case SIGHUP:
      echo 'cactch SIGHUO'."\n";
      break;
    case SIGUSR1:
      echo "Caught SIGUSR1...\n";
      echo 'pid:'.posix_getpid();
      echo ' ppid:'.posix_getppid();
      break;
    default:
      echo 'default';
  }

}


pcntl_signal(SIGTERM, "sig_handler");
pcntl_signal(SIGINT,  "sig_handler");
pcntl_signal(SIGHUP,  "sig_handler");
pcntl_signal(SIGUSR1, "sig_handler");

pcntl_signal_dispatch();

while (1){

  $a = 0;
  echo 'pid:'.posix_getpid()."\n";

  $pid = pcntl_fork();

  if ($pid===0) {
    // we are the child
    pcntl_signal_dispatch();
    sleep(5);
    var_dump("We are the child:", $pid);
    exit;
  }else{
    pcntl_signal_dispatch();

  }

  pcntl_wait($status); //Protect against Zombie children
  var_dump("waiting is end :", $pid);

}

linux の プロセス管理についてのおすすめ本

Linux のexecコールやfork とプロセス管理がしっかり分かる本だった。

参考資料

pcntl - What's the relation between declare(ticks) and a signal handler in php - Stack Overflow

http://qiita.com/ngyuki/items/a2b9d6d3011528d3becd

スクリーンセーバに表示される時計を大きくしたい

スクリーンセーバーに表示される時計を大きくしたいなと

macOSで打ち合わせ中に、どんどんアイディアが発散して、収拾つかなくなる人が多い。なので、時間を表示しながら打ち合わせで、あっさり解決するんじゃないかと。会議室に時計がなかったり、ホテルや貸し会議室や、外などで時計がないときに話が終わらないよーみたいなときに、無言プレッシャーをかけるのが、時計を置いておいて、チラチラみるという行為。なので時計があると嬉しい。

アイディアソンやハッカソンなどで時間を表示したいときにも便利、時計アプリとかだと画面焼けそうだからつねに写真が動くスクリーンセーバーがいいよね。

時計をMacの画面に常に表示しておいたらいいよね。

いちいち、なにかスクリーンセーバーを探してくるのもめんどくさいので、少し頭をひねった。

出来た

f:id:takuya_1st:20170227153522j:plain

スクリーンの拡大を設定する

コントロール・キー+マウス・スクロールで任意の場所を拡大できるようにする。

f:id:takuya_1st:20170227153518p:plain

右下30%を拡大する

f:id:takuya_1st:20170227154958p:plain

できた。

iTerm2 でwitch などキーボードのリマップなどが効かない問題

iTerm2 でキーボードのリマップなどが効かない問題が出た

すごくハマった。なのでメモ。

Karabiner やwitch や hyperSwtich あと Contexts なども一切使えなくなって、もうどうしようかみたいに頭を抱えてた

option+tab / ctrl + tab なども駄目

一切のスイッチャーが使えなくなって、 macOS デフォルトのAppSwiterしか手がなくなって辛かった。

アプリの切り替えではなく、ウインドウの切り替えがしたいんだ。

ここを一時的にオンオフして回避する。

f:id:takuya_1st:20170227140747p:plain

iTerm2 のマニュアルにあった。

iTerm2 > Secure Keyboard Entry

When this is enabled, the operating system will prevent other programs 
running on your computer from being able to see what you are typing.
 If you're concerned that untrusted programs might try to steal your passwords,
you can turn this on, but it may disable global hotkeys in other programs.

キーボードのりマッピングは、セキュリティ的に危ない?

まぁ、常駐しているアプリに側にキーボードの盗聴やリマップを許可してしまうのはたしかにやばいけれど。 「許可したアプリ」にキーボードのリマップ許可するものがないのは辛いな。Sierraだともっとキツイんだろうな。。。怖いな。

macOS が不自由すぎてやばい。

Hyper switch メインで使ってたから完全にハマった

過去にもハマってた

ターミナルがキーボードのカスタマイズとかちあう時の対策 - それマグで!

node.js の node コマンドが CTRL+R効かない

node で ctrl+R が効かない。

ctrl+r 無いと不便だよね。irb は数年前に解決した、sqlite3 は先日解決させた。 今度はnode もなんとかしたいなと調べた。

sqlite のときのように readline ライブラリで解決するかと思ったら解決しない。

node REPL をどうするか問題

node の REPL を使うことで、アレコレできるようになっていて、今まで見たものと根本的に設計思想が違うようですね。

const repl = require('repl');

rlwrap を使うと楽になるようで。

rlwrap / readline wrapper を使って nodeで reverse-increment-search 何とかすると動くようです。

alias node="env NODE_NO_READLINE=1 rlwrap node"

無理やり動いた

rlwrap で無理やり動いた

takuya@~$ node
> const takuya={}
undefined
> takuya
{}
(reverse-i-search)`':

rlwrap は何をしているのか。

rlwrap はヒストリファイルを別途作って rlwrap が node にptsをパイプしてる感じ。

もし、readline非対応でもコレを使ったら強引に使えるようになるので便利そう。

参考資料

https://nodejs.org/api/repl.html

https://github.com/hanslub42/rlwrap

https://linux.die.net/man/1/rlwrap

brewで入れたsqlite3でCTRL+Rが効かない!

brew で入れた sqlite で reverse-i-search が使えない

reverse-i-search ってすごく便利で CTR+Rでヒストリをインクリメンタル検索出来る機能なんだけど。動かなかった。

色々調べたら、GNU Readline ではなく、Mac 標準添付のeditline(?) を使ってるとか。mac がGNU readline を外したのでこういうことになってるようだ。

readlineを有効にしてコンパイルし直す

brew install readline

このREADLINEを参照先にして、 SQLiteをインストールし直す。

CPPFLAGS="-I/usr/local/include" LDFLAGS="-L/usr/local/lib" brew reinstall  sqlite3
takuya@~$ sqlite3
-- Loading resources from /Users/takuya/.sqliterc
SQLite version 3.17.0 2017-02-13 16:02:40
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.
(reverse-i-search)`':

動いた!安心。

RMagick が入らない: gem install rmagick error:Mac OS X/brew に rmagickをインストールする決定版

RMagick を久しぶりに使おうとしたら・・・

インストール

gem install rmagick 

はい、エラー。extconf.rb ってほんと良く詰まるわ 色々調べたら、Rmagick が imagemagick 7 に非対応だった。

brew unlink imagemagick
brew install imagemagick@6
brew link --force imagemagick@6

コレをやったあとに

インストール

gem install rmagick 

動いた

takuya@~$ irb
>>
>> require 'rmagick'
=> true
>>

インストール後に元に戻す

brew unlink imagemagick@6
brew link imagemagick

原因はこの辺

include のフォルダ構造が ImagMagick7 から変わってるのに対応できてない。

checking for wand/MagickWand.h... no
"/usr/bin/gcc -E -I/Users/takuya/.rbenv/versions/2.3.3/include/ruby-2.3.0/x86_64-darwin15 -I/Users/takuya/.rbenv/versions/2.3.3/include/ruby-2.3.0/ruby/backward -I/Users/takuya/.rbenv/versions/2.3.3/include/ruby-2.3.0 -I.  -DMAGICKCORE_HDRI_ENABLE=1 -DMAGICKCORE_QUANTUM_DEPTH=32 -DMAGICKCORE_HDRI_ENABLE=1 -DMAGICKCORE_QUANTUM_DEPTH=32 -I/usr/local/Cellar/imagemagick/7.0.5-0/include/ImageMagick-7  -DMAGICKCORE_HDRI_ENABLE=1 -DMAGICKCORE_QUANTUM_DEPTH=32 -DMAGICKCORE_HDRI_ENABLE=1 -DMAGICKCORE_QUANTUM_DEPTH=32 -I/usr/local/Cellar/imagemagick/7.0.5-0/include/ImageMagick-7  conftest.c -o conftest.i"

強引に ln -s しても駄目だった フォルダ構造併せたら行けるかなと思ったけど、関数の参照でエラーになったのでもうめんどくさい。

cd /usr/local/Cellar/imagemagick/7.0.5-0/include/ImageMagick-7
ln -s MagickWand wand
ln -s MagickCore magick
# リンクしても、参照型が合わなくてコンパイルエラーになってた。

なので、ImageMagick6をbrew でインストールして強制link するしかなかった。

まぁRMagickの対応待ちになるんだろうかね。怖い怖い

2017-05-17

若干更新

OSX El Capitan / macOS Sierra からパーミッションの復旧がなくなった

タイトルのとおりです。

El capitan / Sierraからパーミッションの復旧がなくなってSIP( system integrity protection )がメインになってる。

たまに、SIP オフで使ったりするので、パーミッションの復旧がなくなるとめんどくさいことになってる。

パーミッション復旧ツールを見つけた

RepairPermissions V3 – Now supports repairing permissions on macOS Sierra | FireWolf Pl.

導入と実行

ぱぱっとダウンロードしてハッシュチェックします。

curl -LJO http://www.firewolf.science/download/715/
name=( RepairPermissions*.zip )
if [[ ! -f  $name ]] ;then
  exit;
fi
echo $name
hash=$(md5sum RepairPermissions*.zip | awk '{print $1}' );
[[  $name =~ _(.*).zip  ]] ; echo $? ; echo ${BASH_REMATCH[1]};
[[ ${BASH_REMATCH[1]} == $hash ]]; echo $?
unzip $name
chmod +x RepairPermissions

実行

実行してパーミッションを修正する。

sudo RepairPermissions / 

実行結果

RepairPermissions - Verify and repair permissions of an entire volume
Copyright (C) 2016 FireWolf @ FireWolf Pl. All Rights Reserved.

Current OS: OS X El Capitan 10.11.6 (15G1217)
 Target OS: OS X El Capitan 10.11.6 (15G1217)

  Info:  SIP Allow Unrestricted File System [ENABLED]
  Info:  RepairPermissions will repair permissions on /
  Info:  This will take some time. Grab a cup of coffee and be patient.
  Info:  RepairPermissions is running in Normal Mode.
  Info:  Intel(R) Core(TM) i5-4258U CPU @ 2.40GHz 2C4T
  Info:  Available Processors: 4; Will use up to 4 processor(s).
Status:  [ULTRAFAST] Doing some wolf's magics...    Progress: 59.78% [\]
Status:  [ULTRAFAST] Doing some wolf's magics...    Progress: 89.95% [|]
Status:  [ULTRAFAST] Doing some wolf's magics...    [COMPLETED]

これで、多少のことを気にせずにガンガン行けるね。

まぁSIPをオンにすれば戻るんだろうけど。

画像の比較をしてズレがないか調べる

image magick で画像の比較をすることが出来る。

画像の比較をするにはいろいろな方法がある。

  • 目で見てわかりやすい→WEBや校正用
  • 機械的に見てわかりやすい→ダイアログなどプログラムのテスト
  • 画像におおきな影が出る→動体検出

等と大きく分けて使い分けることになると思います。とくに機械学習などで自動化の事前処理に役立つと思います。

元画像1: 1.png

f:id:takuya_1st:20170224170950p:plain:w300

元画像2 : 2.png

f:id:takuya_1st:20170224170905p:plain:w300

機械的に色を見るやり方

比較方法

compare の場合

compare -metric AE 1.png 2.png compare-AE.png

metric による違い

AEとPSNR の違いを見ておきます。キャプチャ画面はAEの方が良さそう。

AE の例

f:id:takuya_1st:20170224171416p:plain:w300

PSNR の例

f:id:takuya_1st:20170224171433p:plain:w300

metric 一覧を見るには

takuya@Desktop$ compare -list metric
AE
Fuzz
MAE
MEPP
MSE
NCC
PAE
PHASH
PSNR
RMSE

composite で画像の差分を見る

compsite コマンドで画像を合成して、差分を明確することも出来る。同じ色だと黒色になる。スクリーンキャプチャに向いてる。

composite -compose difference 1.png 2.png compsite-diff.png

composite diffrence の例

f:id:takuya_1st:20170224171539p:plain:w300

差分量による差異の計算

composie をしたときに、同じ部分は「黒色」に近づくので、より黒色に近いほどに差分がないことがわかる

identify -format "%[mean]" compsite-diff.png
## または 改行とファイル名を含めるなど
identify -format "%[mean], %f\n" compose-difference.png
  • 差分がない:0 に近くなる
  • 差分がある:0からどんどん離れる( 0(黒)〜65535(白)

目で見てわかりやすいやり方。

差を色でわかりやすくする

差分を計算するのとは異なりますが、画像を合成することで、見た目でわかりやすくするテクニックも見つけた。

事前処理で、差分を見る画像に色を付けておくと、少しわかりやすくなる

  • 元画像1:青系
  • 元画像2:赤系

事前処理

convert -type GrayScale +level-colors Red,White 1 .png 1_red.png
convert -type GrayScale +level-colors Blue,White 2.png 1_blu.png

合成処理

convert -compose Multiply -composite 1_red.png 1_blue.png a_b_diff.png

色の見方は次のとおりになる。黒系になれば両方に差分が有り、赤・青なら片方だけに差分がある。

白 × 白 = 白 
白 × 青 = 青
白 × 赤 = 赤
赤 × 青 = 黒

此の考え方だと、片方にしか無いものがより際立ってわかりやすくする事ができる。 事前処理で色数減らすのは頭いいなぁと思う。

サンプル

元画像を2色画像に加工します。

1_red.png : 元画像の赤色化

f:id:takuya_1st:20170224173255p:plain:w300

2_blu.png: 元画像の青色化

f:id:takuya_1st:20170224173300p:plain:w300

diff.png

  • 赤色:元画像1の部分にしか無い箇所
  • 青色:元画像2の部分にしかない箇所

と元画像の差分を視覚的に伝えることが出来ます。

f:id:takuya_1st:20170224173307p:plain:w300

さて何に使う?

  • 画像(動画)を圧縮したときの劣化率具合をみたり
  • 連写の違いをみたり
  • 動体検出の事前処理だったり
  • WEBページのレイアウト崩れだったり
  • WEBの広告枠がきちんと更新されるか
  • 巨大なExcelの細かい数字の違いを探したり
  • ダイアログが修正前後で同じか比較したり
  • イラレ原稿の変更箇所を伝える

画像を比較したら、結構あれこれできそうですよね。

スクリーンショットや、動画からの切り出しは便利ですよね。OpenCVでアコレいじくりまわすときでも複雑なことやら無くて済むので。役に立ちそう

追記

ImageMagick で画像を比較する - awm-Tech によると、SSIMを ffmpegで使うと簡単に劣化具合がわかるらしい

ffmpeg -i image1.jpg -i image2.gif -filter_complex ssim -an -f null -

magick にも限界があるのでffmpeg の利用も考えていきたい。

参考資料