sshfs は gvfs などネットワークフォルダとしてSSHを扱えるものですね。
sudo apt install sshfs
マウント
mkdir mnt sshfs takuya@192.168.11.125:/home/takuya mnt
takuya@:Desktop$ dd if=test.img of=mnt/test.img 2000000+0 レコード入力 2000000+0 レコード出力 1024000000 bytes (1.0 GB, 977 MiB) copied, 116.963 s, 8.8 MB/s
やっぱりFUSEは速度でないですね。CPU周りの問題なんでしょうか
それでも gvfs よりは速いです。
速度測定してみた
あまりに遅いので、１GBの転送は途中で諦めてしまった。
takuya@:Desktop$ dd if=test.img of=/run/user/1000/gvfs/sftp:host=192.168.11.125/home/takuya/test.img ^C97031+0 レコード入力 97031+0 レコード出力 49679872 bytes (50 MB, 47 MiB) copied, 126.678 s, 392 kB/s
10MBで試した結果がこちらです。
takuya@:takuya$ dd if=/dev/urandom of=test.img bs=1k count=10000 10000+0 レコード入力 10000+0 レコード出力 10240000 bytes (10 MB, 9.8 MiB) copied, 12.7177 s, 805 kB/s
なんどか試してみましたが、sftp は 1MB/s で、afp/smb は 3MB/s が限界でした。FUSEなのでマウントしてるLinuxクライアント側のメモリ量やCPU速度にも影響を受けますが、めっっちゃ遅いですね。
なんかネットワークが遅いので、SSHでの速度測定をしてみることに。
ファイルの準備
dd if=/dev/urandom of=test.img bs=1k count=1000000
転送
cat test.img | ssh host.tld 'dd of=/dev/null '
ssh でパイプするとファイル転送ができる。
cat test.img | ssh host ' cat - > test.img'
dd は if / of で指定するけど、標準入力からもととれる。
takuya@:Desktop$ dd if=/dev/urandom of=test.img bs=1k count=1000000 1000000+0 レコード入力 1000000+0 レコード出力 1024000000 bytes (1.0 GB, 977 MiB) copied, 39.8002 s, 25.7 MB/s takuya@:Desktop$ cat test.img | ssh myhost 'dd of=/dev/null ' sign_and_send_pubkey: signing failed: agent refused operation 2000000+0 レコード入力 2000000+0 レコード出力 1024000000 bytes (1.0 GB, 977 MiB) copied, 9.16781 s, 112 MB/s
先程の例は、純粋にネットワーク速度に近いものが出ているはず。ファイルに書き込んでみたいと思う
この場合は、ファイルIOがメモリキャッシュされないように結構な量を書き込む必要がある。たぶん３GBくらい
SSD 相手に書き込んだとき
takuya@:Desktop$ cat test.img test.img test.img | ssh host.tld ' dd of=test.img' sign_and_send_pubkey: signing failed: agent refused operation 6000000+0 レコード入力 6000000+0 レコード出力 3072000000 bytes (3.1 GB, 2.9 GiB) copied, 30.6751 s, 100 MB/s
HDDを相手に書き込んだとき
takuya@:Desktop$ cat test.img test.img test.img | ssh host.tld ' dd of=./mount/96.作業用/test.img' sign_and_send_pubkey: signing failed: agent refused operation 6000000+0 レコード入力 6000000+0 レコード出力 3072000000 bytes (3.1 GB, 2.9 GiB) copied, 35.9622 s, 85.4 MB/s
メモリキャッシュがきいてる気もする。が、まぁ実際に使ってる速度に近い測定結果ナノではないでしょうか。
ssh は圧縮されたりするので、本当のネットワークの速度よりも若干高くなる。 /dev/urandom を使うことで圧縮されないようにはしてるけど。
我が家の環境では 111 MB/s でているようである。
ところが、Samba経由したり WebDAV 経由すると 3MB/s くらいしかでない。こまった。
curl を使ってもできる
これはSFTPで速度測定になる。
takuya@:~$ curl sftp://192.168.11.125/home/takuya/test.img > /dev/null
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2929M 100 2929M 0 0 42.3M 0 0:01:09 0:01:09 --:--:-- 44.0M
100 2929M 100 2929M 0 0 42.3M 0 0:01:09 0:01:09 --:--:-- 42.3M
ちなみに、/dev/uramdom でdd したときの速度が 25MB/s 程度のCPUで測定しました
ubuntu デスクトップのログイン時のマウント機能と同等のマウントしたい
fstab や autofs でもできるが、そっちはシステム全体なのでわかりやす。gvfs は面倒かと思ったけど、使ってみたらgvfs が圧倒的に楽だったのでメモ。
管理の側面から考えると、ログイン時にマウントされる方が嬉しいし。そもそもmount でマウントポイントが見れないのでいいかな
ネットワークの越しのマウントに、root 権限も、マウントポイントも要らないので、mountコマンド初心者でも使いやすい。
最近は gio という名前になっているようです。
いろいろな、ネットワークのドライブをFUSEでマウントしてくれたりする。Ubuntuだと次の「アカウントの追加」で追加設定したストレージに使われている。
実際にマウントされたら次のようになる。左の柱に出てくるネットワークの場所ですね。
gvfs でマウントされている
gvfs-mount -l
これは、mountで出てくる。けど分かりにくいかもしれません。
takuya@:~$ mount | grep gvfs gvfsd-fuse on /run/user/1000/gvfs type fuse.gvfsd-fuse (rw,nosuid,nodev,relatime,user_id=1000,group_id=1000) takuya@:~$
ちなみに、gvs-mount はいまは gio を使う
gio moout -l
gio mount "cifs://takuya@my-nas/takuya's%20home/"
他にも、SSHフォルダをSFTPでマウントするには。
gio mount "ssh://takuya@my-sftp-server/"
などと、URLでプロトコルを指定してマウントしFUSEとして使えるのでめっちゃ便利。あれ、もうローカルにストレージが要らなくね？
など手軽にマウントできるじゃん。
gigoloという管理ツールがありました。
sudo apt install gigolo
gigoloでGUIで管理できる。いいじゃん gigolo。
これ使えば、システム全体に関係なくマウントできるから、ルート権限もいらないしめっちゃ楽じゃん
touch ~/MountAtLogin.sh chmod +x ~/MountAtLogin.sh
ファイルの中身を書く
## ~/MountAtLogin.sh gio mount ssh:takuya@my-server/
最後に
Ubuntuの自動起動するアプリケーション に登録して終了
これで、ログイン時に再接続されるのでWindowsのネットワーク・ドライブのような運用ができる。便利。
手軽だけど、どうも速度が遅く、HDMIキャプチャの録画ファイルの保存に失敗しているようである。そこで速度測定してみました
どうも、gvfs でマウントしたドライブはFUSEの呼び出しループの中で、CPU処理に影響を多分に受けていると思われる。
あまり多量のファイルを扱うのは得策でないと思う。
wordpress を設置したんだけど、 .htaccess も使いたいと言われて、nginx から apache+php-fpm にリバースプロキシをした。するとhttp/https の混在コンテンツになってしまった。
nginx → apache で リバースプロキシするさい X-Forwarded-Proto を追加する。
nginx 側
proxy_set_header X-Forwarded-Proto https;
nginx などリバースプロキシでhttpsだとメモを残してヘッダにつけて送る（今回は HTTP_X_FORWARDED_PROTO を使う）
<php if ($_SERVER['HTTP_X_FORWARDED_PROTO'] == 'https'){ $_SERVER['HTTPS']='on'; }
HTTP_X_FORWARDED_PROTOをphp 側で受け取って HTTPS 変数を上書きする。
まぁいろいろと考えられるけど、一番手っ取り早いのは wp-config.php を弄ることだった。
適当な関数を突っ込んで、ロードされるのを待ってから、関数を使いたい。 とりあえず、script.onload で解決することはわかってるんだけど。読み込みたい関数が複数だと、全部ロードされるのを待つのをコールバック・チェーンで待つのはしんどかったので、Promise.allにした。
document に script タグを動的に追加して、onload 関数を仕込む。それをPromiseにして、複数のURLが全部ロード終わってResolveされるまでを、Promise.all()で待つ。
function import_script( urls ){ return Promise.all( urls.map(function(url){return new Promise(function(resolve,reject){ var script = document.createElement('script'); script.src = url; script.onload=resolve; document.head.appendChild(script); })})); }
import_script( ["https://example.com/example.js", "https://example.com/example2.js"] ).then(function(){ // main console.log('loaded'); // ここにロード後に実行したい処理を書く。 })
「babel とか webpackでトランスパイラすりゃいいじゃん？」
違うんだ、そうじゃないんだフロント開発じゃないんだ。
Chrome拡張で、メインページにスクリプトをInjectして追加したいとか。Bookmarkletでページにスクリプトを追加してなにかやりたいとか。
そういうときに足りないライブラリや、ショートカット関数を追加したい時があるんですね。
気づいたら、ずっとおなじようなことやってんだｗｗ私はｗｗｗ「まるで成長してない」
数字のマッチは、次のようになる。
sed '/[[:digit:]]/' sed '/[0-9]/'
正規表現に親しんでいると、つぎように \d を書きたくなるが、これは動かない。
sed '/\d/' # 動かない。
動かない
sed '/[[:digit:]]+/'
動く
sed '/[[:digit:]]\+/'
nl とfor を使ってぱぱっとデータを作ります。
takuya@bookmarklets$ for e in aaa bbb ccc ; do echo $e; done | nl
1 aaa
2 bbb
3 ccc
行番号を sed コマンドで除去を試みてみます。
takuya@bookmarklets$ for e in aaa bbb ccc ; do echo $e; done | nl | sed 's/[[:digit:]]\+\s\+//g'
aaa
bbb
ccc
takuya@bookmarklets$ for e in aaa bbb ccc ; do echo $e; done | nl | sed 's/[0-9]\+\s\+//g'
aaa
bbb
ccc
takuya@bookmarklets$ for e in aaa bbb ccc ; do echo $e; done | nl | sed 's/\d\+\s\+//g'
1 aaa
2 bbb
3 ccc
\d は動かないので [[:digit:]] or [0-9] を使う + は解釈されないので \+ を使う。この辺は ed / vi の置換に似てるね。
ちなみに、私が使っているのは gsed ( gnu sed ) です。
gsed
regex - How to match digits followed by a dot using sed? - Super User
sed -e '/search/d'
検索語 search を含む行を削除。 これで指定文字列を探してその行を除去することができる。
sed 's/search\n//' ## これはうまくいかない
改行コードを送るはめんどくさい。なぜなら、sedは１行ずつ処理することが前提だからだ。
３行のテキストサンプルを作ります。
for e in aaa bbb ccc ; do echo $e ;done | nl
1 aaa
2 bbb
3 ccc
ここから bbb にマッチする行を消してみます。
for e in aaa bbb ccc ; do echo $e ;done | nl | sed -e '/bbb/d'
1 aaa
3 ccc
コマンドの履歴から。sudo reboot を探してコマンド履歴をきれいにする。 reboot が履歴検索で暴発したらめんどくさいので。
cat .bash_history | sed -e '/^sudo reboot/d'
ちゃんと消えているか確認。
cat .bash_history | sed -e '/sudo reboot/d' | grep 'sudo reboot' | wc -l 0
sed が一番手っ取り早いし、sed で置換と行削除を覚えておくと捗りそうですよね。
てか、ゴミデータが混じったときに行ごと削除するのは、めっちゃ使うんで丸暗記してもいいくらい
あとでチェックアウトすりゃいいんだけど。よく使うものは、まとめて指定してシェルスクリプトにしといたほうが楽だし。
Slackなどで人に伝えるとき、コマンドで送ったほうが楽だし。知っておいて損はない。ブランチ名を含めて clone するコマンドはこちら。
git clone -b $ブランチ名 $レポジトリURL
git clone -b issue/1024 git@github.com:takuya/node2shell.git
ブランチを直接にclone できたらほんの少しだけ楽かもしれない。
2FA の認証コードは、失敗することがある。iPhone/Mac に送信される２ファクタ認証のコードとセンターに登録されるコードが１つずれることがある。複数回認証コードを送ったときに発生する。
認証コードを送信する画面で放置したとき、久しぶりのログインなどで結構な頻度で起きる。
２ファクタが有効なApple ID でログインに完全に失敗しロックしたときには、ロック時間がなんと２４時間です。急いでいるときなどは本当に致命的です。
問い合わせ窓口の電話番号がある
0120-277-535
ただ、直接コールすると待ち時間が発生する。また、直接電話してもロックは解除されない。
直接電話するのは、認証コード以外の「急いで解決したい問題」があるときです。
認証コード通さないと問い合わせもできない。
Appleのサポートにログインするためには、２FAが必要で、２ファクタ認証にトラブルが起きたら問い合わせも容易ではない。
別アカウント作って問い合わせるのが手っ取り早いと思う。
セキュリティ的には向上するが、Appleデバイスを紛失したり、交通事故などで破損してしまったらiCloudにアクセスする手段がない。
堅牢な故に、利便性が損なわれていることを常に意識しておこう。
２FAのデメリットを意識し、２FAの他にパスワードの強化やログインメールアドレスの秘匿などのセカンドベストな対策も検討していいと思う。
iPhoneを探すという便利な機能があるのだが、デバイスが１台も手元にないと一切ログインができなくなる。
iPhone/iPad/macOS が手元にあるかSMSが受信可能である必要がある。
２要素認証をするのであれば、万が一のために別の電話番号を登録しておくこともお忘れなく。*1
Appleファミリー共有や、家族の電話番号を予備として登録しておくこともお忘れなく。*2
２週間以内であれば解除できるので、その中で、有効性と利便性を十分検討する必要がある。
２FAは定期的にログインして２FAの有効性を確認する必要があります。いざというときに２FAが通知されない恐れがあるので、各デバイスにちゃんと通知されるか、数ヶ月に１度はたまに確認しておくとGoodです。 定期的なパスワード変更並みに、めんどくさい羽目になります。
npmjs.com にパッケージを公開しても良いんだけど、既存のパッケージをちょっと触ったくらいのパッケージを公開するのは忍びない。
自分のgitレポジトリのnpm パッケージを npm add したいとき。
npm ので、gitレポジトリをインストール
npm init npm install "git+ssh://git@gitlab.example.com/takuya/my-sample.git"
インストール後のpackage.json はこんな感じになる。
{ "name": "sample", "version": "1.0.0", "description": "", "main": "index.js", "scripts": { "test": "echo \"Error: no test specified\" && exit 1" }, "author": "", "license": "ISC", "dependencies": { "my-sample": "git+ssh://git@gitlab.example.com/takuya/my-sample.git" } }
レポジトリ側をアップデートしたあとの、利用側では次のようにする。
npm update
パブリックな名前空間を自分専用に使うのは、本当は駄目なんだろうけど、npm みてると my own private なパッケージが結構あるので、ヤッたもん勝ちっぽいので試すことに。そりゃ本当は、 private つかえとか 自分のサーバーでnpm registry たてて使えとか、レポジトリを指定しろとか、npm pack して持ち出せよとかいろいろあると思うんですが。
試すだけならpublish 直後７２時間以内に忘れずに unpublish 公開を取り下げられる。ちゃんと削除できるので、試すだけなら大丈夫。大丈夫。さきっちょ☆だけ。さきっちょだけだから。
npm adduser npm init npm publish mkdir other_proj; cd other_proj npm i $name node ./node_module/bin/my-pachakge npx helo
npm にアカウントを作成する
アカウントないと始まらないので！
npm adduser
ここで覚えさせた adduser 結果は global の設定として ~/.npmrc に書かれる
takuya@~$ cat .npmrc prefix=/Users/takuya/.lib/node //registry.npmjs.org/:_authToken=xxxxxxxxxxxxxxxxx
どのユーザーでログインしたのかわからなくなったら
npm whoami
mkdir tekito cd tekito npm init
npm のパッケージを作成すると、次のような質問が聞かれる。
takuya@tekito$ npm init
This utility will walk you through creating a package.json file.
It only covers the most common items, and tries to guess sensible defaults.
See `npm help json` for definitive documentation on these fields
and exactly what they do.
Use `npm install <pkg>` afterwards to install a package and
save it as a dependency in the package.json file.
Press ^C at any time to quit.
package name: (tekito) takuya-1st-npm-examples
version: (1.0.0) 0.0.1
description: 作業用
entry point: (index.js)
test command:
git repository:
keywords:
author: takuya
license: (ISC) GPL-3.0-or-later
About to write to /Users/takuya/tekito/package.json:
{
"name": "takuya-1st-npm-examples",
"version": "0.0.1",
"description": "作業用",
"main": "index.js",
"scripts": {
"test": "echo \"Error: no test specified\" && exit 1"
},
"author": "takuya",
"license": "GPL-3.0-or-later"
}
npm.js に公開されても、他人に迷惑がかからないように、なるべく自分だけの名前にしておく
とりあえず、GPLでしょやっぱり。GPLは、"GPL-3.0-or-later"と指定します。
ここはテストコマンドだけど、後でちゃんと実装する。
git repos がアレばどこでもいいと思うんだけど。gitlab とか bitcuket でソース公開してるならそれを書いておけばいいのかな？ たぶんnpmjs のパッケージ詳細に掲載される。（試してない）
これ大事。require したときにこのファイルが最初に実行される。
index.js にコードを書く
// require ; 最初に実行される。 console.log( "hello from index" );
index.js は main に指定したのでここがrequire 時に実行される。
コード書いて、プライベート情報が暴露され得ないと確認したら、公開する
npm publish
新しい、プロジェクト（フォルダ）を作って、インストールしてみる プロジェクト（フォルダ作成）
mkdir my-project; cd my-project
公開したやつを持ってくる。
npm i takuya-1st-npm-examples
require してみる。
my-project/requre-test.js
require ("takuya-1st-npm-examples");
require を書いたファイルを実行する。
cd my-project node requre-test.js > hello from index
ここまでで、npmjs に公開とインストールが完了する。
ちなみに、ちゃんとrequire できるのは、global.module.paths にちゃんと反映されているから。
takuya@sample$ node -e 'console.log(global.module.paths)' [ '/Users/takuya/Desktop/my-project/node_modules', '/Users/takuya/Desktop/my-project/node_modules', '/Users/takuya/node_modules', '/Users/node_modules', '/node_modules' ]
次に、npm i 後に使えるコマンドを作る。
自作コマンドを作っておくと npm i するだけでいつもの自分のコマンドがインストールできる。
公開しているパッケージのプロジェクトを開いて。
bin に指定した名前で コマンドが作られる。
"bin": { "hello": "hello-command.js" },
この場合、hello という名前で、 hello-command.js が実行できるように、node_modules の下にコマンドが作られる。
しかも cmd.exe など Windows 環境でも動くように作られる。
コマンドの中身はjs ファイルだが、shebang や cmd 呼び出しにも対応してくる。windowsだと hello.cmd が作られるはずです。
コマンドの中身を書きます。
#!/usr/bin/env node
console.log("hello takuya san");
npm publish
すでに公開している場合は、バージョンを上げてやります。
vim packages.json ## version を上げる "version": "1.0.4"
または
git add . git commit -m 'add' npm version 1.0.4
なぜ、git コマンドがでてくるかというと、git 管理されているフォルダはgit commit 済みでないと npm version を使えません。
自分の適当なプロジェクトで 公開したパッケージのコマンドを使います。
npm i takuya-1st-npm-examples
コマンドが作られます。
takuya@ my-project$ ls -l ./node_modules/.bin/hello lrwxr-xr-x 1 takuya staff 29 2019-04-17 19:25 ./node_modules/.bin/hello -> ../takuya-1st-npm-examples/hello-command.js
json ファイルに、"hello": "hello-command.js" と指定したのでショートカットが作られています。便利。
ちゃんとコマンドが動くことが確認できました。
ここまできたら、もうglobal を使っても安心です。
自分のシェル環境に 自作のコマンドをglobal インストールしてしまいます。
$npm -g i takuya-1st-npm-examples
これで、よく使うコマンドをnodejs で記述することが出来て管理もインストールも楽ちんになりました。
bin の場所は次になります。
$(npm root)/.bin
インストールしたコマンドをローカル(npm)で使うときは
$(npm root)/.bin/hello
これを省略するには、npx が使えます。
npx hello
npxは便利なのでglobal に入れておくといいかも。npm i -g npx
マナー厨の老害っぽいですが、npmjs は公共スペースなので他人の迷惑にならないようなパッケージ名で後悔しましょう。
（ってうか、gitlab/github などのgitレポジトリをpackage.json で指定するほうがいいよ絶対。）
package.json に private : true をちゃんと書くことでプライベートなります。
あと、名前に@をつけてScopedであることを明示するとか
あとはVerdaccioのようなprivate registry を自前で用意して作成するという手もある。
もし本当に、ちょっと試したいだけだったのなら、ちゃんとunpublish でモジュールを削除すること。
公開後72 時間未満なら、ちゃんと消せるんだよ。
> npm unpublish "takuya-npm-sample" ---foce
参考資料
https://qiita.com/TsuyoshiUshio@github/items/850245c5fb40310ede9b
よくあるパターンとして、
〇〇を実行して〇〇が△△になるのをまってから、□□する
を考えてみた。
今回のサンプルはMacでVPNを接続し、接続待ちをし、VPN接続が完了したらルーティングを加える。
mac の場合は次のようにする。
networksetup -connectpppoeservice "$VPN_NAME"
VPN_NAME=$(networksetup -listallnetworkservices | \grep interlink )
[[ $(networksetup -showpppoestatus $VPN_NAME ) == connected ]];
ip route add $TARGET_IP/32 dev ppp0
これは、bashの数値演算と数値の比較を組み合せる。
while check_status do sleep -1 ; (( cnt++ )); if (( $cnt > 30 )) ; then return 1 ; done done
接続を試行して、接続中を待機しつつ、接続後にIP routing をする。
最初に考えた処理待ちをしながら処理が終わったらXXXするのサンプルとしては良いと思う。
ここでは、コマンドがノンブロッキングな場合を想定している。
VPN_NAME=$(networksetup -listallnetworkservices | \grep interlink ) TARGET_IP=192.168.111.156 function isConnected(){ [[ $(networksetup -showpppoestatus $VPN_NAME ) == connected ]]; } function disconnectVPN(){ networksetup -disconnectpppoeservice "$VPN_NAME" } function connectVPN(){ # isConnected || networksetup -connectpppoeservice "$VPN_NAME" cnt=0 while !isConnected ; do (( cnt++ )) printf "${cnt} time .waiting...\r" sleep 1 if (( $cnt > 30 )) ; then echo failed. return 1 ; fi done; return 0; } function addRoute(){ echo add route ip route add $TARGET_IP/32 dev ppp0 } function main() { # echo start ## connectVPN && addRoute; } main;
レポート作ったり、git のURL教えてと言われたときに
git config --get remote.origin.url
または
git remote show origin
clone したら origin に入るので、remote/originから確認する。
