ssh 経由で dd と転送を同時にやる。サーバーでddをパイプしつつ、ローカルに保存

dd / ddrescue したいけどリモートに容量がない時がある。

dd してファイルを保存したいけど、容量と時間が気になる。

dd if=/dev/sda of=/tmp/rootfs.img # 容量がありません。

また、dd 中に時間待ちをして、さらにrsync/scp で転送待ちをする。。。。時間の無駄。無駄です。無駄ですよ？

そんなときは、パイプでDDしながら転送を同時にやる

dd と転送を同時にやる。

dd if=/dev/sda | ssh server.example.com dd of=dump.img

この場合は、いまログインしてるホストから、別のホストに転送。

特徴は dd は if/of を省略可能な点だ。

ログインホストをアレコレ変えて試す。

• 手元のホストから、リモートへssh で dd コマンドを実行する場合。
• 手元のホストから、リモートAへdd命令をだし、リモートBへ転送する場合

プラン１：リモートAから、手元に転送する場合。

実行元は、自分のローカルホストとする。

takuya@OSXi :~ $ ssh remotehost dd if=/dev/sda |  cat -> dump.img

プラン２：リモートAからリモートBに転送する歩法

実行元は、同じく自分のローカルホストとする。

takuya@OSXi :~ $ ssh remoteA dd if=/dev/sda | ssh remoteB dd of=dump.img

転送とdd を同時にヤってしまえば時間短縮！

dd の IO 待ちと ssh の転送IO待ちを同時進行すれば楽チン。打つコマンドも減るしね。

あ、ちなみに、dd の他にも組み合わせると便利なものがあるよ。

たとえば、mysqldump も組み合わせたら便利だよ。ファイルの暗号化とか画像なども転送しながら圧縮してしまえば楽ちんね。

ssh のパイプ転送はアレコレ使えて便利。

私は、過去にこのような転送を処理とデータ処理を同時行うことをやっていた。

tar で圧縮と転送と解凍を一気にやっちゃう - それマグで！

ffmpegを応用する。ファイル転送しながら、エンコード - それマグで！

Samba/CifsやNFSマウントしたフォルダに書けばいいじゃんと言われれば、即死。

接続切れたらどうすんだよと、言われれば、爆死。

参考資料

ddの出力をssh経由で転送する方法 -- ぺけみさお

Mac OSX のウィジェットがまだ開発されてて感動した。

ウィジェット時計が便利

OSXのウィジェットは失敗作かもしれないけど、時計とカレンダと付箋がほんとうに便利

Stickies.app はなんか違うんだよね

デスクトップに時計が捗る。

時計があると便利。

でも時計飽きた。

新しいデザインを作る労力と時間が勿体ない。

新しいデザインの時計で気分を変えよう

まだ、開発してるサイトがあってかんどうした

http://pimp.my.dashboard.freemac.org/category/Clocks/

http://apple--downloads.blogspot.com/

http://dashboard.candy.freemac.org/category/thedashboard/

残存者利益ってやつで未だにこれを運営する意味があるんだろうね。嬉しい。

とにかく。時計が嬉しくて仕方ない。

なんで、AppleはDashBoardあきらめて、LaunchPadに変えちゃったんだろうな。

DashBoardが成功してたらiOSのホーム画面だってきっとダッシュボードだったろうに。

特許の問題か何かなんだろうか。。

惜しいなぁ。

Raspi Zero が届いたのでインストールしたら、dig がない。

Raspi Zero 届いた

ELPIDAの文字が刻印されたチップが美しい。

Raspi をインストールする方法

takuya-1st.hatenablog.jp

dig 無いいいい。dig無いよ！

dig nslookup ないと、DNSがとれてるか確認するのが面倒で仕方ない。

sudo aptitude install dnsutils

パッケージ dnsutils に dig が入ってる。

そもそもDNSエラーのときに apt-get 出来ないよね？

ソウイウ時は、他のコマンドで名前解決ができているか確認することが出来るよ。

名前解決でdig コマンドの代わりになりそうなのもの(dig 代替でdnsを調べる) - それマグで！

Raspi Zero に最適なMicroSDを探す( 2016

Raspi Zero が届いたし、最適なSDカードを探そう

方針は、「Pi Zero のメリットを殺さないように安いもの、かつ速いもの」

以前と殆ど変わらない方針でいくことにする。

以前の検討記事

takuya-1st.hatenablog.jp

SD カード買う時のポイント→転送速度

基本的には以前のポリシーと同じ。

• 速度あんど速度アンド速度
• 価格
• 容量

容量が大きくても転送速度がボトルネックになり、すべての作業が滞ることがある。

値段よりも「時間」が１番のコストです。転送速度が１番重要

300x とか 400x って何？

速度の基準となる「1倍速」はコンパクトディスクの転送速度である150KB/secを基準 SDメモリーカードの速度表記

速度表記	転送速度
60倍速	9MB/sec
70倍速	10.65MB/sec
80倍速	12MB/sec
133倍速	20MB/sec
150倍速	22.5MB/sec
300倍速	45MB/sec
400倍速	60MB/sec
600倍速	90MB/sec

UHS-I / UHS-II って何？

UHSでは最高速度が大幅に向上しており、UHS-Iでは約4倍の104MB/sまで、UHS-IIでは約12倍の312MB/sまで対応可能となる。ただし、この高速通信には機器側の対応も必須である。 UHS-I/UHS-II対応カード

で、Raspiでどうだと言えば、一般的なUHS-I は問題なく動作する

Raspi の理論限界 480Mbps(≒60MB/s) 。現実の限界 20MB/s(≒160Mbps)のようだ

RaspiはUSBでLANやWiFiもつないでいるので、USBの速度をシェアしてるUSB2.0の限界速度まで、出たとしてもUSBの速度を１００％SDカードに回せるわけでもない。

また、R/Wを連続してやっているので、そこまでパフォーマンスが上がるわけでもない。

必要以上のSDカードはオーバースペックなだけで無駄。

Class 10 や 300倍速 45MB/s で十分のようだ

パフォーマンスのレポート

海外サイトに動作レポートが掲載されている。 RPi SD cards - eLinux.org

ここで見たら分かる通り２０MB/sec あたりで頭打ちになることが見て取れる。

class10 買っておけばとりあえずOK

class10 であれば十分だよね。

容量はどれくらいアレばいいか

公式サイトにある通り、４GBあれば動かすことが出来、８GB以上を推奨するということ。

https://www.raspberrypi.org/documentation/installation/sd-cards.md

とりあえず４GBアレば十分なんです。

容量が欲しければNFS/Sambaで別のストレージに保存すればイイ。

USBーHDD・USB-SSD・USBフラッシュメモリを使ってそちらに保存したり。

RootFSを作ってしまえばいいわけです。NFSからルートファイルシステムを読み込んでも良い。

極端に言えば、ブート領域60MBさえアレば十分なんです。

そんなに高級品は要らない。

Raspiは教育用だし、ぱぱっと手軽に使えることが目標になっている。その設計通り、適度なコストパフォーマンスのSDカードを使うのがベターだと思う。

結論

ここから考えられることは次の通り。

• 30-45MB/sec(200倍-300倍) のSDカードが適当
• 容量は４GBが最低ライン
• PiZeroの価格($7＝８００円）より高いの買うのはちょっと意味がわからなくなる。

５００円程度のこの辺が良さそう

Amazon.co.jp： Toshiba microSDHC 東芝 UHS-I 超高速 Class10 [並行輸入品] (16GB, 40MB/s): パソコン・周辺機器

16GB ならこれ(６００円）

Amazon CAPTCHA

32GBならこの辺り（９００円）

Amazon CAPTCHA

この辺りのスペックや価格帯に近いものを選べばイイ

apt-get install が遅くなるので、Class４はおすすめしないけど、そこまで悩むほど、遅くない。

デジタルもの利益率を考えれば、５００円以下になることは殆ど無いので、５００円程度で一番早いカードを買えばいいと思う。

ま、５００円〜９００円程度なので、容量大きい方を買ってもイイんだけど、マイクロSDはいまそんなに使える場所がなく、デッドストックになる可能性が高いので、ゴミ増やすくらないなら、家にあるやつ、安いやつ使えばいいんだよね。

キーボード忘れずに

いざという時のリカバリ用に

• キーボード
• USB tty
• MicroSD-SDアダプタ

などが必要になるので、用意しておくこと。

Raspi Zero 使うなら、コレもあると便利。

LANポートつきの、USBハブ。一体型。コレがあると、作業中の問題はほとんど解決すると思う。

参考資料

RaspberryPi(B)のベストなMicroSD買おうと思って検討してみた - それマグで！

https://www.raspberrypi.org/documentation/installation/sd-cards.md

http://dolls.orz.hm/?p=10402

RPi SD cards - eLinux.org