wget はマルっと処理するのに便利だ
wget -r http://takuya-1st.hatenablog.jp/
これだけ
出力はドメイン名のフォルダに出てくる
たとえば、こんなかんじに。リンクを辿って、HTMLを保存してくれる。ちなみに画像とか別ドメインへのリンクは、このままだと保存されないので注意。
takuya-1st.hatenablog.jp/ ├── about ├── archive ├── archive?page=2 ├── category │ ├── linux │ ├── mac │ └── ruby ├── embed │ └── 2014 │ └── 12 │ ├── 01 │ │ ├── 000000 │ │ └── 130000 │ ├── 03 │ │ ├── 230000 │ │ └── 231208 │ ├── 04 │ │ └── 012003 │ ├── 06 │ │ └── 013000 │ ├── 07 │ │ └── 020000 │ ├── 08 │ │ └── 045043 │ ├── 09 │ │ └── 223000 │ ├── 10 │ │ └── 003000 │ ├── 11 │ │ └── 010000 │ ├── 13 │ │ └── 183223 │ ├── 14 │ │ └── 165217 │ ├── 15 │ │ └── 220000 │ ├── 16 │ │ └── 223000 │ ├── 17 │ │ └── 123000 │ └── 19 │ └── 130000 ├── entries │ ├── 2010 │ │ └── 01 │ │ ├── 01 │ │ └── 03 │ ├── 2011 │ │ └── 11 │ │ ├── 18 │ │ ├── 21 │ │ └── 23 │ ├── 2012 │ │ ├── 01 │ │ │ ├── 18 │ │ │ ├── 19 │ │ │ └── 20 │ │ └── 10 │ │ ├── 10 │ │ ├── 16 │ │ └── 17 │ ├── 2014 │ │ ├── 10 │ │ │ ├── 07 │ │ │ ├── 10 │ │ │ ├── 12 │ │ │ ├── 13 │ │ │ ├── 14 │ │ │ ├── 17 │ │ │ ├── 18 │ │ │ └── 23 │ │ ├── 11 │ │ │ ├── 01 │ │ │ ├── 03 │ │ │ ├── 04 │ │ │ ├── 06 │ │ │ ├── 08 │ │ │ ├── 09 │ │ │ ├── 10 │ │ │ ├── 11 │ │ │ ├── 12 │ │ │ ├── 13 │ │ │ ├── 14 │ │ │ ├── 15 │ │ │ ├── 16 │ │ │ ├── 20 │ │ │ ├── 21 │ │ │ ├── 22 │ │ │ ├── 23 │ │ │ ├── 24 │ │ │ └── 29 │ │ └── 12 │ │ ├── 01 │ │ ├── 03 │ │ ├── 04 │ │ ├── 05 │ │ ├── 06 │ │ ├── 07 │ │ ├── 08 │ │ ├── 09 │ │ ├── 10 │ │ ├── 11 │ │ ├── 12 │ │ ├── 13 │ │ ├── 14 │ │ ├── 15 │ │ ├── 16 │ │ ├── 17 │ │ ├── 18 │ │ ├── 19 │ │ └── 28 │ └── 2015 │ └── 01 │ ├── 03 │ ├── 07 │ ├── 08 │ ├── 09 │ ├── 10 │ ├── 12 │ └── 15 ├── entry │ ├── 20071014 │ │ └── 1192291647 │ ├── 20090413 │ │ └── 1239596361 │ ├── 20100103 │ │ ├── 1262467223 │ │ ├── 1262470913 │ │ ├── 1262486833 │ │ └── 1262539694 │ ├── 20100104 │ │ └── 1262566732 │ ├── 20100312 │ │ └── 1268389189 │ ├── 20101204 │ │ └── 1291478868 │ ├── 20110306 │ │ └── 1299392486 │ ├── 20111121 │ │ ├── 1321855457 │ │ ├── 1321860726 │ │ ├── 1321861118 │ │ ├── 1321865738 │ │ └── 1324018590 │ ├── 20111123 │ │ └── 1322068116 │ ├── 20111127 │ │ └── 1322360413 │ ├── 20120118 │ │ ├── 1326872675 │ │ └── 1326873596 │ ├── 20120119 │ │ └── 1326951657 │ ├── 20120120 │ │ └── 1327028570 │ ├── 20120125 │ │ └── 1327467007 │ ├── 20121014 │ │ └── 1350206857 │ ├── 20121016 │ │ └── 1351976005 │ ├── 20121017 │ │ ├── 1350447701 │ │ ├── 1350448267 │ │ ├── 1350449478 │ │ ├── 1350463351 │ │ ├── 1350463797 │ │ ├── 1350464450 │ │ ├── 1350464650 │ │ └── 1350489919 │ ├── 20121025 │ │ └── 1351164192 │ ├── 2013 │ │ ├── 03 │ │ │ └── 20 │ │ │ └── 220112 │ │ └── 08 │ │ └── 15 │ │ └── 033927 │ ├── 2014 │ │ ├── 10 │ │ │ ├── 07 │ │ │ │ └── 132841 │ │ │ ├── 10 │ │ │ │ ├── 012615 │ │ │ │ ├── 013127 │ │ │ │ ├── 013835 │ │ │ │ ├── 021446 │ │ │ │ ├── 140734 │ │ │ │ └── 141227 │ │ │ ├── 12 │ │ │ │ ├── 030719 │ │ │ │ ├── 143254 │ │ │ │ └── 235307 │ │ │ ├── 13 │ │ │ │ └── 030759 │ │ │ ├── 14 │ │ │ │ ├── 002617 │ │ │ │ └── 022239 │ │ │ ├── 17 │ │ │ │ ├── 205606 │ │ │ │ └── 213228 │ │ │ ├── 18 │ │ │ │ ├── 150706 │ │ │ │ └── 151129 │ │ │ └── 23 │ │ │ └── 142538 │ │ ├── 11 │ │ │ ├── 01 │ │ │ │ └── 211531 │ │ │ ├── 03 │ │ │ │ ├── 034102 │ │ │ │ └── 235640 │ │ │ ├── 04 │ │ │ │ ├── 001449 │ │ │ │ └── 110110 │ │ │ ├── 06 │ │ │ │ ├── 104120 │ │ │ │ ├── 202605 │ │ │ │ └── 204903 │ │ │ ├── 08 │ │ │ │ └── 042529 │ │ │ ├── 09 │ │ │ │ ├── 042013 │ │ │ │ └── 053318 │ │ │ ├── 10 │ │ │ │ └── 135706 │ │ │ ├── 11 │ │ │ │ └── 044919 │ │ │ ├── 12 │ │ │ │ └── 162008 │ │ │ ├── 13 │ │ │ │ ├── 101134 │ │ │ │ └── 103852 │ │ │ ├── 14 │ │ │ │ └── 233818 │ │ │ ├── 15 │ │ │ │ ├── 013545 │ │ │ │ ├── 015116 │ │ │ │ ├── 142715 │ │ │ │ ├── 144725 │ │ │ │ └── 180120 │ │ │ ├── 16 │ │ │ │ └── 164750 │ │ │ ├── 20 │ │ │ │ └── 024322 │ │ │ ├── 21 │ │ │ │ └── 172030 │ │ │ ├── 22 │ │ │ │ ├── 040208 │ │ │ │ └── 190251 │ │ │ ├── 23 │ │ │ │ └── 160814 │ │ │ ├── 24 │ │ │ │ └── 013421 │ │ │ └── 29 │ │ │ └── 040537 │ │ └── 12 │ │ ├── 01 │ │ │ ├── 000000 │ │ │ └── 130000 │ │ ├── 03 │ │ │ ├── 114154 │ │ │ ├── 230000 │ │ │ └── 231208 │ │ ├── 04 │ │ │ ├── 012003 │ │ │ └── 205316 │ │ ├── 05 │ │ │ ├── 010000 │ │ │ └── 145944 │ │ ├── 06 │ │ │ └── 013000 │ │ ├── 07 │ │ │ ├── 020000 │ │ │ ├── 210854 │ │ │ └── 220505 │ │ ├── 08 │ │ │ ├── 045043 │ │ │ └── 224326 │ │ ├── 09 │ │ │ └── 223000 │ │ ├── 10 │ │ │ └── 003000 │ │ ├── 11 │ │ │ └── 010000 │ │ ├── 12 │ │ │ ├── 183004 │ │ │ ├── 191743 │ │ │ └── 202139 │ │ ├── 13 │ │ │ └── 183223 │ │ ├── 14 │ │ │ └── 165217 │ │ ├── 15 │ │ │ ├── 015639 │ │ │ ├── 022400 │ │ │ └── 220000 │ │ ├── 16 │ │ │ ├── 001538 │ │ │ └── 223000 │ │ ├── 17 │ │ │ ├── 123000 │ │ │ └── 185622 │ │ ├── 18 │ │ │ └── 173444 │ │ ├── 19 │ │ │ └── 130000 │ │ └── 28 │ │ ├── 005757 │ │ ├── 010650 │ │ ├── 030459 │ │ └── 051125 │ └── 2015 │ └── 01 │ ├── 03 │ │ └── 235622 │ ├── 07 │ │ ├── 001232 │ │ ├── 002810 │ │ └── 045706 │ ├── 08 │ │ ├── 194932 │ │ ├── 201335 │ │ ├── 205812 │ │ └── 211018 │ ├── 09 │ │ ├── 003236 │ │ └── 051116 │ ├── 10 │ │ ├── 002559 │ │ └── 035601 │ ├── 12 │ │ └── 040435 │ └── 15 │ ├── 043000 │ └── 044023 ├── feed ├── index.html ├── index.html?page=1420718292 ├── index.html?page=1420747876 ├── index.html?page=1421003075 ├── robots.txt └── rss 116 directories, 228 files
結構便利なんだよね。
サイトのミラーをパパっと作るのに便利。サイトを丸ごと処理したり、コピーを作ったり、ミラーしたり、同期したり、キャッシュの代わりに使ったり、結構便利だと思う。
アクセスが急激に伸びた時とかに、急遽ミラーを作ったり、緊急時に非常に役に立つと思う。
