それマグで!

知識はカップより、マグでゆっくり頂きます。 takuya_1stのブログ

習慣に早くから配慮した者は、 おそらく人生の実りも大きい。

サイトのファイルをマルっと取得するコマンド

wget はマルっと処理するのに便利だ

wget -r http://takuya-1st.hatenablog.jp/

これだけ

出力はドメイン名のフォルダに出てくる

たとえば、こんなかんじに。リンクを辿って、HTMLを保存してくれる。ちなみに画像とか別ドメインへのリンクは、このままだと保存されないので注意。

takuya-1st.hatenablog.jp/
├── about
├── archive
├── archive?page=2
├── category
│   ├── linux
│   ├── mac
│   └── ruby
├── embed
│   └── 2014
│       └── 12
│           ├── 01
│           │   ├── 000000
│           │   └── 130000
│           ├── 03
│           │   ├── 230000
│           │   └── 231208
│           ├── 04
│           │   └── 012003
│           ├── 06
│           │   └── 013000
│           ├── 07
│           │   └── 020000
│           ├── 08
│           │   └── 045043
│           ├── 09
│           │   └── 223000
│           ├── 10
│           │   └── 003000
│           ├── 11
│           │   └── 010000
│           ├── 13
│           │   └── 183223
│           ├── 14
│           │   └── 165217
│           ├── 15
│           │   └── 220000
│           ├── 16
│           │   └── 223000
│           ├── 17
│           │   └── 123000
│           └── 19
│               └── 130000
├── entries
│   ├── 2010
│   │   └── 01
│   │       ├── 01
│   │       └── 03
│   ├── 2011
│   │   └── 11
│   │       ├── 18
│   │       ├── 21
│   │       └── 23
│   ├── 2012
│   │   ├── 01
│   │   │   ├── 18
│   │   │   ├── 19
│   │   │   └── 20
│   │   └── 10
│   │       ├── 10
│   │       ├── 16
│   │       └── 17
│   ├── 2014
│   │   ├── 10
│   │   │   ├── 07
│   │   │   ├── 10
│   │   │   ├── 12
│   │   │   ├── 13
│   │   │   ├── 14
│   │   │   ├── 17
│   │   │   ├── 18
│   │   │   └── 23
│   │   ├── 11
│   │   │   ├── 01
│   │   │   ├── 03
│   │   │   ├── 04
│   │   │   ├── 06
│   │   │   ├── 08
│   │   │   ├── 09
│   │   │   ├── 10
│   │   │   ├── 11
│   │   │   ├── 12
│   │   │   ├── 13
│   │   │   ├── 14
│   │   │   ├── 15
│   │   │   ├── 16
│   │   │   ├── 20
│   │   │   ├── 21
│   │   │   ├── 22
│   │   │   ├── 23
│   │   │   ├── 24
│   │   │   └── 29
│   │   └── 12
│   │       ├── 01
│   │       ├── 03
│   │       ├── 04
│   │       ├── 05
│   │       ├── 06
│   │       ├── 07
│   │       ├── 08
│   │       ├── 09
│   │       ├── 10
│   │       ├── 11
│   │       ├── 12
│   │       ├── 13
│   │       ├── 14
│   │       ├── 15
│   │       ├── 16
│   │       ├── 17
│   │       ├── 18
│   │       ├── 19
│   │       └── 28
│   └── 2015
│       └── 01
│           ├── 03
│           ├── 07
│           ├── 08
│           ├── 09
│           ├── 10
│           ├── 12
│           └── 15
├── entry
│   ├── 20071014
│   │   └── 1192291647
│   ├── 20090413
│   │   └── 1239596361
│   ├── 20100103
│   │   ├── 1262467223
│   │   ├── 1262470913
│   │   ├── 1262486833
│   │   └── 1262539694
│   ├── 20100104
│   │   └── 1262566732
│   ├── 20100312
│   │   └── 1268389189
│   ├── 20101204
│   │   └── 1291478868
│   ├── 20110306
│   │   └── 1299392486
│   ├── 20111121
│   │   ├── 1321855457
│   │   ├── 1321860726
│   │   ├── 1321861118
│   │   ├── 1321865738
│   │   └── 1324018590
│   ├── 20111123
│   │   └── 1322068116
│   ├── 20111127
│   │   └── 1322360413
│   ├── 20120118
│   │   ├── 1326872675
│   │   └── 1326873596
│   ├── 20120119
│   │   └── 1326951657
│   ├── 20120120
│   │   └── 1327028570
│   ├── 20120125
│   │   └── 1327467007
│   ├── 20121014
│   │   └── 1350206857
│   ├── 20121016
│   │   └── 1351976005
│   ├── 20121017
│   │   ├── 1350447701
│   │   ├── 1350448267
│   │   ├── 1350449478
│   │   ├── 1350463351
│   │   ├── 1350463797
│   │   ├── 1350464450
│   │   ├── 1350464650
│   │   └── 1350489919
│   ├── 20121025
│   │   └── 1351164192
│   ├── 2013
│   │   ├── 03
│   │   │   └── 20
│   │   │       └── 220112
│   │   └── 08
│   │       └── 15
│   │           └── 033927
│   ├── 2014
│   │   ├── 10
│   │   │   ├── 07
│   │   │   │   └── 132841
│   │   │   ├── 10
│   │   │   │   ├── 012615
│   │   │   │   ├── 013127
│   │   │   │   ├── 013835
│   │   │   │   ├── 021446
│   │   │   │   ├── 140734
│   │   │   │   └── 141227
│   │   │   ├── 12
│   │   │   │   ├── 030719
│   │   │   │   ├── 143254
│   │   │   │   └── 235307
│   │   │   ├── 13
│   │   │   │   └── 030759
│   │   │   ├── 14
│   │   │   │   ├── 002617
│   │   │   │   └── 022239
│   │   │   ├── 17
│   │   │   │   ├── 205606
│   │   │   │   └── 213228
│   │   │   ├── 18
│   │   │   │   ├── 150706
│   │   │   │   └── 151129
│   │   │   └── 23
│   │   │       └── 142538
│   │   ├── 11
│   │   │   ├── 01
│   │   │   │   └── 211531
│   │   │   ├── 03
│   │   │   │   ├── 034102
│   │   │   │   └── 235640
│   │   │   ├── 04
│   │   │   │   ├── 001449
│   │   │   │   └── 110110
│   │   │   ├── 06
│   │   │   │   ├── 104120
│   │   │   │   ├── 202605
│   │   │   │   └── 204903
│   │   │   ├── 08
│   │   │   │   └── 042529
│   │   │   ├── 09
│   │   │   │   ├── 042013
│   │   │   │   └── 053318
│   │   │   ├── 10
│   │   │   │   └── 135706
│   │   │   ├── 11
│   │   │   │   └── 044919
│   │   │   ├── 12
│   │   │   │   └── 162008
│   │   │   ├── 13
│   │   │   │   ├── 101134
│   │   │   │   └── 103852
│   │   │   ├── 14
│   │   │   │   └── 233818
│   │   │   ├── 15
│   │   │   │   ├── 013545
│   │   │   │   ├── 015116
│   │   │   │   ├── 142715
│   │   │   │   ├── 144725
│   │   │   │   └── 180120
│   │   │   ├── 16
│   │   │   │   └── 164750
│   │   │   ├── 20
│   │   │   │   └── 024322
│   │   │   ├── 21
│   │   │   │   └── 172030
│   │   │   ├── 22
│   │   │   │   ├── 040208
│   │   │   │   └── 190251
│   │   │   ├── 23
│   │   │   │   └── 160814
│   │   │   ├── 24
│   │   │   │   └── 013421
│   │   │   └── 29
│   │   │       └── 040537
│   │   └── 12
│   │       ├── 01
│   │       │   ├── 000000
│   │       │   └── 130000
│   │       ├── 03
│   │       │   ├── 114154
│   │       │   ├── 230000
│   │       │   └── 231208
│   │       ├── 04
│   │       │   ├── 012003
│   │       │   └── 205316
│   │       ├── 05
│   │       │   ├── 010000
│   │       │   └── 145944
│   │       ├── 06
│   │       │   └── 013000
│   │       ├── 07
│   │       │   ├── 020000
│   │       │   ├── 210854
│   │       │   └── 220505
│   │       ├── 08
│   │       │   ├── 045043
│   │       │   └── 224326
│   │       ├── 09
│   │       │   └── 223000
│   │       ├── 10
│   │       │   └── 003000
│   │       ├── 11
│   │       │   └── 010000
│   │       ├── 12
│   │       │   ├── 183004
│   │       │   ├── 191743
│   │       │   └── 202139
│   │       ├── 13
│   │       │   └── 183223
│   │       ├── 14
│   │       │   └── 165217
│   │       ├── 15
│   │       │   ├── 015639
│   │       │   ├── 022400
│   │       │   └── 220000
│   │       ├── 16
│   │       │   ├── 001538
│   │       │   └── 223000
│   │       ├── 17
│   │       │   ├── 123000
│   │       │   └── 185622
│   │       ├── 18
│   │       │   └── 173444
│   │       ├── 19
│   │       │   └── 130000
│   │       └── 28
│   │           ├── 005757
│   │           ├── 010650
│   │           ├── 030459
│   │           └── 051125
│   └── 2015
│       └── 01
│           ├── 03
│           │   └── 235622
│           ├── 07
│           │   ├── 001232
│           │   ├── 002810
│           │   └── 045706
│           ├── 08
│           │   ├── 194932
│           │   ├── 201335
│           │   ├── 205812
│           │   └── 211018
│           ├── 09
│           │   ├── 003236
│           │   └── 051116
│           ├── 10
│           │   ├── 002559
│           │   └── 035601
│           ├── 12
│           │   └── 040435
│           └── 15
│               ├── 043000
│               └── 044023
├── feed
├── index.html
├── index.html?page=1420718292
├── index.html?page=1420747876
├── index.html?page=1421003075
├── robots.txt
└── rss

116 directories, 228 files

結構便利なんだよね。

サイトのミラーをパパっと作るのに便利。サイトを丸ごと処理したり、コピーを作ったり、ミラーしたり、同期したり、キャッシュの代わりに使ったり、結構便利だと思う。

アクセスが急激に伸びた時とかに、急遽ミラーを作ったり、緊急時に非常に役に立つと思う。

広告を非表示にする