Linuxコマンド辞典 wgetコマンド(ネットワーク)

ネットワーク経由でファイルをダウンロードする「wget」コマンドの概要と使い方を記載しています。

RHEL Fedora CentOS Vine Deblan Ubuntu Plamo

概要・使用方法

書式

$ wget [オプション] [URL]

HTTP/HTTPS/FTPからファイルをダウンロードします。HTTPプロキシを通してのダウンロードやミラーサイトの作成時などのために再帰的にファイルをダウンロードできます。

オプション(対話モード)

-b
–background
起動後にバックグランドにまわり、ダウンロードを継続する
-o ファイル名
–output-file=ファイル名
ダウンロードログをログファイルに保存する
-a ファイル名
–append-output=ファイル名
ダウンロードログをログファイルに追記する
-d
–debug
デバッグモードで起動する
-F ファイル名
–force-html
入力ファイルが指定されている場合、そのファイルをHTMLファイルファイルとして読み込む
-p
–page-requisites
ダウンロードするページを表示する際に必要なファイルもダウンロードする
-q
–quiet
処理中の出力を行わない
-nv
–non-verbose
エラーメッセージと基本的な情報以外は表示しない
-i ファイル名
–input-file=ファイル名
ファイルに記述されたURLをダウンロードする
–progress=タイプダウンロード状況を表すプログレスバーの文字タイプを指定する。「dot」「bar」が選択可能
–passive-ftpFTPのpassiveモードでダウンロードを行う
-O ファイル名
–output-document=ファイル名
指定したファイルに保存する。「-」を指定すれば標準出力に出力する
-r
–recursive
再帰的にダウンロードを行う
-t 回数
–tries=回数
リトライ回数を指定する(デフォルトは20回)
-S
–server-sesponse
サーバからレスポンスヘッダを表示する
–spiderダウンロードせずに、ファイルがあるかを確認する
–backups=回数保存ファイル名が既に存在する場合、末尾に「.1」「.2」「.3」・・・と「.数字」をつけたバックアップをローテートしながら作成する。
回数を指定するとそれ以上ローテートせずに古いバックアップを削除する
–user=ユーザ名FTPやHTTPの認証に利用するユーザ名を指定する
–password=パスワードFTPやHTTPの認証に利用するパスワードを指定する
–proxy-user=ユーザ名PROXYサーバで利用するユーザ名を指定する
–proxy-password=パスワードPROXYサーバで利用するパスワードを指定する
–referer=RULリファラを指定してURLを送信する
-U 名称
–user-agent=名称
指定した名称をユーザエージェントとして利用する
–no-check-certificateどうしても必要な際にサーバSSL証明書をチェックしない
–certificate=証明書クライアント証明書に指定した証明書を利用する
-np
–no-parent
上位ディレクトリのダウンロードは行わない
-nH
–no-host-directories
-pや-rオプションなどで対象サイトのFQDN名のディレクトリを作成しない
-nd
–no-directories
作業ディレクトリに階層工場を作らずにファイルを保存する

指定したファイルをダウンロードする

$ wget URL

実行結果

[root@centos ~]# wget https://download.rockylinux.org/pub/rocky/9/isos/x86_64/Rocky-9.1-x86_64-minimal.iso
--2022-12-22 10:24:22--  https://download.rockylinux.org/pub/rocky/9/isos/x86_64/Rocky-9.1-x86_64-minimal.iso
download.rockylinux.org (download.rockylinux.org) をDNSに問いあわせています... 146.75.94.132, 2a04:4e42:d::644
download.rockylinux.org (download.rockylinux.org)|146.75.94.132|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 1592590336 (1.5G) [application/octet-stream]
`Rocky-9.1-x86_64-minimal.iso' に保存中

Rocky-9.1-x86_64-minimal.iso             100%[=================================================================================>]   1.48G  2.07MB/s 時間 5m 30s   

2022-12-22 10:29:52 (4.61 MB/s) - `Rocky-9.1-x86_64-minimal.iso' へ保存完了 [1592590336/1592590336]

[root@centos ~]# 

指定したURL以下を再帰的にダウンロードする

URL以下は-npオプションを使用します。再帰的は-rオプションを使用します。

$ wget -np -r URL

実行結果

[root@centos ~]# wget -np -r https://download.rockylinux.org/pub/rocky/9/isos/
--2022-12-22 13:13:48--  https://download.rockylinux.org/pub/rocky/9/isos/
download.rockylinux.org (download.rockylinux.org) をDNSに問いあわせています... 146.75.94.132, 2a04:4e42:87::644
download.rockylinux.org (download.rockylinux.org)|146.75.94.132|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 特定できません [text/html]
`download.rockylinux.org/pub/rocky/9/isos/index.html' に保存中

download.rockylinux.org/pub/rocky/9/isos     [ <=>                                                                              ]     634  --.-KB/s 時間 0s       

2022-12-22 13:13:49 (12.1 MB/s) - `download.rockylinux.org/pub/rocky/9/isos/index.html' へ保存終了 [634]
・
・
・

テキストファイルにURLを列挙して自動的に取得する

$ wget -i 列挙したテキストファイル

実行結果

[root@centos ~]# cat donwload.txt
https://download.rockylinux.org/pub/rocky/9/isos/x86_64/Rocky-9.1-x86_64-minimal.iso
https://download.rockylinux.org/pub/rocky/9/isos/aarch64/Rocky-9.1-aarch64-minimal.iso
[root@centos ~]# wget -i donwload.txt 
--2022-12-22 13:21:36--  https://download.rockylinux.org/pub/rocky/9/isos/x86_64/Rocky-9.1-x86_64-minimal.iso
download.rockylinux.org (download.rockylinux.org) をDNSに問いあわせています... 151.101.54.132, 2a04:4e42:a::644
download.rockylinux.org (download.rockylinux.org)|151.101.54.132|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 1592590336 (1.5G) [application/octet-stream]
`Rocky-9.1-x86_64-minimal.iso.2' に保存中

Rocky-9.1-x86_64-minimal.iso.2             1%[                                                                                  ]  17.98M  11.3MB/s               ^C
[root@centos ~]# 

テキストファイルにURLを列挙してバックグランドでダウンロードする

$ wget -i 列挙したテキストファイル -b

実行結果

[root@centos ~]# wget -i donwload.txt  -b
バックグラウンドで継続します、pidは 42006。
出力を `wget-log' に書き込みます。
[root@centos ~]#