Постоянно забываю о том, как скачивать сайт при помощи wget. Требуется это нечасто, но иногда очень нужно, а скачивать специализированные программы для этого не хочется, ведь знаешь же, что wget всё это может легко и быстро. Информация об этом есть по всему интернету, но хочется, чтобы всё было под рукой. Так что теперь не забуду :)
wget -r -k -l 7 -p -E -nc http://example.com/
Хочу обратить внимание на параметр -l
, которому отправляется максимальное значение уровня вложенности, на котором wget перестанет бегать по ссылкам страниц и скачивать контент. Также, можно записать
wget -r -k -l 7 -p -E -nc --user-agent "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:7.0.1) Gecko/20100101 Firefox/7.0.12011-10-16 20:23:00" http://example.com/
…чтобы “прикинуться” нормальным браузером. Это может помочь в случаях, если раздающий контент веб-сервер настроен на блокировку wget. Ведь по умолчанию wget отправляет запрос, заполняя user-agent своим значением. Можно отправить в качестве аргумента этому параметру ""
(пустую строку), тогда wget не будет вообще указывать user-agent. В случае, если контент защищен http-авторизацией, и у вас есть учетные данные для сайта, можно воспользоваться параметрами --http-user
и --http-password
для отправки серверу ваших данных. Само собой, если сервер не отдает трафик по защищенному каналу, ваши учетные данные поступают в сеть в открытом виде. Впрочем, также происходит и в случае, если вы используете обычный браузер.