Como descargar contenidos de una web desde consola

Esta mañana he tenido la necesidad de descargarme todo el contenido de una web que tenía elementos que necesitaba y aquí os dejo una explicación de como hacer esto y alguna función extra más que interesante:

Hoy os voy a hablar de uno de esos comandos maravillosos que hace tanto o más que un programa gráfico, estamos hablando de wget, comando que nos permitirá bajarnos webs enteras, archivos, bajar algo de un ftp, etc, pero sobre todo veremos como construirnos una especie de p2p para poder continuar las descargas siempre que nos apetezca.

Lo primero un pequeño resumen de las principales opciones de wget:

1.Descargar una página web o un fichero:

• wget http://www.servidor.com/fichero.zip

2.Guardar la información que aparece por pantalla en un fichero de log:

• wget -o log.txt http://www.servidor.com/fichero.zip

3.Para obtener más información sobre la descarga:

• wget -d http://www.servidor.com/fichero.zip

4.Para que haga la descarga sin mostrar ningún log:

• wget -q http://www.servidor.com/fichero.zip

5.Descargar las URLs que aparezcan en un fichero:

• wget -i urls.txt

6.Continuar una descarga que se cortó:

• wget -c http://www.servidor.com/fichero.zip v

7.Descargar algo que requiere usuario y clave:

• wget –http-user=usuario –http-passwd=clave http://www.servidor.com/fichero.zip

8.Aparentar ser un navegador distinto:

• wget --user-agent=Opera http://www.servidor.com/fichero.zip

9.Descargar una página con todos los elementos gráficos, javascript, etc:

• wget -p http://www.servidor.com

10.Descargar toda una web:

• wget -r http://www.servidor.com

11.Descargar hasta tres niveles de profundidad de una web:

• wget -r –level=2 http://www.servidor.com

12.Descargar un archivo de un ftp:

• wget ftp://ftp.servidor.com/fichero.zip

Bien, ¿y cómo podemos descargar algo muy grande siempre que nos apetezca?. Para mayor comodidad primero crearemos un directorio para albergar todas nuestras descargas:

mkdir descargaswget

Y entramos en él:

cd descargaswget/

Ahora creamos un archivo con nuestro editor favorito:

nano archivo

Y dentro del mismo escribimos lo siguiente:

wget -c www.servidor.com/archivoquenosqueremosbajar

Lo siguiente es hacerlo ejecutable:

chmod +x archivo

Y siempre que queramos seguir bajándolo, entraremos en el directorio que hemos creado y lo ejecutaremos:

./archivo