System-Linux

Aller au contenu | Aller au menu | Aller à la recherche

Aspirer un site web avec la commande Wget

wget aspirateur web jpeg

c'est mal !

mais bon...

Voila la commande magique qui fait ***** tous les admins hébergeur web :

wget -r -k -np --user-agent=Firefox url-du-site

Explication :

L'option -r signifie que le téléchargement sera récursif, télécharge des liens de la page.

Le -k permet de reconstituer le site localement, les liens sont modifié pour pointer localement.

Le -np empêche de remonter dans le répertoire parent.

Et --user-agent= pour faire passer Wget pour un Firefox. (c'est très mal !)

vous avez aussi pour les sites qui demandent une authentification :

--http-user

et --http-password

Il paraîtrait même qu'un autre utilitaire serait faire encore mieux le mal lui aussi : httrack

Par GanGan | le mardi, mai 26 2009 08:00

Commentaires

1. j0rn

mardi, mai 26 2009 | 09:21

http://www.system-linux.eu/index.ph...
http://www.system-linux.eu/index.ph...
super inspirés les mots clés :')))

merci pour la commande en tous cas

2. GanGan

mardi, mai 26 2009 | 10:06

Dis donc ! pas de ça chez nous ! jeune impudent...

C'est un blog de lyon voyons !

3. Kévin Hinault

mardi, mai 26 2009 | 10:39

De Lyon ? Grrr

Sinon, j'adore voir tes mails passer sur les ML et en sortir un article sympa comme celui-ci.

4. gangan

mardi, mai 26 2009 | 17:34

comment ça : Lyon Grrr ?

ça va mal aller.... :p

5. Kévin Hinault

mardi, mai 26 2009 | 17:37

Je m'en doutais que tu réagirais comme ça :D

6. wally

jeudi, mai 28 2009 | 11:27

Merci, :-)

7. Assurance santé

mardi, décembre 1 2009 | 11:17

Je ne connaissais pas cette commande. Trés utile. Merci pour l'info.

8. tire lait

vendredi, avril 2 2010 | 19:48

Bonjour,

Sympa ce blog.

Bonne continuation.

9. edrobal

jeudi, octobre 14 2010 | 10:21

Bonjour.
Merci pour cet article. J'ai essayé d'utiliser cette commande avec un routeur et je reçois : 401 unauthorized. Pourtant j'ai bien ajouté le username. Une idée du pourquoi.
C'est juste un essai. J'aimerais récupérer le programme d'un téléphone IP pour l'émuler sur mon serveur afin de tester un programme de synchronisation de répertoire.