Liste des erreurs de navigation.
Internet
mardi, mars 17 2009
17mar.2009
Connaitre et améliorer son PageRank
Quelques liens et explications, ici...
jeudi, février 5 2009
05fév.2009
Timeout de putty suite à un proxy ou connection faible
Victime de deco putty ? c'est par ici...
lundi, février 2 2009
02fév.2009
Tunnel SSH sous Linux et Windows
Bien souvent vous voulez sécuriser votre lien VNC ou pourquoi pas sortir de votre entreprise car seulement les ports 80, 8080 et 443 sont disponible pour sortir.
vendredi, septembre 19 2008
19sept.2008
http://rat-mos.labrute.com !!!
Moi aussi j'ai ma brute !!! devenez mon élève et conquérons le monde !!!
http://rat-mos.labrute.com
lundi, septembre 15 2008
15sept.2008
Le fichier robots.txt
Présentation du fichier robots.txt
Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier robots.txt à la racine du site. Format du fichier robots.txt
Le fichier robots.txt (écrit en minuscules et au pluriel) est un fichier ASCII se trouvant à la racine du site et pouvant contenir les commandes suivantes :
User-Agent: permet de préciser le robot concerné par les directives suivantes. La valeur * signifie "tous les moteurs de recherche". Disallow: permet d'indiquer les pages à exclure de l'indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /. La valeur / seule signifie "toutes les pages du site".
Attention Le fichier robots.txt ne doit contenir aucune ligne vide ! ! !
Voici des exemples de fichier robots.txt :
Exclusion de toutes les pages :
User-Agent: * Disallow: /
Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: * Disallow:
Autorisation d'un seul robot :
User-Agent: nomDuRobot Disallow : User-Agent: * Disallow: /
Exclusion d'un robot :
User-Agent: NomDuRobot Disallow: / User-Agent: * Disallow:
Exclusion d'une page :
User-Agent: * Disallow: /repertoire/chemin/page.html
Exclusion de plusieurs page :
User-Agent: * Disallow: /repertoire/chemin/page.html Disallow: /repertoire/chemin/page2.html Disallow: /repertoire/chemin/page3.html
Exclusion de toutes les pages d'un répertoire et ses sous-dossiers :
User-Agent: * Disallow: /repertoire/
Voici quelques exemples de User-Agents pour les moteurs de recherche les plus populaires :
Nom du moteur User-Agent
Alta Vista Scooter
Excite ArchitextSpider
Google Googlebot
HotBot Slurp
InfoSeek InfoSeek Sidewinder
Lycos T-Rex
Voilà Echo
mercredi, août 20 2008
20août2008
Proxy : surfer en anonyme
Voici un site qui propose gratuitement une liste de proxy qui sont régulièrement vérifiés.
Ceci vous permettra de surfer anonymement pour par exemple : faire des bêtises :p
jeudi, juillet 24 2008
24juil.2008
Copier un site internet avec wget
Voici la commande :
wget -r -k -nt -T 10 -t 1 www.un-site.com
-r : signifie que le téléchargement sera récursif (il télécharge aussi les liens de la page).
-k : permet de reconstituer le site localement (les liens sont modifié pour pointer localement)
-np : empêche de remonter dans le répertoire parent.
-T 10 : Time connection. Le temps max pour aspirer un lien.
-t 1 : nombre de tentative de connection si il y a erreur 404 (pas de lien).
Visiblement ca marche mieux sans le -np.
dimanche, mai 18 2008
18mai2008
Firefox 3
Y' a des comiques chez Mozilla !!!
Dans la barre de navigation tapez : about:robots et about:mozilla