System-Linux

Aller au contenu | Aller au menu | Aller à la recherche

Internet

Fil des billets

lundi, mai 11 2009

Tableau recapitulatif des erreurs internet navigateur

Liste des erreurs de navigation.

Lire la suite

mardi, mars 17 2009

Connaitre et améliorer son PageRank

pagerank.png

Quelques liens et explications, ici...

Lire la suite

jeudi, février 5 2009

Timeout de putty suite à un proxy ou connection faible

Victime de deco putty ? c'est par ici...

Lire la suite

lundi, février 2 2009

Tunnel SSH sous Linux et Windows

Bien souvent vous voulez sécuriser votre lien VNC ou pourquoi pas sortir de votre entreprise car seulement les ports 80, 8080 et 443 sont disponible pour sortir.

Lire la suite

vendredi, septembre 19 2008

http://rat-mos.labrute.com !!!

Moi aussi j'ai ma brute !!! devenez mon élève et conquérons le monde !!!

http://rat-mos.labrute.com

lundi, septembre 15 2008

Le fichier robots.txt

Présentation du fichier robots.txt

Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier robots.txt à la racine du site. Format du fichier robots.txt

Le fichier robots.txt (écrit en minuscules et au pluriel) est un fichier ASCII se trouvant à la racine du site et pouvant contenir les commandes suivantes :

User-Agent: permet de préciser le robot concerné par les directives suivantes. La valeur * signifie "tous les moteurs de recherche". Disallow: permet d'indiquer les pages à exclure de l'indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /. La valeur / seule signifie "toutes les pages du site".

Attention Le fichier robots.txt ne doit contenir aucune ligne vide ! ! !

Voici des exemples de fichier robots.txt :

Exclusion de toutes les pages :

User-Agent: *
Disallow: /

Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :

      
User-Agent: *
Disallow: 

Autorisation d'un seul robot :

User-Agent: nomDuRobot
Disallow :
User-Agent: *
Disallow: /

Exclusion d'un robot :

User-Agent: NomDuRobot
Disallow: /
User-Agent: *
Disallow:

Exclusion d'une page :

User-Agent: *
Disallow: /repertoire/chemin/page.html

Exclusion de plusieurs page :

User-Agent: *
Disallow: /repertoire/chemin/page.html
Disallow: /repertoire/chemin/page2.html
Disallow: /repertoire/chemin/page3.html

Exclusion de toutes les pages d'un répertoire et ses sous-dossiers :

User-Agent: *
Disallow: /repertoire/

Voici quelques exemples de User-Agents pour les moteurs de recherche les plus populaires :

Nom du moteur User-Agent

Alta Vista Scooter

Excite ArchitextSpider

Google Googlebot

HotBot Slurp

InfoSeek InfoSeek Sidewinder

Lycos T-Rex

Voilà Echo

jeudi, septembre 11 2008

Google Chrome interdit !!!

En allemagne ! voyez plutôt :

ici

mercredi, août 20 2008

Proxy : surfer en anonyme

Voici un site qui propose gratuitement une liste de proxy qui sont régulièrement vérifiés.

Ceci vous permettra de surfer anonymement pour par exemple : faire des bêtises :p

liste de proxy

- page 1 de 2