¿Como Configurar Un Robot
Páginas: 3 (577 palabras)
Publicado: 5 de noviembre de 2015
¿Como configurar robots.txt? ¿Como configurar robots.txt?
El cumplimiento de este standard no garantiza un mejor posicionamiento.
Sin embargo el no cumplirlo puede llegar a ser grave.
Existendiversas razones para ‘ocultar’ a los robots un directorio o archivo:
Algunos robots penalizan contenidos duplicados Ciertos directorios privados podrían ser publicados. Contenidos inapropiados comotextos con palabras que no guardan vinculación con el contenido del web y si fueran indexados atraerían tráfico no deseado.
Bibliografia
Robotstxt.org: robotstxt.org Analice algunos robots.txtreales: Elpais.com/robots.txt google.com/robots.txt
Breve resumen práctico
Instrucciones para robots
Ubicación del archivo robots.txt
El archivo robots.txt debe estar ubicado en el directorio raízhttp://www.dom.dom/robots.txt, debe ser creado como archivo de texto puro con saltos de línea UNIX. Es recomendable si se sube por FTP hacerlo en formato binario.
User-agent
La línea User-agentespecifica el robot Ej.:
User-agent: googlebot
Se puede usar el 'wildcard' "*" para especificar: todos los robots
User-agent: *
Disallow:
Puedes encontrar nombres 'user agent' en los 'logs' the tuservidor, buscando las solicitudes a robots.txt. La segunda parte del archivo es una instrucción 'Disallow:'. La siguiente línea instruye de no descargar sillas.php:
Disallow: sillas.php
Se puedeespecificar todo lo que esté por debajo de un directorio:
Disallow: /fla/
Bloqueará para los spiders el directorio '/fla/' y todo lo que este por debajo de este.
En general:
Si se deja la línea'Disallow:' en blanco significa que todos los directorios pueden ser descargados. Si se deja el archivo robots.txt en blanco significa que todos los directorios pueden ser descargados. Si no existe elarchivo robots.txt y se devuelve un error 404, significa que todos los directorios pueden ser descargados, pero tus 'logs' se llenaran de reportes de error 404 (No encontrado). Si no existe el archivo...
El cumplimiento de este standard no garantiza un mejor posicionamiento.
Sin embargo el no cumplirlo puede llegar a ser grave.
Existendiversas razones para ‘ocultar’ a los robots un directorio o archivo:
Algunos robots penalizan contenidos duplicados Ciertos directorios privados podrían ser publicados. Contenidos inapropiados comotextos con palabras que no guardan vinculación con el contenido del web y si fueran indexados atraerían tráfico no deseado.
Bibliografia
Robotstxt.org: robotstxt.org Analice algunos robots.txtreales: Elpais.com/robots.txt google.com/robots.txt
Breve resumen práctico
Instrucciones para robots
Ubicación del archivo robots.txt
El archivo robots.txt debe estar ubicado en el directorio raízhttp://www.dom.dom/robots.txt, debe ser creado como archivo de texto puro con saltos de línea UNIX. Es recomendable si se sube por FTP hacerlo en formato binario.
User-agent
La línea User-agentespecifica el robot Ej.:
User-agent: googlebot
Se puede usar el 'wildcard' "*" para especificar: todos los robots
User-agent: *
Disallow:
Puedes encontrar nombres 'user agent' en los 'logs' the tuservidor, buscando las solicitudes a robots.txt. La segunda parte del archivo es una instrucción 'Disallow:'. La siguiente línea instruye de no descargar sillas.php:
Disallow: sillas.php
Se puedeespecificar todo lo que esté por debajo de un directorio:
Disallow: /fla/
Bloqueará para los spiders el directorio '/fla/' y todo lo que este por debajo de este.
En general:
Si se deja la línea'Disallow:' en blanco significa que todos los directorios pueden ser descargados. Si se deja el archivo robots.txt en blanco significa que todos los directorios pueden ser descargados. Si no existe elarchivo robots.txt y se devuelve un error 404, significa que todos los directorios pueden ser descargados, pero tus 'logs' se llenaran de reportes de error 404 (No encontrado). Si no existe el archivo...
Leer documento completo
Regístrate para leer el documento completo.