Estándar de exclusión de robots

De Wikipedia, la enciclopedia libre

(Redirigido desde Estandar de exclusion de robots)

Saltar a navegación, búsqueda

El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de robots.txt es un método para evitar que ciertos bots que analizan los sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda. Los robots son de uso frecuente por los motores de búsqueda para categorizar archivos de los sitios Webs, o por los webmasters para corregir o filtrar el código fuente.

Contenido

1 El archivo robots.txt
2 Desventajas
3 Cuerpo o estándar RFC oficial para el protocolo de robots.txt
4 Ejemplos
5 Observaciones
6 Véase también
7 Enlaces externos

[editar] El archivo robots.txt

Un archivo robots.txt en un sitio web funcionará como una petición que especifica que determinados robots no hagan caso a archivos o directorios específicos en su búsqueda. Esto puede realizarse, por ejemplo, para dejar fuera de una preferencia los resultados de una búsqueda avanzada, o de la creencia que el contenido de los directorios seleccionados puede ser engañoso o inaplicable a la clasificación del sitio en su totalidad.

[editar] Desventajas

Este protocolo es consultivo. Confía en la cooperación de los robots del sitio Web, de modo que marca una o más áreas de un sitio fuera de los límites de búsqueda con el uso de un archivo robots.txt, aunque éste no necesariamente garantice aislamiento completo. Algunos administradores de sitios Web utilizan el archivo robots.txt para hacer algunas secciones privadas, invisibles al resto del mundo, pero dado que los archivos están disponibles en forma pública, su contenido podría ser visto de todas maneras por cualquier persona con un navegador Web y conocimientos medianamente avanzados.

[editar] Cuerpo o estándar RFC oficial para el protocolo de robots.txt

Fue creado por consenso en junio de 1994 por los miembros de robots que enviaban la lista ([email-masked]). La información que especifíca las piezas que no deben ser alcanzadas se especifica en un archivo llamado robots.txt en el directorio de nivel superior del sitio Web. Los patrones de robots.txt son emparejados por comparaciones simples de subsecuencia, así que se debe tomar cuidado para cerciorarse de que los directorios tengan concordancia con el modelo, y que tengan añadido el carácter “/” al final, si no todos los archivos con nombres comenzando con esa subsecuencia emparejarán, más bien que apenas ésos en el directorio previsto.

[editar] Ejemplos

Este ejemplo permite que todos los robots visiten todos los archivos que se encuentran almacenados en el código raíz de la página web porque el comodín “*” especifica todos los robots:

User-agent: *
Disallow:

Cabe destacar que el comodín (*) significa "ALL" o en lo sucesivo en español "TODOS"

Este ejemplo les niega el acceso a todos los bots (implementando el comodin [/], en todos los archivos almacenados en el directorio raíz:

User-agent: *
Disallow: /

Cabe destacar que el comodín (/), le niega el acceso la entrada al bot.

El siguiente es un ejemplo que dice que todos los subdirectorios que incluyan el comodín (/) deben ser bloqueados, únicamente éstos, exceptúando a todos los demás archivos y directorios que no contienen un comodín, para su revisión:

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

[editar] Observaciones

Los robots de los buscadores son sensibles a las mayúsculas y minúsculas, es importante agregarlos tal y como aparecen listados en el servidor, para una buena programación y entendimiento (Robot-Servidor)

[editar] Véase también

Web crawler

[editar] Enlaces externos

Todo lo que deseas saber

robotstxt.org

Guía del archivo robots.txt

El archivo robots.txt

Obtenido de "http://es.wikipedia.org/wiki/EstÃ¡ndar_de_exclusiÃ³n_de_robots"

Categorías: Internet | Formatos y estándares de software

Herramientas personales

Nuevas características

Registrarse/Entrar

Espacios de nombres

Artículo

Discusión

Variantes

Vistas

Leer

Editar

Ver historial

Acciones

Buscar

Navegación

Portada
Portal de la comunidad
Actualidad
Cambios recientes
Página aleatoria
Ayuda
Donaciones
Notificar un error

Imprimir/exportar

Crear un libro
Descargar como PDF
Versión para imprimir

Herramientas

Lo que enlaza aquí
Cambios en enlazadas
Subir archivo
Páginas especiales
Enlace permanente
Citar este artículo

En otros idiomas

Català
Česky
Dansk
Deutsch
English
Suomi
Français
עברית
Italiano
日本語
한국어
Nederlands
Polski
Português
Русский
Svenska
Türkçe
中文

Esta página fue modificada por última vez el 23 sep 2010, a las 23:51.
El texto está disponible bajo la Licencia Creative Commons Reconocimiento Compartir Igual 3.0; podrían ser aplicables cláusulas adicionales. Lee los términos de uso para más información.

Política de privacidad

Acerca de Wikipedia

Descargo de responsabilidad