Connect with us

Noticias

Cambios en la versión de WordPress 5.3 evitará que el sitio web sea Indexado

Published

on

Cambios en la versión de WordPress 5.3 evitará que el sitio web sea Indexado 1

Con el objetivo de evitar que el sitio web, hecho en WordPress, sea agregado al índice de los motores de búsqueda, el CMS más usado en el mundo cambiará la opción que evita que sea indexado. Así lo ha anunciado Peter Wilson Web Developer a través de WordPress Core.

Changes to prevent search engines indexing sites.

«En WordPress 5.3 el método utilizado para impedir la indexación cambiará en los sitios, habilitando la opción «impedir a los motores de búsqueda indexar este sitio» en el tablero de WordPress. Estos cambios fueron hechos como parte del ticket #43590.

El ticket que mencionan lo ves a continuación.

Cambios en la versión de WordPress 5.3 evitará que el sitio web sea Indexado 2
Cambios en la versión de WordPress 5.3 evitará que el sitio web sea Indexado 3
Cambios en la versión de WordPress 5.3 evitará que el sitio web sea Indexado 4

Traducción al español del ticket:

«En Settings -> Reading esta una opción llamada «Disuadir a los motores de búsqueda para este sitio».

Desafortunadamente no funciona según lo previsto.

Comportamiento actual

El resultado es un archivo robots.txt con los siguientes contenidos:

User-agent: *
Disallow: /

Esto es un problema, porque la página puede seguir apareciendo en los resultados de búsqueda en algunas circunstancias con el texto «No hay información disponible para esta página». (ver captura de pantalla adjunta).

Cambios en la versión de WordPress 5.3 evitará que el sitio web sea Indexado 5

Esto se debe a que el contenido del sitio no está rastreado, pero el enlace en sí mismo está indexado.

Comportamiento esperado

La página no debería aparecer en los motores de búsqueda en absoluto.

Google tiene una página de ayuda con el tema Bloquear la indexación de búsquedas con’noindex’.

Afirma:

«¡Importante! Para que la directiva noindex sea efectiva, la página no debe estar bloqueada por un archivo robots.txt. Si la página está bloqueada por un archivo robots.txt, el crawler nunca verá la directiva noindex, y la página puede seguir apareciendo en los resultados de búsqueda, por ejemplo, si otras páginas tienen un enlace a ella».

En esencia, WordPress debería devolver una metaetiqueta de robots como esta:

<name="robots" content="noindex">

y/o devolver un X-Robots-Tag en la cabecera http de esta manera:

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

Pero no debería bloquear el acceso en primer lugar a través de robots.txt.»

Finaliza la traducción del ticket. Respecto a la documentación de Google que menciona en el ticket puedes encontrarla aquí.

https://support.google.com/webmasters/answer/93710?hl=es

Bien, continuamos con el anuncio sobre el cambio que veremos en WordPress 5.3.

«Estos cambios tienen por objeto disuadir a los motores de búsqueda de incluir un sitio en el índice, en lugar de impedirles que rastreen el sitio.»

En ese sentido los desarrolladores de ven obligados a entregarnos un robots.txt diferente, como el que mencionan ahora.

«En versiones anteriores de WordPress, Disallow: / se agregó al archivo robots.txt para evitar que los motores de búsqueda rastreen el sitio. Esto ha sido eliminado para sitios web no públicos en WordPress 5.3.»

Impedir el rastreo no impediría la indexación

De modo que, el hecho de no permitir el rastreo puede tener el efecto de permitir que un sitio sea indexado:

Un sitio no tiene que estar[rastreado] para aparecer en la lista. Si un enlace apunta a una página, a un dominio o a cualquier otro lugar, Google lo sigue. Si el archivo robots.txt de ese dominio impide que un motor de búsqueda[rastree] de esa página, seguirá mostrando la URL en los resultados si puede recopilarla…. podría valer la pena mirarla.

Cambios en la metaetiqueta

Los sitios con la opción «disuadir a los motores de búsqueda de indexar este sitio» activada mostrarán una metaetiqueta actualizada de los robots para evitar que el sitio aparezca en los motores de búsqueda:

<name='robots' content='noindex,nofollow' />.

Esta metaetiqueta solicita a los motores de búsqueda que excluyan la página de la indexación y los disuade de seguir rastreando el sitio web.

Excluyendo los servidores de desarrollo de los motores de búsqueda.

El método más efectivo para excluir sitios de desarrollo de ser indexados por los motores de búsqueda es incluir el HTTP Header X-Robots-Tag: noindex, nofollow cuando se sirven todos los activos para su sitio: imágenes, PDFs, vídeo y otros activos.

Reciente