Hace aproximadamente un mes, ayudé a crear un sitio de desarrollo para el sitio web de una empresa. El propósito del sitio «dev» era actuar como un duplicado en vivo del sitio original para que mi equipo pudiera probar diferentes plugins en este sitio clonado en lugar de jugar con el sitio web principal o confiar en una versión local.

Como es la práctica estándar, me aseguré de marcar la casilla mystical Search Engine Visibility en WordPress en Settings > Reading > Discourage search engines from indexing this site. Hay una pequeña cláusula de exención de responsabilidad bajo esta caja que dice: «Depende de los motores de búsqueda honrar esta petición». Y ahí es donde empezó el problema.

Este descargo de responsabilidad es la razón por la que originalmente necesitaba aprender a desindexar páginas de Google.

Cómo Desindexar un Sitio de Google

No soy un novato cuando se trata de SEO. De hecho, me considero experto en ello.

Sé que al hacer clic en esa pequeña caja de visibilidad del motor de búsqueda en WordPress se añade la etiqueta meta noindex al encabezado de todas las páginas de un sitio.

<meta name="robots" content="noindex">

Sin embargo, meta robots es más una sugerencia que una directiva. Los robots de los motores de búsqueda tienen que rastrear sus páginas para ver la etiqueta de los meta robots, y ellos deciden si siguen o no su sugerencia en ese momento.

No estaba al tanto de que el sitio de desarrollo estaba siendo indexado hasta una de nuestras reuniones internas de marketing. Le hice saber al equipo sobre el sitio de desarrollo, y que estábamos probando algunas nuevas funcionalidades.

De todas las personas, el dueño me detiene para preguntarme, «¿Está noindexado?»

Por supuesto que dije que sí. Incluso yo mismo había comprobado que el meta noindex se había añadido a las páginas. Hizo un breve sitio: buscar para comprobar si el sitio web estaba apareciendo en Google. Por supuesto, 40 páginas del sitio de desarrollo estaban siendo indexadas.

En caso de que alguna vez estés en esta situación exacta, el primer paso es poner tu cabeza en tus manos y gemir, «Nooooooo», mientras te avergüenzas.

El segundo paso es desindexar el sitio de Google.

1. Use Robots.txt

Me preocupaba que no se permitieran todas las páginas del archivo robots.txt para el sitio. Después de todo, ¿Cómo sabrá Google que hay que rastrear las páginas y ver que estamos solicitando que no se nos siga si Google no puede rastrearlas en absoluto?

Me di cuenta de que a las arañas de Google ya se les había dado esa oportunidad e ignoré mi etiqueta meta noindex, así que eso no fue un factor.

Inmediatamente añadí la siguiente directiva al archivo robots.txt del sitio de desarrollo:

User-agent: *Disallow: /

Esto bloquea a todos los bots de rastrear un sitio. Sin embargo, esto por sí solo no eliminará una página de Google.

2. Verify Search Console

Quería evitar que se añadiera otra propiedad a Search Console, pero este es el siguiente paso.

Quería poder utilizar la herramienta de eliminación de URL en Google Search Console, por lo que tenía que verificar el sitio de dev.

3. Herramienta de Eliminación de URL en Google

Navega hasta Google Index > elimina las URL y sigue las instrucciones.

Solo puedes eliminar las páginas que residan en el subdominio de tu propiedad de Google Search Console. Esto seguramente cambiará (si no lo ha hecho ya) en la nueva versión de la Consola de Búsqueda, donde se dice que es más fácil verificar todos los subdominios y versiones de un dominio de una sola vez.

Con la herramienta de eliminación de URL, puedes solicitar la eliminación de páginas individuales, de carpetas completas o de todo tu subdominio. Yo elegí el subdominio completo, pero puedes cambiarlo según tus necesidades.

4. Verifica que las Páginas estén Desindexadas

El último paso para eliminar las páginas antiguas de los resultados de búsqueda de Google es simplemente comprobar que las páginas se hayan eliminado.

Puedes utilizar los operadores de búsqueda avanzada de Google para comprobar los resultados.

Por ejemplo, he utilizado el operador site:dev.midominio.com para verificar que se haya eliminado todo el subdominio de desarrollo.

Si estás comprobando que se ha eliminado una página específica, puedes utilizar info:midominio.com/página específica/. Si los resultados de su búsqueda están en blanco, significa que su página ya no está en el índice y que ha tenido éxito.