{"id":27697,"date":"2019-10-29T12:00:41","date_gmt":"2019-10-29T12:00:41","guid":{"rendered":"https:\/\/rockcontent.com\/es\/robots-txt\/"},"modified":"2025-09-19T03:34:09","modified_gmt":"2025-09-19T06:34:09","slug":"robots-txt","status":"publish","type":"post","link":"https:\/\/pingback.com\/es\/resources\/robots-txt\/","title":{"rendered":"Conoce los archivos Robots.txt y c\u00f3mo usarlos correctamente en el SEO de tu sitio web"},"content":{"rendered":"\n<p>Asegurarse de que tu sitio aparezca en las b\u00fasquedas de los usuarios es esencial para el \u00e9xito de cualquier estrategia de <a href=\"https:\/\/pingback.com\/es\/resources\/marketing-digital\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\" (abre en una nueva pesta\u00f1a)\">Marketing Digital<\/a>.<\/p>\n<p>Para lograr este objetivo, es normal que inviertas en <a rel=\"noreferrer noopener\" aria-label=\" (abre en una nueva pesta\u00f1a)\" href=\"https:\/\/pingback.com\/es\/resources\/que-es-seo\/\" target=\"_blank\">estrategias de SEO<\/a>, <a rel=\"noreferrer noopener\" aria-label=\" (abre en una nueva pesta\u00f1a)\" href=\"https:\/\/pingback.com\/es\/resources\/marketing-de-contenidos\/\" target=\"_blank\">Marketing de Contenidos<\/a> y una serie de otras acciones que puedan atraer la atenci\u00f3n de los <a rel=\"noreferrer noopener\" aria-label=\"motores de b\u00fasqueda (abre en una nueva pesta\u00f1a)\" href=\"https:\/\/pingback.com\/es\/resources\/motores-de-busqueda\/\" target=\"_blank\">motores de b\u00fasqueda<\/a> y, por lo tanto, aumentar el <a href=\"https:\/\/pingback.com\/es\/resources\/trafico-web\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\"tr\u00e1fico de tu web (abre en una nueva pesta\u00f1a)\">tr\u00e1fico de tu web<\/a>.<\/p>\n<p>Sin embargo, seguro hay p\u00e1ginas en tu sitio que no deseas que rastreen los motores de b\u00fasqueda, como p\u00e1ginas de inicio de sesi\u00f3n y otras que tienen archivos que acceden exclusivamente a clientes o miembros de tu equipo.<\/p>\n<p>Para ayudarlo a ocultar estas p\u00e1ginas, existen los robots.txt.<\/p>\n<h2 class=\"wp-block-heading\">\u00bfQu\u00e9 es el archivo robots.txt?<\/h2>\n<p>Robots.txt es un archivo que debe guardarse en la carpeta ra\u00edz de tu sitio, e indica a los robots de b\u00fasqueda de <a rel=\"noreferrer noopener\" aria-label=\"Google (abre en una nueva pesta\u00f1a)\" href=\"https:\/\/pingback.com\/es\/resources\/quien-fundo-google\/\" target=\"_blank\">Google<\/a>, <a rel=\"noreferrer noopener\" aria-label=\"Bing (abre en una nueva pesta\u00f1a)\" href=\"https:\/\/pingback.com\/es\/resources\/caracteristicas-de-bing\/\" target=\"_blank\">Bing<\/a> y muchos otros a qu\u00e9 p\u00e1ginas de tu sitio no deseas que accedan estos <a href=\"https:\/\/pingback.com\/es\/resources\/buscadores-de-internet\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\"buscadores de Internet (abre en una nueva pesta\u00f1a)\">buscadores de Internet<\/a>.<\/p>\n<p>Y como su nombre lo indica, robots.txt es un archivo .txt que se puede crear en tu propio cuaderno, excluyendo la necesidad de una herramienta para crearlo.<\/p>\n<p>Robots.txt utiliza el formato est\u00e1ndar del Protocolo de Exclusi\u00f3n de Robots, un conjunto de comandos que los robots de b\u00fasqueda utilizan los directorios y p\u00e1ginas de tu sitio a los que no se debe acceder.<\/p>\n<p>Dado que el archivo se guarda directamente en la carpeta ra\u00edz del sitio, acceder a los archivos robots.txt desde otras p\u00e1ginas es bastante simple: <strong>basta con escribir la direcci\u00f3n de la p\u00e1gina en tu navegador y agregue el comando<\/strong> &#8220;\/robots.txt&#8221; al final de la <a rel=\"noreferrer noopener\" aria-label=\"URL (abre en una nueva pesta\u00f1a)\" href=\"https:\/\/pingback.com\/es\/resources\/acortadores-de-url\/\" target=\"_blank\">URL<\/a>.<\/p>\n<p>Hacerlo puede darte algunas ideas interesantes y hacerte saber algunas direcciones que tus competidores quieren ocultar de sus p\u00e1ginas.<\/p>\n<h2 class=\"wp-block-heading\">\u00bfPara qu\u00e9 sirve el archivo robots.txt?<\/h2>\n<p>Como dijimos, robots.txt sirve para dar \u00f3rdenes espec\u00edficas para buscar robots.<\/p>\n<p>Para que entiendas un poco mejor, hemos enumerado sus funciones espec\u00edficas.<\/p>\n<h3 class=\"wp-block-heading\">1. Controla el acceso a los archivos de imagen<\/h3>\n<p>Robots.txt puede evitar que los archivos de imagen de tu p\u00e1gina aparezcan en los resultados de b\u00fasqueda.<\/p>\n<p>Esto ayuda a controlar el acceso a cierta informaci\u00f3n importante, como <a href=\"https:\/\/pingback.com\/es\/resources\/como-hacer-una-infografia\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\" (abre en una nueva pesta\u00f1a)\">infograf\u00edas<\/a> y detalles t\u00e9cnicos del <a rel=\"noreferrer noopener\" aria-label=\"producto (abre en una nueva pesta\u00f1a)\" href=\"https:\/\/pingback.com\/es\/resources\/producto-en-el-marketing\/\" target=\"_blank\">producto<\/a>.<\/p>\n<p>Como no se muestran en los resultados de b\u00fasqueda, el usuario tendr\u00e1 la obligaci\u00f3n de acceder a tu p\u00e1gina, lo que puede ser m\u00e1s interesante para tu empresa.<\/p>\n<p>Sin embargo, es importante tener en cuenta que robots.txt no impide que otras p\u00e1ginas y usuarios copien y compartan los enlaces de tus im\u00e1genes.<\/p>\n<p>Hay otras herramientas para ayudarte en este objetivo.<\/p>\n<h3 class=\"wp-block-heading\">2. Controla el acceso a las p\u00e1ginas web<\/h3>\n<p>Tu p\u00e1gina tambi\u00e9n est\u00e1 compuesta de archivos que no son de imagen, que son las p\u00e1ginas web de tu propio <a href=\"https:\/\/pingback.com\/es\/resources\/que-es-un-dominio\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\"dominio (abre en una nueva pesta\u00f1a)\">dominio<\/a>.<\/p>\n<p>Adem\u00e1s de evitar que los robots de b\u00fasqueda accedan a p\u00e1ginas restringidas o irrelevantes para tu estrategia, el uso de robots.txt ayuda a evitar que el <a href=\"https:\/\/pingback.com\/es\/resources\/que-es-un-servidor\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\"servidor (abre en una nueva pesta\u00f1a)\">servidor<\/a> que aloja tu sitio se vea abrumado por los resultados de los motores de b\u00fasqueda, ayudando a tu empresa a ahorrar dinero.<\/p>\n<p>Sin embargo, es importante recordar que, al igual que con las <a href=\"https:\/\/pingback.com\/es\/resources\/optimizar-imagenes-para-web\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\"im\u00e1genes (abre en una nueva pesta\u00f1a)\">im\u00e1genes<\/a>, los usuarios a\u00fan pueden encontrar algunas de tus p\u00e1ginas si tienen un enlace directo a ellas.<\/p>\n<p>Esto lleva a un punto curioso: la informaci\u00f3n que intentas proteger con robots.txt puede volverse muy atractiva, casi como un reto, para usuarios con habilidades t\u00e9cnicas y una pizca de curiosidad. Por ejemplo, hay quienes exploran espec\u00edficamente los robots.txt de sitios para descubrir qu\u00e9 quieren ocultar, casi como si descifrar una especie de \u201cmapa del tesoro digital\u201d fuera una carrera. Ojo, no estoy diciendo que sea recomendable \u2014 solo que sucede, y m\u00e1s de lo que uno imagina en 2025.<\/p>\n<p>Claro, es comprensible querer poner barreras. Pero la verdad es que, en internet, las reglas t\u00e9cnicas no siempre se cumplen como esperamos. Una buena parte de la seguridad real acaba dependiendo de otras capas (contrase\u00f1as, permisos internos, incluso la propia estructura del sitio), porque robots.txt nunca fue pensado para ser un cerrojo definitivo. M\u00e1s bien es una se\u00f1al que funcionar\u00e1&#8230; bueno, siempre y cuando todos jueguen limpio.<\/p>\n<h3 class=\"wp-block-heading\">3. Bloquear el acceso a los archivos de recursos<\/h3>\n<p>Adem\u00e1s de bloquear im\u00e1genes y tus p\u00e1ginas web, robots.txt puede ser \u00fatil para bloquear el acceso a otras secuencias de comandos y archivos de estilo menos importantes, salvando tus servidores.<\/p>\n<p>Pero, tambi\u00e9n debes usar esta funci\u00f3n con precauci\u00f3n, especialmente si estas caracter\u00edsticas son indispensables para la carga correcta de tu p\u00e1gina, lo que puede dificultar el trabajo de los rastreadores y entorpecer el an\u00e1lisis de tu p\u00e1gina.<\/p>\n<h2 class=\"wp-block-heading\">\u00bfC\u00f3mo crear un archivo robots.txt?<\/h2>\n<p>Crear un archivo robots.txt es muy simple, solo requiere el conocimiento de unos pocos comandos espec\u00edficos.<\/p>\n<p>Este archivo se puede crear en el cuaderno de tu computadora u otro editor de texto de tu elecci\u00f3n.<\/p>\n<p>Tambi\u00e9n necesitar\u00e1s acceso a la carpeta ra\u00edz de tu dominio.<\/p>\n<p>Para crear un archivo robots.txt, debes acceder a la ra\u00edz de tu dominio, donde guardar\u00e1 el archivo que creaste.<\/p>\n<p>Despu\u00e9s de eso, necesitar\u00e1s conocer algunos de los comandos y la sintaxis de robots.txt.<\/p>\n<h2 class=\"wp-block-heading\">Cu\u00e1les son los comandos de robots.txt<\/h2>\n<p>Los comandos en robots.txt funcionan de manera similar a <a href=\"https:\/\/pingback.com\/es\/resources\/html\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\"HTML (abre en una nueva pesta\u00f1a)\">HTML<\/a> y los diversos <a rel=\"noreferrer noopener\" aria-label=\" (abre en una nueva pesta\u00f1a)\" href=\"https:\/\/pingback.com\/es\/resources\/tipos-de-lenguaje-de-programacion\/\" target=\"_blank\">lenguajes de programaci\u00f3n<\/a> en el mercado.<\/p>\n<p>Hay comandos que los robots seguir\u00e1n para navegar y encontrar las p\u00e1ginas de tu sitio.<\/p>\n<p>Estos son algunos de los comandos principales del archivo robots.txt:<\/p>\n<h3 class=\"wp-block-heading\">Comando de User-Agent<\/h3>\n<p>Puedes ingresar \u00f3rdenes espec\u00edficas para cada robot de b\u00fasqueda en el mercado en tu archivo robots.txt utilizando el comando User-agent para determinar a qu\u00e9 robot de b\u00fasqueda se refiere.<\/p>\n<p>Para conocer el nombre de cada User-agent, puedes consultar la <a href=\"https:\/\/www.robotstxt.org\/db.html\" rel=\"noreferrer noopener\" target=\"_blank\">base de datos de Web Robots<\/a>, que enumera los robots de los principales motores de b\u00fasqueda del mercado.<\/p>\n<p>El robot de b\u00fasqueda principal de Google es <a href=\"https:\/\/pingback.com\/es\/resources\/googlebot\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\" (abre en una nueva pesta\u00f1a)\">Googlebot<\/a>.<\/p>\n<p>Si quisieras darle \u00f3rdenes espec\u00edficas, el comando que ingres\u00f3 en tu robots.txt ser\u00eda este:<\/p>\n<p><strong>User-agent: Googlebot<\/strong><\/p>\n<p>Si quisieras dejar \u00f3rdenes espec\u00edficas para el robot de b\u00fasqueda de Bing, el comando ser\u00eda este:<\/p>\n<p><strong>User-agent: Bingbot<\/strong><\/p>\n<p>Como puedes ver, tienes simplemente que cambiar el nombre del User-agent.<\/p>\n<p>Y si deseas ingresar la direcci\u00f3n general que deben seguir todos los robots de b\u00fasqueda, simplemente reemplaza el nombre del User-agent con un asterisco. Ser\u00eda as\u00ed:<\/p>\n<p><strong>User-agent: *<\/strong><\/p>\n<h3 class=\"wp-block-heading\">Comando Disallow<\/h3>\n<p>El comando Disallow es responsable de describir qu\u00e9 p\u00e1ginas de directorio o sitios web no deben incluirse en los resultados de b\u00fasqueda.<\/p>\n<p>Al igual que el comando User-agent, simplemente ingresa la direcci\u00f3n de la p\u00e1gina despu\u00e9s del comando.<\/p>\n<p>Para guiar a los robots a que no accedan a la p\u00e1gina &#8220;beta.php&#8221; de tu sitio, el comando ser\u00eda este:<\/p>\n<p><strong>Disallow: \/beta.php<\/strong><\/p>\n<p>A\u00fan puedes evitar el acceso a carpetas espec\u00edficas.<\/p>\n<p>Si necesitara bloquear el acceso a la carpeta &#8220;archivos&#8221;, el comando ser\u00eda este:<\/p>\n<p><strong>Disallow: \/ archivos \/<\/strong><\/p>\n<p>Tambi\u00e9n se puede bloquear el acceso al contenido que comienza con una letra espec\u00edfica.<\/p>\n<p>Para bloquear el acceso a todas las carpetas y archivos que comienzan con la letra &#8220;a&#8221;, este ser\u00eda el comando:<\/p>\n<p><strong>Disallow: \/ a<\/strong><\/p>\n<h3 class=\"wp-block-heading\">Comando Allow<\/h3>\n<p>El comando Allow le permite determinar para los robots de b\u00fasqueda qu\u00e9 p\u00e1ginas o directorios de tu sitio desea <a href=\"https:\/\/pingback.com\/es\/resources\/indexacion-en-google\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\" (abre en una nueva pesta\u00f1a)\">indexar<\/a>.<\/p>\n<p>De manera predeterminada, todas las p\u00e1ginas de tu sitio se indexar\u00e1n, excepto cuando utilice el comando Allow.<\/p>\n<p>Por lo tanto, se recomienda usar el comando Allow solo cuando necesites bloquear una carpeta o directorio a trav\u00e9s del comando Allow, pero te gustar\u00eda haber indexado un archivo o carpeta espec\u00edfico que est\u00e1 dentro del directorio bloqueado.<\/p>\n<p>Si deseas bloquear el acceso a la carpeta &#8220;archivos&#8221; pero necesitas permitir el acceso a la p\u00e1gina &#8220;productos.php&#8221;, el comando se ver\u00eda as\u00ed:<\/p>\n<p><strong>Disallow: \/ archivos \/<\/strong><\/p>\n<p><strong>Allow: \/files\/products.php<\/strong><\/p>\n<p>Si deseas bloquear el acceso a la carpeta &#8220;archivos&#8221; pero necesitas permitir el acceso a la carpeta &#8220;proyectos&#8221;, el comando ser\u00eda as\u00ed:<\/p>\n<p><strong>Disallow: \/ archivos \/<\/strong><\/p>\n<p><strong>Allow: \/ archivos \/ proyectos \/<\/strong><\/p>\n<h3 class=\"wp-block-heading\">Comando del Sitemap<\/h3>\n<p>Otro comando \u00fatil para un archivo robots.txt es indicar el <a href=\"https:\/\/pingback.com\/es\/resources\/sitemap\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\" (abre en una nueva pesta\u00f1a)\">Sitemap<\/a> de tu p\u00e1gina, que es muy \u00fatil para ayudar a los robots de b\u00fasqueda a identificar todas las p\u00e1ginas de tu sitio.<\/p>\n<p>Sin embargo, es un comando que ha ca\u00eddo en desuso, principalmente debido a <a href=\"https:\/\/pingback.com\/es\/resources\/google-webmaster-tools\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\" (abre en una nueva pesta\u00f1a)\">Google Webmasters Tools<\/a>, que le permite informar r\u00e1pidamente la ubicaci\u00f3n de tu archivo de mapa del sitio y otras funciones.<\/p>\n<p>Para ingresar la direcci\u00f3n de tu Sitemap, debes haber guardado tu archivo de Sitemap guardado en la carpeta ra\u00edz de tu sitio. El comando para ingresar esta direcci\u00f3n en tu sitio es este:<\/p>\n<p>&nbsp;Sitemap:&nbsp;https:\/\/tusitioweb.com.mx\/sitemap.xml<\/p>\n<p>Si tu dominio es de otro pa\u00eds, debes reemplazar el c\u00f3digo web nacional de M\u00e9xico por el tuyo, como .ar o .co.<\/p>\n<h2 class=\"wp-block-heading\">\u00bfCu\u00e1les son las limitaciones de robots.txt?<\/h2>\n<p>Si bien es \u00fatil para dirigir el acceso del motor de b\u00fasqueda a tu p\u00e1gina, es importante reconocer que robots.txt tiene algunas limitaciones.<\/p>\n<p>Conocerlos es fundamental, especialmente para identificar la necesidad de usar otros dispositivos para que tus URL no se encuentren f\u00e1cilmente en las b\u00fasquedas.<\/p>\n<h3 class=\"wp-block-heading\">Las instrucciones del archivo Robots.txt son solamente directivas<\/h3>\n<p>Aunque el uso de robots.txt sea un est\u00e1ndar de la industria, los motores de b\u00fasqueda no est\u00e1n obligados a seguir todos tus pedidos.<\/p>\n<p>Esto significa que si bien los robots de b\u00fasqueda de Google siguen las instrucciones del archivo robots.txt, es posible que otros motores de b\u00fasqueda no hagan lo mismo.<\/p>\n<p>Por eso es importante que, adem\u00e1s del archivo robots.txt, uses otros m\u00e9todos en conjunto para ocultar tus p\u00e1ginas de Google, como el acceso protegido por contrase\u00f1a o el uso de metaetiquetas noindex en su c\u00f3digo html.<\/p>\n<p><biblioteca><strong>Estos contenidos tambi\u00e9n te pueden interesar  :<\/strong><br \/>\n   <a href=\"https:\/\/pingback.com\/es\/resources\/cdn\/\" target=\"_blank\"\" rel=\"noopener noreferrer\">CDN: descubre las ventajas de una red de distribuci\u00f3n de contenidos en tu sitio web<\/a><br \/>\n   <a href=\"https:\/\/pingback.com\/es\/resources\/mejorar-el-tiempo-de-carga\/\" target=\"_blank\"\" rel=\"noopener noreferrer\">Reduce el tiempo de carga de tu p\u00e1gina web con estas 11 t\u00e9cnicas clave<\/a><br \/>\n   <a href=\"https:\/\/pingback.com\/es\/resources\/wpo\/\" target=\"_blank\"\" rel=\"noopener noreferrer\">WPO: gu\u00eda completa para llevar el desempe\u00f1o de tu web a otro nivel<\/a><br \/>\n<\/biblioteca><\/p>\n<h3 class=\"wp-block-heading\">Cada robot de b\u00fasqueda puede interpretar la sintaxis de diferentes maneras<\/h3>\n<p>A pesar de seguir un est\u00e1ndar internacional, los comandos ingresados \u200b\u200ben robots.txt pueden ser interpretados de manera diferente por cada robot de b\u00fasqueda.<\/p>\n<p>Por lo tanto, para garantizar su uso correcto, es necesario conocer la sintaxis ideal para cada motor de b\u00fasqueda.<\/p>\n<p>Esto significa que, adem\u00e1s de comprender c\u00f3mo Google interpreta la informaci\u00f3n del archivo robots.txt, es posible que tambi\u00e9n necesites aprender la metodolog\u00eda de Bing, Yahoo y cualquier otro motor de b\u00fasqueda en el mercado.<\/p>\n<h3 class=\"wp-block-heading\">Las directrices de Robots.txt no impiden que otros sitios hagan referencia a tus URL<\/h3>\n<p>Un error muy com\u00fan es pensar que un contenido bloqueado por robots.txt no puede ser encontrado de otras maneras por los usuarios o por tus competidores.<\/p>\n<p>Por esta raz\u00f3n, si una URL restringida puede ser revelada en otros sitios web o <a href=\"https:\/\/pingback.com\/es\/resources\/como-crear-un-blog\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\"blogs (abre en una nueva pesta\u00f1a)\">blogs<\/a>, esta p\u00e1gina a\u00fan puede aparecer en los resultados de b\u00fasqueda.<\/p>\n<p>Es por eso que es esencial insertar la etiqueta noindex e incluso bloquear el acceso con contrase\u00f1a para garantizar que nadie tenga acceso a tu p\u00e1gina.<\/p>\n<h3 class=\"wp-block-heading\">Puede ser necesario dar \u00f3rdenes espec\u00edficas para cada robot de b\u00fasqueda<\/h3>\n<p>Algunos robots de b\u00fasqueda siguen tus propias reglas y l\u00f3gica, lo que puede terminar exigi\u00e9ndote que determines reglas espec\u00edficas para cada uno en tu archivo robots.txt.<\/p>\n<p>Y adem\u00e1s de aumentar tu carga de trabajo, esto puede provocar errores al crear tus archivos.<\/p>\n<p>Por lo tanto, ten mucho cuidado al establecer reglas para robots espec\u00edficos, asegur\u00e1ndose de que las instrucciones sean claras para cada robot.<\/p>\n<p>Ahora que sabes qu\u00e9 es y c\u00f3mo crear un archivo robots.txt, la administraci\u00f3n de tu sitio ser\u00e1 m\u00e1s f\u00e1cil al garantizar que solo los robots de b\u00fasqueda visiten las p\u00e1ginas importantes para tu negocio.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Robots.txt son archivos utilizados para favorecer la navegaci\u00f3n de un algoritmo de b\u00fasqueda en un sitio web, orientando cu\u00e1les p\u00e1ginas deben ser indexadas en los buscadores y controlando las p\u00e1ginas a las que el robot del motor de b\u00fasqueda no debe acceder.<\/p>\n","protected":false},"author":1,"featured_media":17883,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[17,34],"tags":[],"class_list":["post-27697","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-marketing","category-seo"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v25.5 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Robots TXT: descubre qu\u00e9 es este archivo y c\u00f3mo crear uno<\/title>\n<meta name=\"description\" content=\"Robots.txt son archivos que puedes a\u00f1adir al c\u00f3digo de tus p\u00e1ginas web para orientar la navegaci\u00f3n de los algoritmos de b\u00fasqueda en tu dominio.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/pingback.com\/es\/resources\/robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"pt_BR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Robots TXT: descubre qu\u00e9 es este archivo y c\u00f3mo crear uno\" \/>\n<meta property=\"og:description\" content=\"Robots.txt son archivos que puedes a\u00f1adir al c\u00f3digo de tus p\u00e1ginas web para orientar la navegaci\u00f3n de los algoritmos de b\u00fasqueda en tu dominio.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/pingback.com\/es\/resources\/robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"Pingback\" \/>\n<meta property=\"article:published_time\" content=\"2019-10-29T12:00:41+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2025-09-19T06:34:09+00:00\" \/>\n<meta name=\"author\" content=\"Carolina\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Carolina\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. tempo de leitura\" \/>\n\t<meta name=\"twitter:data2\" content=\"9 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/pingback.com\/es\/resources\/robots-txt\/\",\"url\":\"https:\/\/pingback.com\/es\/resources\/robots-txt\/\",\"name\":\"Robots TXT: descubre qu\u00e9 es este archivo y c\u00f3mo crear uno\",\"isPartOf\":{\"@id\":\"https:\/\/pingback.com\/es\/resources\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/pingback.com\/es\/resources\/robots-txt\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/pingback.com\/es\/resources\/robots-txt\/#primaryimage\"},\"thumbnailUrl\":\"\",\"datePublished\":\"2019-10-29T12:00:41+00:00\",\"dateModified\":\"2025-09-19T06:34:09+00:00\",\"author\":{\"@id\":\"https:\/\/pingback.com\/es\/resources\/#\/schema\/person\/dfeb4821f4dc8d642d3b107d5e7294c2\"},\"description\":\"Robots.txt son archivos que puedes a\u00f1adir al c\u00f3digo de tus p\u00e1ginas web para orientar la navegaci\u00f3n de los algoritmos de b\u00fasqueda en tu dominio.\",\"breadcrumb\":{\"@id\":\"https:\/\/pingback.com\/es\/resources\/robots-txt\/#breadcrumb\"},\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/pingback.com\/es\/resources\/robots-txt\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/pingback.com\/es\/resources\/robots-txt\/#primaryimage\",\"url\":\"\",\"contentUrl\":\"\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/pingback.com\/es\/resources\/robots-txt\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"In\u00edcio\",\"item\":\"https:\/\/pingback.com\/es\/resources\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Conoce los archivos Robots.txt y c\u00f3mo usarlos correctamente en el SEO de tu sitio web\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/pingback.com\/es\/resources\/#website\",\"url\":\"https:\/\/pingback.com\/es\/resources\/\",\"name\":\"Pingback Blog Espa\u00f1ol: Marketing for builders\",\"description\":\"Marketing for builders\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/pingback.com\/es\/resources\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"pt-BR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/pingback.com\/es\/resources\/#\/schema\/person\/dfeb4821f4dc8d642d3b107d5e7294c2\",\"name\":\"Carolina\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/pingback.com\/es\/resources\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/70cde532238b4f8bf4a6e7e589ff0a259eda38fa966564ca7ed7d23e61c27774?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/70cde532238b4f8bf4a6e7e589ff0a259eda38fa966564ca7ed7d23e61c27774?s=96&d=mm&r=g\",\"caption\":\"Carolina\"},\"sameAs\":[\"https:\/\/pingback.com\"],\"url\":\"https:\/\/pingback.com\/es\/resources\/author\/adm1n\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Robots TXT: descubre qu\u00e9 es este archivo y c\u00f3mo crear uno","description":"Robots.txt son archivos que puedes a\u00f1adir al c\u00f3digo de tus p\u00e1ginas web para orientar la navegaci\u00f3n de los algoritmos de b\u00fasqueda en tu dominio.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/pingback.com\/es\/resources\/robots-txt\/","og_locale":"pt_BR","og_type":"article","og_title":"Robots TXT: descubre qu\u00e9 es este archivo y c\u00f3mo crear uno","og_description":"Robots.txt son archivos que puedes a\u00f1adir al c\u00f3digo de tus p\u00e1ginas web para orientar la navegaci\u00f3n de los algoritmos de b\u00fasqueda en tu dominio.","og_url":"https:\/\/pingback.com\/es\/resources\/robots-txt\/","og_site_name":"Pingback","article_published_time":"2019-10-29T12:00:41+00:00","article_modified_time":"2025-09-19T06:34:09+00:00","author":"Carolina","twitter_card":"summary_large_image","twitter_misc":{"Escrito por":"Carolina","Est. tempo de leitura":"9 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/pingback.com\/es\/resources\/robots-txt\/","url":"https:\/\/pingback.com\/es\/resources\/robots-txt\/","name":"Robots TXT: descubre qu\u00e9 es este archivo y c\u00f3mo crear uno","isPartOf":{"@id":"https:\/\/pingback.com\/es\/resources\/#website"},"primaryImageOfPage":{"@id":"https:\/\/pingback.com\/es\/resources\/robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/pingback.com\/es\/resources\/robots-txt\/#primaryimage"},"thumbnailUrl":"","datePublished":"2019-10-29T12:00:41+00:00","dateModified":"2025-09-19T06:34:09+00:00","author":{"@id":"https:\/\/pingback.com\/es\/resources\/#\/schema\/person\/dfeb4821f4dc8d642d3b107d5e7294c2"},"description":"Robots.txt son archivos que puedes a\u00f1adir al c\u00f3digo de tus p\u00e1ginas web para orientar la navegaci\u00f3n de los algoritmos de b\u00fasqueda en tu dominio.","breadcrumb":{"@id":"https:\/\/pingback.com\/es\/resources\/robots-txt\/#breadcrumb"},"inLanguage":"pt-BR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/pingback.com\/es\/resources\/robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/pingback.com\/es\/resources\/robots-txt\/#primaryimage","url":"","contentUrl":""},{"@type":"BreadcrumbList","@id":"https:\/\/pingback.com\/es\/resources\/robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"In\u00edcio","item":"https:\/\/pingback.com\/es\/resources\/"},{"@type":"ListItem","position":2,"name":"Conoce los archivos Robots.txt y c\u00f3mo usarlos correctamente en el SEO de tu sitio web"}]},{"@type":"WebSite","@id":"https:\/\/pingback.com\/es\/resources\/#website","url":"https:\/\/pingback.com\/es\/resources\/","name":"Pingback Blog Espa\u00f1ol: Marketing for builders","description":"Marketing for builders","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/pingback.com\/es\/resources\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"pt-BR"},{"@type":"Person","@id":"https:\/\/pingback.com\/es\/resources\/#\/schema\/person\/dfeb4821f4dc8d642d3b107d5e7294c2","name":"Carolina","image":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/pingback.com\/es\/resources\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/70cde532238b4f8bf4a6e7e589ff0a259eda38fa966564ca7ed7d23e61c27774?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/70cde532238b4f8bf4a6e7e589ff0a259eda38fa966564ca7ed7d23e61c27774?s=96&d=mm&r=g","caption":"Carolina"},"sameAs":["https:\/\/pingback.com"],"url":"https:\/\/pingback.com\/es\/resources\/author\/adm1n\/"}]}},"_links":{"self":[{"href":"https:\/\/pingback.com\/es\/resources\/wp-json\/wp\/v2\/posts\/27697","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/pingback.com\/es\/resources\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/pingback.com\/es\/resources\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/pingback.com\/es\/resources\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/pingback.com\/es\/resources\/wp-json\/wp\/v2\/comments?post=27697"}],"version-history":[{"count":4,"href":"https:\/\/pingback.com\/es\/resources\/wp-json\/wp\/v2\/posts\/27697\/revisions"}],"predecessor-version":[{"id":45539,"href":"https:\/\/pingback.com\/es\/resources\/wp-json\/wp\/v2\/posts\/27697\/revisions\/45539"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/pingback.com\/es\/resources\/wp-json\/"}],"wp:attachment":[{"href":"https:\/\/pingback.com\/es\/resources\/wp-json\/wp\/v2\/media?parent=27697"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/pingback.com\/es\/resources\/wp-json\/wp\/v2\/categories?post=27697"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/pingback.com\/es\/resources\/wp-json\/wp\/v2\/tags?post=27697"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}