# Las reglas de Cloudflare se insertan arriba automaticamente User-agent: * # Bloqueo de seguridad para que Google no se pierda en logins Disallow: /accounts/ Disallow: /admin/ Disallow: /panel/ Disallow: /api/ # Salida a tiendas de afiliados (TradeTracker, Awin): que los robots no la sigan Disallow: /ir/ Disallow: /ckeditor5/ Disallow: /i18n/ Disallow: *?next= # Zonas de usuario Disallow: /es/notificaciones/ Disallow: /en/notifications/ Disallow: /es/configuracion/ Disallow: /en/settings/ # Perfiles publicos: la ficha si se indexa (se comparte y se enlaza desde las # firmas del blog). Las subpaginas no: son formularios, acciones POST y listas # de seguidores, que no aportan nada en busqueda y gastan presupuesto de rastreo. # Los segmentos van en castellano tambien en /en/: apps/users/urls.py no los # traduce. Disallow: /es/perfil/*/editar/ Disallow: /es/perfil/*/seguir/ Disallow: /es/perfil/*/seguidores/ Disallow: /es/perfil/*/siguiendo/ Disallow: /es/perfil/*/experiencia/ Disallow: /es/perfil/*/educacion/ Disallow: /es/perfil/api/ Disallow: /en/profile/*/editar/ Disallow: /en/profile/*/seguir/ Disallow: /en/profile/*/seguidores/ Disallow: /en/profile/*/siguiendo/ Disallow: /en/profile/*/experiencia/ Disallow: /en/profile/*/educacion/ Disallow: /en/profile/api/ # Comunidad: la ficha de cada pregunta si se rastrea. No se rastrean los # formularios (preguntar, denunciar) ni las rutas de accion sobre respuestas y # comentarios, ni la lista de las que esperan respuesta, que es una pagina cuyo # contenido es que todavia no hay respuestas. Ojo con el prefijo # /foro/respuesta/: lleva barra final a proposito, para no bloquear una # pregunta cuyo slug empiece por "respuesta-". Disallow: /es/foro/preguntar/ Disallow: /en/forum/preguntar/ Disallow: /es/foro/*/denunciar/ Disallow: /en/forum/*/denunciar/ Disallow: /es/foro/respuesta/ Disallow: /en/forum/respuesta/ Disallow: /es/foro/comentario/ Disallow: /en/forum/comentario/ Disallow: /es/foro/*? Disallow: /en/forum/*? Allow: /es/foro/*?page= Allow: /en/forum/*?page= # Evitar parametros de busqueda Disallow: /es/comparador/buscar/ Disallow: /en/comparator/search/ # Filtros de categoria (marca, especificaciones, orden, rango...). Cada # combinacion es una URL distinta y los nombres de los filtros de specs varian, # asi que un rastreador puede generar miles sin salir de una categoria. Todas # llevan canonical a la categoria sin parametros, de modo que no se pierde # nada en indexacion; solo se evita el gasto de rastreo (y de transferencia del # plan de Render: el HTML no lo cachea Cloudflare). La paginacion si se rastrea. Disallow: /es/comparador/categoria/*? Disallow: /en/comparator/category/*? Allow: /es/comparador/categoria/*?page= Allow: /en/comparator/category/*?page= # Bots de IA (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, # PerplexityBot, Google-Extended, CCBot...): PERMITIDOS a proposito (decision # del 19-09-2026). La web quiere aparecer en respuestas de asistentes y que los # agentes puedan navegar el comparador. No llevan grupo propio: un bot con # grupo propio ignora el de "*" y perderia los Disallow de arriba. Guia para # ellos en /llms.txt. # Rastreadores de SEO de terceros. No traen ni una visita: rastrean para # revender los datos, y a cambio se llevan ancho de banda del plan (cada ficha # del comparador son ~14 KB). Los dos respetan robots.txt, asi que basta con # pedirlo. Bloquear "SemrushBot" cubre tambien sus variantes (-BA, -SI, -SWA...). User-agent: MJ12bot Disallow: / User-agent: SemrushBot Disallow: / # Sitemap Sitemap: https://sonidoenred.com/sitemap.xml