# robots.txt для teplocentr.ua — версія 2026-07-22 # ═══════════════════════════════════════════════════════════════════ # ЗМІНИ ЦІЄЇ ВЕРСІЇ (2, обидві погоджені SEO — HANDOFFS 2026-07-22 10:10): # 1. − Disallow: /search/ — /search/ віддає 301 → /catalog/search/; # блокування заважало Googlebot побачити й обробити 301 (повільна # деіндексація старих /search/…). Індексацію результатів пошуку вже # закриває meta noindex у шаблоні catalog.search/main — перевірено наживо 21.07. # 2. + Disallow: /bitrix/redirect.php — 504 марних Googlebot-хіти/добу за # спам-goto на чужі домени (523×404/добу, розвідка 21.07). Відкритого # редиректу немає (усі зовнішні цілі→404), знімаємо витрату краулінг-бюджету. # SEO обрав варіант A (не 410/Tier C). Замір Googlebot до redirect.php ~30.07. # # ГЕЙТ БЕЗПЕКИ (чекліст §7 EXECUTION_PROTOCOL): НЕ блокувати /bitrix/js|css|fonts/, # /upload/; Allow після Disallow; обидва рядки Sitemap збережено. # # ДЕПЛОЙ (Tier B/C — супроводжуване SSH-вікно): # 1) scp поточний robots.txt у бекап: robots.txt.bak_2026-07-22 # 2) scp цей файл → /home/bitrix/www/robots.txt # 3) curl -s -A "Mozilla/5.0" https://teplocentr.ua/robots.txt | head -40 # 4) звірити: 2 рядки Sitemap на місці, /search/ зник, /bitrix/redirect.php додано, # Allow /bitrix/js|css|fonts/ цілі # ROLLBACK: scp robots.txt.bak_2026-07-22 → /home/bitrix/www/robots.txt # ═══════════════════════════════════════════════════════════════════ User-agent: * # Службові сторінки Bitrix — НЕ індексувати точково # ⚠️ НЕ блокуємо /bitrix/ повністю — /bitrix/js/ та /bitrix/css/ потрібні Googlebot для рендерингу Disallow: /bitrix/admin/ Disallow: /bitrix/components/ Disallow: /bitrix/modules/ Disallow: /bitrix/tools/ Disallow: /bitrix/php_interface/ Disallow: /bitrix/cache/ # Спам-мережа масово публікує /bitrix/redirect.php?goto=<чужий домен> під наш домен # (504 Googlebot-хіти/добу, усі → 404). Знімаємо з краулінг-бюджету. Погоджено SEO 2026-07-22. Disallow: /bitrix/redirect.php Allow: /bitrix/js/ Allow: /bitrix/css/ Allow: /bitrix/fonts/ Disallow: /local/ Disallow: /upload/tmp/ Disallow: /upload/iblock/tmp/ # Кошик, особистий кабінет, порівняння — НЕ індексувати Disallow: /basket/ Disallow: /personal/ Disallow: /compare.php Disallow: /ajax/ # Пошук переїхав на /catalog/search/ (301). Шлях /search/ НЕ блокуємо — щоб Googlebot # міг просканувати й обробити 301. Індексацію результатів закриває meta noindex # у шаблоні bitrix/templates/aspro_next/components/bitrix/catalog.search/main/ (перевірено наживо 21.07). # Технічні сторінки Disallow: /captcha.php Disallow: /404.php # Дозволено (explicit, для ясності) Allow: /catalog/ Allow: /sitemap.xml Allow: /upload/ Sitemap: https://teplocentr.ua/sitemap.xml Sitemap: https://teplocentr.ua/sitemap-static.xml