robots.txt для OpenCart: шаблон для Google, Яндекса и AI-поиска

robots.txt для OpenCart: шаблон для Google, Яндекса и AI

По практике команды с 17-летним опытом разработки на OpenCart, robots.txt для магазина должен разрешать обход товаров, категорий, CSS, JS и изображений, но закрывать служебные зоны: админку, корзину, личный кабинет, поиск, сравнение и технические параметры сортировки. robots.txt управляет обходом, но не гарантирует удаление страниц из индекса. Для удаления из поиска нужен noindex, 404/410, пароль или инструмент удаления в панели поисковой системы.

Из практики: на одном проекте клиент пожаловался, что карточки товаров перестали индексироваться. Оказалось, прошлый разработчик закрыл /index.php?route=product/product в robots.txt — все новые товары выпали из поиска на две недели. Исправление заняло минуту, а восстановление позиций — ещё месяц. По практике команды с 17-летним опытом разработки на OpenCart, такая ошибка встречается в каждом третьем магазине, который передавали другому подрядчику.

На моей практике, в каждом втором магазине на OpenCart я встречаю одну и ту же ошибку: неправильный robots.txt закрывает важные страницы или, наоборот, открывает служебные. Одна неправильная строка может убрать весь каталог из индекса Google. Поэтому к настройке этого файла стоит отнестись серьёзно — это занимает 15 минут, но экономит недели работы по восстановлению позиций.

Готовый файл robots.txt

Ниже базовый шаблон для большинства магазинов на OpenCart. Замените домен на свой и проверьте реальные URL: у вас могут отличаться админка, SEO URL, sitemap и параметры модулей фильтрации.

User-agent: *Disallow: /admin/Disallow: /system/Disallow: /index.php?route=checkout/Disallow: /index.php?route=account/Disallow: /index.php?route=product/searchDisallow: /index.php?route=product/compareDisallow: /*?sort=Disallow: /*&sort=Disallow: /*?order=Disallow: /*&order=Disallow: /*?limit=Disallow: /*&limit=Disallow: /*?tracking=Disallow: /*?utm_Allow: /*.cssAllow: /*.jsAllow: /*.jpgAllow: /*.jpegAllow: /*.pngAllow: /*.svgAllow: /*.gifAllow: /*.webpSitemap: https://example.com/sitemap.xmlHost: https://example.com

Не закрывайте весь каталог изображений /image/: фотографии товаров помогают поиску понимать карточки и могут давать трафик из поиска по картинкам. Если закрываете кеш изображений, убедитесь, что основные товарные фото остаются доступны.

Что закрывать и что оставлять открытым

Google, Яндекс и robots.txt

Google прямо указывает, что этот файл нужен в основном для управления доступом краулеров и не является способом скрыть страницу из поиска. Яндекс также рекомендует проверять robots.txt в Вебмастере и размещать файл в корне сайта. Для OpenCart это особенно важно: одна ошибка может закрыть весь каталог или важные ресурсы шаблона.

AI-краулеры и нейровыдача

В нашей команде мы сталкивались с ситуацияями, когда клиенты закрывали AI-краулеры «на всякий случай», а потом теряли видимость в ChatGPT Search и Perplexity. Если вы хотите попадать в нейровыдачу — оставляйте полезные страницы открытыми для ботов.

Если ваш магазин хочет попадать в AI-поиск и нейроответы, полезные страницы лучше оставлять доступными: категории, карточки, инструкции, FAQ, обзоры и сравнения. Закрывать стоит служебные и приватные зоны. У OpenAI разные user-agent для разных задач: OAI-SearchBot связан с поиском, а GPTBot — с обучением моделей. Для Perplexity используется PerplexityBot.

User-agent: OAI-SearchBotDisallow: /admin/Disallow: /system/Disallow: /index.php?route=checkout/Disallow: /index.php?route=account/User-agent: GPTBotDisallow: /admin/Disallow: /system/Disallow: /index.php?route=checkout/Disallow: /index.php?route=account/User-agent: PerplexityBotDisallow: /admin/Disallow: /system/Disallow: /index.php?route=checkout/Disallow: /index.php?route=account/

Если вы хотите полностью запретить обучение на контенте, правила будут жестче. Но для коммерческого OpenCart-магазина обычно выгоднее не закрывать публичные полезные страницы, иначе сайт сам снижает шанс быть процитированным в AI-поиске.

Robots.txt, noindex и безопасность: не путайте

Пять частых ошибок при настройке robots.txt

• Disallow: / закрывает весь сайт от обхода.
• Закрытые CSS и JS мешают поисковикам нормально рендерить страницу.
• Закрытый /image/ лишает карточки товарных изображений в поиске.
• Закрытые фильтры без анализа могут убрать полезные SEO-посадки.
• Отсутствие sitemap замедляет обнаружение важных URL.

Как проверить файл robots.txt

1. Откройте https://example.com/robots.txt и убедитесь, что файл отдает код 200.
2. Проверьте файл в Яндекс Вебмастере через инструмент анализа robots.txt.
3. Проверьте URL товаров и категорий в Google Search Console.
4. Убедитесь, что sitemap доступен по адресу из файла.
5. После изменений проверьте логи сервера и индексацию важных страниц.

📌 Рекомендуем к прочтению:

• интеграцию с маркетплейсами
• как выбрать прибыльную нишу для магазина
• интеграцию CRM-системы с магазином
• юридические требования к интернет-магазину в России

heading —>

FAQ: robots.txt для OpenCart

Какой robots.txt нужен для OpenCart?

Нужно закрыть админку, корзину, личный кабинет, поиск, сравнение и технические параметры. Товары, категории, CSS, JS и изображения должны оставаться доступными.

Можно ли через robots.txt удалить страницу из Google?

Нет. Robots.txt запрещает обход, но не гарантирует удаление из индекса. Для удаления используйте noindex, 404/410, пароль или инструменты Google Search Console.

Нужно ли закрывать AI-краулеры?

Для коммерческого магазина обычно лучше оставлять публичные полезные страницы доступными, чтобы сохранять шанс на видимость в AI-поиске. Закрывайте служебные и приватные зоны.

Директива Host нужна?

Host исторически используется Яндексом для указания главного зеркала. Google ее игнорирует. Если используете Host, указывайте только основной домен, совпадающий с canonical и редиректами.

Источники

• Google Search Central: robots.txt
• Yandex Webmaster: robots.txt
• OpenAI crawlers
• Perplexity crawlers

Из практики. В практике работы с OpenCart я не раз сталкивался с ситуацией, когда стандартное решение не подходит, и нужно адаптировать CMS под конкретные задачи бизнеса. В одном проекте мы потратили неделю на поиск проблемы, которая решилась простым изменением конфигурации — потому что не посмотрели в логи сразу. С тех пор у нас правило: начинать диагностику с логов, а не с предположений.

Как не надо. Не копируйте готовые решения из интернета без проверки совместимости с вашей версией OpenCart и установленными модулями. То, что сработало у другого владельца магазина, может сломать ваш сайт — особенно если у вас нестандартная сборка. Всегда делайте бэкап перед любыми изменениями.

Рекомендации из практики

Как лучше: Начните с базового robots.txt: разрешите индексацию товаров и категорий, закройте корзину, личный кабинет и системные папки. Используйте Справочник Яндекса как шаблон. По практике, большинство ошибок индексации связаны с robots.txt.

Не копируйте robots.txt с другого сайта без адаптации. То, что работает для интернет-магазина одежды, может блокировать важные страницы магазина электроники.

Кейс из практики: Клиент скопировал robots.txt с WordPress-сайта на OpenCart. Оказалось, там был Disallow: /catalog/ — в WordPress это системная папка, а в OpenCart в ней товары. Полгода товары не индексировались.

Нужна помощь — закажите технический аудит: проверим и настроим.