Как настроить robots.txt для OpenCart

Краткое описание задачи

Неправильный robots.txt — одна из частых причин проблем с индексацией OpenCart. Закроете не то — товары пропадут из поиска. Откроете лишнее — в индекс попадут корзина, админка и служебные страницы. Разберём, как собрать правильный robots.txt для OpenCart.

Общий принцип

robots.txt — не инструмент защиты, а рекомендация поисковику. Задача: закрыть от индексации то, что не нужно показывать в поиске, и открыть всё остальное. В OpenCart нужно закрывать:

• системные папки (admin, system, catalog);
• кэш изображений (image/cache);
• служебные страницы (корзина, кабинет, сравнение);
• технические параметры (sort, order, page, filter);
• страницы с UTM-метками (отдельно оговариваются).

Готовый robots.txt для OpenCart 3

User-agent: *
Disallow: /admin/
Disallow: /system/
Disallow: /catalog/
Disallow: /image/cache/
Disallow: /index.php?route=checkout/
Disallow: /index.php?route=account/
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/search
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=1

Allow: /

Sitemap: https://yoursite.com/sitemap.xml

Пояснения к правилам

/admin/, /system/, /catalog/ — системные папки, им не место в поиске. /image/cache/ — в OpenCart все обработанные изображения сохраняются туда. Там могут быть тысячи файлов, поисковик потратит краулинговый бюджет впустую. checkout, account — страницы, на которые пользователи идут после клика, а не из поиска. sort, page=1 — параметры, создающие дубли.

Как найти и исправить ошибки в OpenCart?
Подробный разбор — в этом разделе.

Антон Баринов — разработчик интернет-магазинов на OpenCart с 2009 года, основатель opencart-cms.ru.

Ошибки, которые ломают индексацию

Рекомендации из практики

Как лучше: Закрывайте от индексации служебные разделы: админку, корзину, кабинет пользователя, страницы поиска и фильтров.

Как не делать: Не добавляйте в robots.txt запрет на целые папки вроде /index.php?route= — это может заблокировать товары и категории.

Кейс из практики: В robots.txt магазина был закрыт весь раздел /index.php. Через месяц заметили падение трафика. Оказалось, товары открывались через index.php?route=product/product. После точечной настройки правил трафик восстановился за 2 недели.

По практике, robots.txt должен закрывать мусор, но не мешать индексации товаров. Закажите технический аудит SEO

Как проверить robots.txt

Откройте в браузере https://yoursite.com/robots.txt — файл должен отдаваться, а не возвращать 404. Затем зайдите в Яндекс.Вебмастер → Инструменты → Анализ robots.txt, подставьте URL товара и категории — проверьте, что они помечены как «Разрешено к индексированию».

Частые вопросы

Можно ли закрыть дубли страниц через robots.txt?

Для системных дублей (страницы корзины, админки) — да. Для товаров, доступных в нескольких категориях — нет, там нужен canonical.

Как часто нужно обновлять robots.txt?

При изменении структуры: добавили новый раздел, установили модуль со своими роутами, сменили CMS. В обычном режиме — раз в год достаточно.

robots.txt или .htaccess — что использовать?

Разные задачи. robots.txt просит поисковик не индексировать, .htaccess запрещает доступ. Для товаров используйте robots.txt, для админки — оба.

Я занимаюсь разработкой на OpenCart с 2009 года, запустил больше 150 проектов. Через мои руки прошли магазины от маленьких витрин до каталогов на 50 000 товаров. Знаю CMS вдоль и поперёк: slow-логи MySQL, конфликты OCMOD-модификаторов, грабли с SEO URL. Если у вас есть вопрос — пишите, подскажу.

Итог

robots.txt для OpenCart = закрыть служебные папки и параметры + указать Sitemap. Проверяйте после каждого обновления. Без правильного robots.txt поисковик тратит бюджет на мусорные страницы вместо ваших товаров.