robots.txt: настройки сканирования без бубна
Файл robots.txt – это текстовый файл, который позволяет управлять процессом сканирования веб-роботами (пауками) контента вашего сайта. Файл должен находиться в корневой папке сайта и содержать инструкции, которые сообщают роботам, какие…