Редактирование robots.txt
robots.txt - файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться. Файл robots.txt может использоваться для указания расположения файла Sitemaps.xml
При установке TDSSE CMS файл robots.txt генерируется автоматически в нужном виде, в нем прописывается в нескольких местах домен, на котором идет установка.
Если вы в дальнейшем переносите CMS на другой домен - не забывайте перегенерить robots.txt , делается это методом запуска http://ВАШСАЙТ/admin.php?d=transfer , это перегенерит файлы .htaccess и robots.txt