Многие пользуясь движком Dle и не задумываются об оптимизации файлов Robots.txt и .htaccess . Это очень важный момент и его надо реализовать еще до индексации сайта поисковиками.Смысл заключается в том, чтоб заставить робота индексировать новости , а не всякие не нужные ссылки , страницы. В нем необходимо установить запреты на индексацию не имеющих смысловой нагрузки страниц, страниц с дублями контента и прочих страниц, далеко не способствующих продвижению сайта.
1. Настройка Robots.txt для DLE.
Итак приступим , для начала оптимизируем файл Robots.txt. Этот файл расположен (должен находится) в корневом каталоге сайта. , ниже изображение:
Установка:
Код Открыть файл Robots.txt и удалить старый код и установить новый отредактированный под себя код либо создать новый файл(он расположен ниже).
User-agent: * Disallow: /*print Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /tags/ Disallow: /page/ Host: Ваш_сайт Sitemap: http://Ваш_сайт/sitemap.xml
В последствии мы избавляемся от внешних и внутренних дублей, ненужных ссылок. Задаём местонахождение карты сайта и хост.
Не забудьте заменить Ваш_сайт на адрес своего сайта.
2. Настройка .htaccess для DLE.
Это файл расположен тоже в корне сайта(ниже изображение). С помощью его мы настроим web-server , а точней настроим редиректы , то есть формирование url.
Установка:
Открываем файл, находим 2 строки (они вверху):
Код DirectoryIndex index.php RewriteEngine On
Заменяем их на следующий код , больше не чего не надо трогать:
Код RewriteEngine On Options +Indexes Options +FollowSymLinks # Редирект для категорий (чтобы в конце URL был /) RewriteBase / RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteCond %{REQUEST_URI} !-f RewriteCond %{REQUEST_URI} !/$ RewriteCond %{REQUEST_URI} !.html$ RewriteCond %{REQUEST_URI} !.xml$ RewriteRule (.+) $1/ [R=301,L] # Редирект c www на без www RewriteCond %{HTTP_HOST} ^www.site.ru RewriteRule ^(.*)$ http://site.ru/$1 [R=permanent,L] # Редирект для главной (с /index.php,html на /) RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.html HTTP/ RewriteRule ^index.html$ / [R=301,L] RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.php HTTP/ RewriteRule ^index.php$ / [R=301,L]
Не забудьте заменить сайт.ру на адрес вашего сайта.
Теперь имеем результат:
1) Все адреса страницы на конце будут со слешем (/) – для удаления из индекса разных url.
2) Основным хостом сайта задаётся адрес вашего сайта без www.
3) Устанавливаем ,что со всех второстепенных адресов главной страницы (сайт.ру /index.php, www.сайт.ру и www.сайт.ру /index.php) на один – сайт.ру .
| 
