Каждый блогер, который ведет свой блог на платформе wordpress должен заботиться об правильной оптимизации своего дневника поисковыми системами. Не правильная оптимизация своего сайта может привести к тому, что поисковые системы не смогут правильно индексировать ваш сайт,а это заметно уменьшит трафик с поисковых систем.
Для правильной оптимизации, прежде всего нужно правильно настроить файл robots.txt в котором содержится инструкция для поисковых систем. Там указываться какие рубрики и страницы будет индексировать поисковик, а какие будет пропускать.
Так как платформа wordpress создает много одинаковых страниц, поисковик может не правильно определить главную и потеряться на вашем сайте, то ему просто необходимо вручную задать параметры для индексации.
Вот стандартный вид robots.txt, который подойдет практически для любого блога на платформе вордпресс:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Функция Disallow закрывает определенные папки вашего сайта от индексации, что снижает загрузки роботом поисковика копий страниц. Используя данные настройки вы улучшите свой сайт в поисковой выдачи поисковых систем.
Чтобы загрузить данные настройки на свой сайт, создайте файл robots.txt в блокноте, и скопируйте приведенный выше текст в этот файл. После чего сохраните этот файл в корень вашего сайта. При следующем обходе поисковый робот будет руководствоваться данным файлом при индексации вашего сайта.
