Создаем файл robots.txt для блога

Здравствуйте уважаемый посетитель моего блога! Скажите, а у вас на блоге есть файл robots.txt? Если вы не знаете что это такое, то наверняка у вас возник вопрос, для чего же нужен этот файл? Какую пользу он может принести и обязательно ли его наличие на сайте? Для того, чтобы ответить на эти вопросы я как раз и опубликовал этот пост.

Оглядываясь на некоторое время назад, я вспоминаю, как мне было тяжело, когда я только начинал этот сложный путь вебмастера. Тогда было много непонятных вопросов и приходилось все узнавать самому. Но, как оказалось, не такой уж он и сложный этот путь. Теперь все кажется таким простым и понятным. Нет, конечно, остаются вопросы по этой теме, но они уже решаются легче, нежели на начальном этапе. Поэтому хочется сказать вам – не  переживайте по поводу того, что сейчас многое не понятно. В скором будущем вы так же как я будете вспоминать это время с улыбкой на лице, и разбираться во многих вопросах, в которых ранее были чайником. Вот такое небольшое отступление…

Что такое файл robots.txt?

Итак, что такое файл robots.txt? По правде говоря, я не очень-то умею давать определения так, как их дает какой-то справочник. Все объясняю простыми словами. Вот и на этот раз скажу просто – файл robots. txt позволяет запрещать к индексации поисковыми роботами определенные разделы/страницы вашего сайта/блога.

Вот в вашей жизни есть какие-то секреты, о которых знать никому кроме вас не желательно? Вот и с блогом также. Как известно, поисковые роботы индексируют все, что есть на сайте. Понятное дело если это статьи, но ведь есть и такие данные, которые содержат ваш логин и пароль входа в админ панель, а это снижает безопасность вашего ресурса. Но не переживайте! Это только в том случае, если в файле robots.txt вашего блога прописать ссылку на эти данные.

Одним словом, наличие правильно составленного файла robots.txt позволяет не беспокоится о том, что поисковый робот проиндексирует то, что ему индексировать не следует.

Кстати, чтобы узнать, как выглядит этот файл, в строке браузера впишите http://ваш_сайт/robots.txt — где «ваш_сайт» это адрес вашего блога.

Как правильно составить robots.txt

Так как же правильно составить robots.txt? Чтобы долго тут не излагать все тонкости его составления, я предлагаю вам воспользоваться составленным мной файлом, в котором только нужно заменить адрес моего блога, на адрес вашего.

Вот он:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag
Host: bistriyblog.ru

Как сохранить и загрузить robots.txt?

Давайте рассмотрим более детально, как данный файл сохранить и загрузить его на хостинг.

В первую очередь нужно открыть программу «Блокнот» на вашем компьютере и вставить туда предлагаемый мной файл, который, конечно же, предварительно нужно скопировать.

Затем сохраняйте файл под соответствующим именем, то есть – robots.txt.

robots.txt сохранение

Теперь осталось только закачать его на ваш хостинг. Закачивается файл robots.txt в папку public_html. Я буду показывать на примере моего хостинга.

папка public_html Нажимаем на вкладку «Файл» и выбираем из выпадающего меню «Закачать».

Закачать robots.txt

После чего нужно выбрать ваш файл в том месте на компьютере, где вы его сохранили, и нажать кнопку «Закачать».

нажать кнопку «Закачать»

Вот и все! Файл теперь находится в корневой директории вашего блога.

в корневой директории вашего блога

Можно даже его проверить. Как помните, вводите в строчке вашего браузера http://ваш_сайт/robots.txt и любуетесь результатом!

По поводу работоспособности данного файла не переживайте! Даю гарантию, что настроен он правильно. К тому же, вы можете убедиться, что именно этот файл robots.txt я использую для своего блога. Как это сделать я описывал выше.

Если вы хотите более подробно изучить тему составления файла robots.txt то вам сюда

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *