|
Управление работами достигается с помощью Мета-тега "robots" и "revisit".
Вставляется любой из этих тэгов в HTML код страницы между <head>….</head> после всех титулов и т.п. Примерно вот так как ниже:
<html>
<head>
<title>Заголовок страницы </title>
<meta name ="keywords" content="ключевые слова">
<meta name ="description" content="описание страницы">
<meta name="robots" content="Здесь пишите на выбор что и как вам надо из ниже перечисленных примеров тэгов">
</head>
</html>
Основными командами являются:
"noindex" - не индексировать страничку
"nofollow" - не следовать по ссылкам с данной странички.
Примеры тэгов
<meta name="robots" content="noindex,follow">этот тэг инструктирует роботов не индексировать данную страничку, однако следовать по ссылкам с данной странички.
<meta name="robots" content="index,nofollow"> роботы проиндексируют данную страничку, но никуда дальше с этой странички по ссылкам не пойдут.
<meta name="robots" content="index,follow">данный тэг ставить нет смысла, так как роботы и так по умолчанию индексируют все страницы и следуют по ссылкам с данной страницы.
<meta name="revisit" content="15 days">этот тэг задает периодичность переиндексации сайта поисковыми машинами. В данном случае это 15 дней, (количество дней можно изменять). Если сайт обновляется часто, то следует указать поменьше. Но не все поисковые роботы подчиняются этому тэгу, например у робота "Yandex-a" свой график работы и изменить его, к сожалению, невозможно.
Запрещение индексации частей текста
Чтобы запретить индексирование определенных фрагментов текста в документе, пометьте их тегами:
<NOINDEX>…</NOINDEX>
(советую использовать этот тэг для запрещения индексации реферальских ссылок на вашем сайте(зачем чтобы робот шёл на страницу вашего спонсора))
|
