Как работает robots txt. Как редактировать файл robots txt. Как писать свои инструкции роботам

Эта галочка, которая…люди просто «взрывали мозг» мне, по-моему, года полтора назад — тогда бум пошёл на«поведенческий таргетинг». Не «поведенческий фактор», а «поведенческий таргетинг». Хочу нарисовать про «поведенческий таргетинг».

Не учитывать предпочтения пользователей и поведенческий таргетинг — Поведенческий таргетинг

Есть:

• сайт наш
• сайт конкурентов 1
• сайт конкурентов 2
• сайт конкурентов 3
• и так далее.

У сайтов есть собственная метрика. Естественно, метрики никак не пересекаются, они уникальные для каждого сайта. Ни в коем случае, я не говорю о том, что у Вас крадут метрику или что-то, но Яндекс, как и многие другие крупные компании, работают над BigData – это данные, которые собраны с большого количества устройств, с большого количества статистики, которую Вы тоже собираете, в том числе, для Яндекса, поэтому, кстати, и является бесплатным.

Яндекс придумал такую хитрую схему, которая позволяет по определённому списку ключевых фраз собирать всёи в каждой метрике он есть собственный, естественно. И на алгоритме, допустим, анализе, до 100-200 поисковых и ключевых фраз… «условий показа» и т. д.

По сути, заключается некое объединение нескольких сайтов под общим списком поисковых фрази условий показов некоторых ключей. Один сайт становится, например, какой-то тематикой, присваивается ему тематика. Например:

• «ремонт квартир»
• «дизайн квартир»
• «дизайн кухни»
• «кухни на заказ».

Все сайты объединяются в такую общую «БигДату». И теперь с помощью «поведенческого таргетинга» Вы показываетесь в такой, наверное, хитрой, с одной стороны, схеме. Так как есть общая тематика, Вас всех показывает между собой РСЯ, то есть, если Вы используете .

Вам надо использовать РСЯ как раз, в основном, для этого, чтобы по «поведенческому таргетингу» показываться по конкурентам:

• человек был на сайте конкурента
• Вы сразу же показываете рекламу.

Не путать с «ретаргетингом»! В таком виде работает «поведенческий таргетинг».

Не учитывать предпочтения пользователей и поведенческий таргетинг — В таком виде работает поведенческий таргетинг

А теперь главный момент: что галочка «Не учитывать предпочтения пользователей» делает? Когда у Вас не стоит галочка, Вы учитываете предпочтения . Это значит, что реклама ещё на других дополнительных сайтах, например, на форумах, ещё где-то, она учитывает предпочтения, то есть тематику, по сути.

Если человек интересовался септиками, то предпочтительнее будет реклама показываться:

• на сайтах с септиками
• или на сайте со строительством
• или на сайте что-то такое.

Но не будет показываться на «Пикабу», на каких-нибудь «Вконтакте» — меньше, реже стараться показываться.

Стоит или не стоит ставить галочку, спросите Вы?Во-первых, сейчас сразу понятнои очевидно, что не учитывать предпочтения пользователей – по сути, не повлияет никак на статистику «малопоказов», групп объявлений. Почему? Потому что в Вы тоже никак не сможете проверить, по факту будет учитываться предпочтение пользователей в РСЯ или не будет. Это гадание на кофейной гуще.

Если Вы хотите получить больше трафика, больше охвата аудитории, то Вы ставите эту галочку. Если Вы хотите по меньше аудиторию, чтобы она была проционально разбита по Вашим группам, по Вашим тематикам и именно там показывало рекламу, Вы галочку не ставите. Чаще люди ставят галочку. Надеюсь, объяснил, как это работает.

Далее…у нас есть авторасширениефраз – в лучше его оставить, потому что это тоже на аукцион тоже никак не влияет, но, желательно, всё равно, оставлять, потому что здесь нет никаких, как Вы видите, как в поиске, например, есть возможность дополнительных релевантных фраз показываться – здесь их нет. Здесь просто есть «галка».

Открываю:

• Ручное управление ставками
• Настройки в сетях
• Изменить.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Открываю РСЯ. Ручное управление ставками. Настройки в сетях. Изменить.

Не учитывать предпочтения пользователей. Читаем:

Не учитывать предпочтения пользователей и поведенческий таргетинг — Отключение рекламы с учетом интересов пользователей

Поведенческий таргетинг

Учитывает «поведенческий таргетинг». Когда Вы галочку ставите, охват аудитории увеличивается. Появляются дополнительные сайты. Например, человек «сидит» на «Пикабу» и Вы и там показываетесь ему. Охват аудитории растёт. Момент с «поведенческим таргетингом», давайте зачитаем.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Показ рекламы с учетом интересов пользователей

«Поведенческий таргетинг» надо всё равно тестировать. Когда Вы «галку» снимаете, Вы показываетесь абсолютно по всем площадкам – это очень важно! То есть, условно, если хоть раз запускали в РСЯ, Вы знаете, что сначала идёт, например, 10 или 20 тысяч в день, а через неделю — их 5 тысяч из-за как раз «поведенческого таргетинга», потому что кампания сформировалась и она теперь льётся по узкому месту,и когда эту галочку («Не учитывать предпочтения пользователей») «тыкаете», она расширяется.

А теперь самое главное! Можете просто «ткнуть» вторую рекламную кампанию, в которой «поставить» «поведенческий таргетинг», но, по сути, она сильно отличаться не будет. То есть, делаете две рекламные кампании. И на одной не учитываете предпочтения пользователей, а на второй – учитываете. Это самый грамотный вариант и подход в случае с этой «галкой». Читайте справку через призму понимания того, что Яндекс Вас пытается где-то обмануть.

• неделю с «галкой»
• неделю – без «галки».

Но, если Вы продвинутый человек, можете скопировать рекламную кампанию, в которой можете прописать новые темы-метки, хотите – нет, и здесь прописать, что у Вас идёт «поведенческий таргетинг», где «галку» Вы снимаете, разумеется.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Идет поведенческий таргетинг, где вы снимаете галку

Но мы это не можем пока сделать, потому что мы не сделали графические объявления, чтобы скопировать в другую рекламную кампанию и потестировать. Я чаще на первой рекламной кампании ставлю «не учитывать».

Картинки в объявлениях

У нас есть объявления. В объявлениях нам нужно сделать картинки. Во-первых, давайте про немножко. РСЯ копирует всё с «Гугла». Здесь очень важный момент, что, даже если откроете вебинар какой-нибудь ‘16 или ‘17 года, Вы увидите в слайдах то, что прям напрямую Яндекс говорит, что мы копируем с «Гугла». Например, широкое соответствие, как Вы знаете, — этот тип соответствия может быть в «Гугле» только.По сути, картинки бывают:

• графические
• «РСЯшки».

Не учитывать предпочтения пользователей и поведенческий таргетинг — Почему отдельная РК для РСЯ

По факту у нас, как Вы видите, уже идёт другой охват аудитории, кстати, здесь же идёт «поведенческий таргетинг». Во-вторых, адаптация текстов и картинок под абсолютно разные. Картинок у нас на поиске вообще не было, а адаптацию текстов Вы должны всё равно делать; рано или поздно всё равно будете их делать.

Самое интересное, что тестировать объявления в РСЯ намного проще, чем на поиске. Далее можно делать 1 ко многим – теперь это неважно уже, ранее было важно. Баннеры, то есть, графические объявления теперь тоже мы можем делать.

Графические объявления – это те объявления, которые без текста. «Поведенческий таргетинг» нужно учитывать, но давно учитывать – «галку» пробуйте и решайте, как лучше. Нет? Пожалуйста, просто копируете рекламные компании.

Вопрос: будут ли эти рекламные кампании конкурировать между собой, площадки могут дублироваться в РСЯ или они разные? Во-первых, да, они будут между собой конкурировать, но от этого ценники у Вас вырастут, потому что две рекламные кампании находятся на одном аккаунте, они будут показываться по очереди.

Но, если у Вас появятся другие площадки, не схожие с теми, на которых сейчас показываетесь, то Вы будете показываться на 20 процентов где-то больше, в общей сложности, но и денег оно может есть больше, поэтому надо тестировать и выбирать, какую из двух рекламных кампаний стоит оставить.

Правила по РСЯ от Яндекса

Про правила.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Правила про РСЯ от Яндекса

Больше, чем 1-2-3 слова — слишком много

Первое правило, которое, по факту, «убъёт» половину наших ключей, что будет довольно правдиво, то, что больше, чем 1-2-3 слова – это перебор для РСЯ и, по сути, это так! У нас должно не ограничивать количество показов, но при этом мы не должны показывать 4-5 слов и не иметь их во фразах, которые у нас используются для . Но здесь есть очень много «но».

Во-первых, не все рекламные тематики в РСЯ могут похвастаться 1-2-3 словами, то есть я кухни показал, а у Вас есть какая-нибудь тематика, которая начинается с трех слов, и просто так удалить половину ключей не совсем правильно. Это всё из вебинара Яндекса.

CTR объявления в РСЯ

Второе: CTRобъявления в РСЯ не влияет на РСЯи не влияет на стоимость кликов в поиске. Как Вы понимаете, поиск – абсолютно неважно, потому что мы разделили рекламные кампании, а CTR объявления в РСЯ действительно не влияет на стоимость клика. Это тоже важно! У Вас , то есть, что Вы разделили, что не разделили на две рекламные кампании – ничего не произойдёт, поверьте.

Экспериментирование в кампаниях РСЯ

Третье: в кампаниях для РСЯ можно, я в скобочках подписал «НУЖНО» экспериментировать, потому что Вы будете экспериментировать, как^

• с ключами
• с ценниками
• с объявлениями
• с тестингом объявлений и т.д.

То есть там огромнейший клад зарыт, на самом деле, в . Скорее всего, в этом году, если они всё-таки добавят нормальный таргетинг, там тоже используется момент эксперимента.

То есть Вы должны тестировать, например, на какие-то области. Кстати, ретаргетинг через РСЯ работает, Яндекс аудитории через почты, через телефоны, даже географический таргетинг, тот который в Яндекс-аудиториях, он тоже работает с помощью экспериментов.

Также в РСЯ есть дополнительные настройки, скажем так, общие настройки с поиском, в которых можно делать дополнительный :

• либо подключать
• либо отключать с ретаргетинга, со всяких аудиторий

Возможность экспериментовв РСЯ огромнейшая, в поиске – её чуть по меньше. Есть правила в поиске жесткие, в РСЯ их меньше.

Разделение пересекающихся фраз

Дальше разделение пересекающихся фраз. Тут Яндекс сам намекает, с этих слов нужно делать 2-3 слова; если будет 2-3 слова, то Вам пересечение делать не надо. Скажу так, что пересечение можно вообще убрать, потому что, если у Вас очень схожие , то неважно, по какой из фраз будет показываться.

Да, где-то больше охват аудитории, да, ставки меняются, но пока слишком непонятный механизм пересечения фраз, то есть, как только делаете пересечение, Вы ещё и отбираете очень много трафика с и всё «захлопываете» для себя с малопоказами. А ещё в РСЯ есть «охват в сетях».

Не учитывать предпочтения пользователей и поведенческий таргетинг — В РСЯ есть охват в сетях

Если здесь прочерк стоит после того, как получили ставки, цены и статистику, то Вам «плохо», поэтому старайтесь убирать «минус-слова». Можно их убрать через :

• выгрузить через экспорт компании в файл
• потом удалить.

А можно:

• взять «Поиск и замена»
• заменить в ключевых словах и в тонких настройках минус-слова

Можете удалить все значения и заменить.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Заменить в ключевых словах и в тонких настройкахминус-слова

Оставляем в минус-словах только отсекающие тематические ключи

Как устроена РСЯ для посетителя сайта

Как работает РСЯ уже рассказал отчасти.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Как устроена РСЯ для посетителей сайта

Есть более простой вариант – вариант через поисковый запрос, работа с помощью контекстного аукциона (это поисковый запрос — человек вбивает на странице Яндекса).

Кстати, на похожих площадках а-ляBing и прочих тоже используется , поэтому он запоминает Ваш запрос, всё сохраняется в «cookie»браузера и начинают показываться объявления с какой-то определённой тематикой, связанной с поисковым запросом. И 28 дней Вам показывается реклама, но 28 дней не ждите рекламу, потому что Вы чаще всего вбиваете кучу запросов.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Аукцион РСЯ

Начинаете вбивать запрос «айфон 5с купить», потом «айфон 5с в Москве» тоже самое? Да. Тематика такая же? Да. Большая часть конкурентов такие же? Да. Потом Вы начинаете искать допуски СРО или начнете просто с СРО, а потом уточняете.

Сразу подключаются другие конкуренты в те же самые 28 дней, у которых ставки в РСЯ намного выше, и, естественно, предпочтительнее показывать их, потому что ставки-то у них выше, они тратят денег больше. Это происходит в лавинообразном аукционе. Всё зависит ещё :

• от посещения Ваших сайтов
• сюда ещё «засовывается» «поведенческий таргетинг».

По сути, показываются мне тематики с очень часто, когда я захожу на свои же сайты либо на сайты конкурентов.

Есть изображение – это картинка, собственно, скрин из интерфейса Яндекса:

Не учитывать предпочтения пользователей и поведенческий таргетинг — Скрин из интерфейса Яндекса

И написано, что Вам необходимо делать два объявления: стандартное изображение (либо 1 к 1 либо 3 к 4(4 к 3)) и широкоформатное (16 к 9). Широкоформатное нужно делать отдельным объявлением. Значит, сначала загружаем картинку:

• либо 1 к 1
• либо 3 к 4
• либо 4 к 3

Потом отдельно создаём новые объявление и в них уже делаем широкоформатные объявления 16 к 9.

Объявления

С объявлениями всё намного интереснее. У нас их 109 штук. После того, как мы раздробили все группы объявлений, 109 нам надо сделать. Их можно:

• загрузить с компьютера, с интернета
• выбрать из других изображений

Но другие изображения могут быть только тогда, когда выбрали несколько или в каких-то группах объявлений уже есть картинки. Но может быть из нескольких компаний, то есть, у Вас есть «РСЯшки», например. Давайте попробуем…И вот картинка, Вы видите, с гипсокартоном.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Картинка с гипсокартоном

Можно выбрать из других изображений. Теперь мы обратно возвращаемся в . Открываем все объявления в нашей рекламной кампании и теперь мы можем взять и загрузить либо с компьютера, либо с интернета. Я буду, конечно же, загружать из интернета.

Вообще, моё любимое занятие:

• брать картинки кухни на заказ
• смотреть самую какую-нибудь красивую.

Есть ограничения на картинках по размеру. Он должен быть довольно большой. Старые, маленькие картинки уже Яндекс упразднил и сейчас он переходит к загрузке только больших изображений из-за того, что он решил поменять качество и скажем ему спасибо! Например, такая картинка вполне может подойти для того, чтобы загрузить её в наше объявление 1 к 1 или 4 к 3.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Пример картинки, которую можно загрузить в объявление

Зависимость сейчас попробуем. Тут достаточно копировать адрес изображения. На самом деле, здесь писать можно попробовать — есть некоторые ограничения на картинках насчёт описаний– можно аккуратненько подписать, например, свой логотип поставить, но, чаще всего, для теста это не надо делать. Достаточно просто загрузить картинку. Давайте попробуем.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Достаточно просто загрузить картинку

Я возьму 4 к 3, она будет, как раз, замечательно заходить. 1 к 1, 3 к 4, 4 к 3 – это одно и то же. 16 к 9 – это отдельный. И нажимаю ОК.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Картинка 4:3

Теперь все мои картинки после того, как нажму на все наши объявления, они проставятся. После кнопки сохранить, конечно.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Все картинки проставлены

Можно проверить, картинка стоит.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Проверка, что картинка стоит

Теперь есть правильное решение добавить новые с гранями 16х9. Картинки, скорее всего, надо будет поменять. Загружаем рекламную кампанию, чтобы у нас были номера на наших объявлениях, то есть, понятно, мы везде получаем объявления и номера, но наша задача – получить идентификаторы для заголовков. Зачем? Потому что, когда сейчас будем копировать новые объявления, они будут идентичные и мы просто потеряемся, если случайно что-нибудь нажмем не то.

Кстати, вопрос. Картинки подписать в Photoshop? Можно, действительно, на них написать, лучше логотипчик какой-нибудь поставить. Вообще, посмотрите тот же Avito, самые популярные РСЯшные объявления по темам, которые не выпадают.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Популярные РСЯ объявления на Авито

Вот РСЯшка. Здесь, действительно, можно подписать такой вот текст. Могу сразу сказать, что это не так давно разрешил Яндекс. Раньше всё вообще было запрещено.

Можно подписать, и без описания простые картинки тоже «заходят» без каких-либо проблем.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Картинки без описания заходят без проблем

Модерацию может не пройти некоторый текст, который очень мелкий. И с женщинами, с мужчинами тоже тяжело проходит. Вам надо иметь тех же самых женщину или мужчину на сайте, чтобы картинка проходила с живым человеком.

У нас есть объявление. Давайте остановим тоже рекламную кампанию.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Остановим рекламную кампанию

Нам нужно взять объявления наши, скопировать:

Не учитывать предпочтения пользователей и поведенческий таргетинг — Копируем объявления

и вставить.

Вставить по той же технологии, что мы вставляли через дублирование объявления в исходных группах.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Добавить объявления к исходным группам

Вставятся новые объявления в группы, они будут без номеров. В них мы будем менять картинку. Необходимо загрузить из интернета другую картинку.Старайтесь загружать более яркие – они всегда лучше производят эффект. Копирую адрес изображения,

Не учитывать предпочтения пользователей и поведенческий таргетинг — Скопировать адрес изображения

вставляю

Не учитывать предпочтения пользователей и поведенческий таргетинг — Вставить скопированное изображение

и должна пройти она.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Картинка должна пройти

Не забывайте объявления отправлять на модерацию.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Отправляем изображения на модерацию
Не учитывать предпочтения пользователей и поведенческий таргетинг — Загружаем рекламную кампанию

По сути, мы сейчас создали новое объявление 16 к 9 и 1 к 1, то есть, все размеры, которые нужно.Естественно, ещё есть графические объявления.

Вопросы

Вопросы. Что будет, если в РСЯ много фраз по 4-5 слов? Ничего страшного не случится, разумеется, потому что у большинства рекламодателей встречаются в таком виде .

Не учитывать предпочтения пользователей и поведенческий таргетинг — В таком виде встречаются ключи у большинства рекламодателей

И вполне они работоспособные.

Давайте посмотрим охват в сетях, потому что мы не сделали ставки.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Получение цен и статистики фраз

Ставки мы, вроде бы, «ткнули» 33 р. для теста, но мы сейчас посмотрим эти 33р. в охвате в сетях. Он будет не совсем правдивый, потому что не прошли модерацию наши объявления.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Объявления не прошли модерацию

Как Вы видите, охват в сетях есть. Тут, кстати, есть замечательная вещь:

Не учитывать предпочтения пользователей и поведенческий таргетинг — Мастер ставок

Это нужно для выставления ставок именно в с помощью кнопочки «Ставка охвата 100 процентов».

Не учитывать предпочтения пользователей и поведенческий таргетинг — Ставка охвата 100%

Но ей старайтесь особо не баловаться, потому что она может поставить Вам 1500р.для того, чтобы 100 процентов охвата в сетях получить, хотя достаточно выставить 30-40-50р. Конечно, изначально Вы выставляете единой ставкой:

Не учитывать предпочтения пользователей и поведенческий таргетинг — Единая ставка

Потом просто смотрите, что нужно выставить, чтобы в ключах был 100 процентный охват аудитории.

Что делать с ключами, у которых охват в сетях прочерк, стоит ли их удалять? Это одно, наверное, из самых популярных заблуждений:

• Во-первых, охват в сетях всегда может появиться.
• Во-вторых, в охвате в сетях в прочерках, если Вы посмотрите свою рекламную компанию и добавите в столбцы.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Добавить столбец

Например, показы и клики,

Не учитывать предпочтения пользователей и поведенческий таргетинг — Показы и клики

• показы
• клики.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Показы и клики на прочерках в некоторых рекламных кампаниях

По ним на данный момент нет никакого аукциона, но через какое-то время он может появиться. Например, в сезон или появиться днём, или ещё когда-то. Такое вполне тоже бывает, поэтому удалять ключи, просто потому что прочерки стоят, не рекомендую.

Насколько в РСЯ минус-слова сужают охват? Сколько есть у Вас, вот настолько они и сужают.Всё зависит от ключей. Если Вы очень сильно старательно «минусовали», то может довольно серьёзно снизить. Но чаще всего эго не происходит — Вы пытаетесь минус-словами просто «чистануть» трафик.

Правило в , что у ключа должна быть частотность 200 показов в месяц? Частотность здесь не причём. Есть аукцион, есть охват в сетях сейчас.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Сейчас есть аукцион и охват в сетях

На многих ключах, как Вы видите, прочерки стоят. По ним вполне могут быть и 200 даже показов в месяц, но нет охвата аудитории, то есть нет для Вас. Он может появиться, повторюсь. То есть вырезать ключи с какими-то показами пока не рекомендую. 200 стоят хорошо, оставьте 200. Смотрите, «дизайн кухни цена». 3 слова, например. Этот ключ должен остаться.

Не учитывать предпочтения пользователей и поведенческий таргетинг — Ключ должен остаться

В показах, там, где у Вас 200, ограничитель можете поставить и снижать его до 30 из-за малопоказов и прочего для ключа. Всё зависит от многих параметров. Там, где 3-4 слова, они, всё равно, должны остаться, даже если у них нет никакого аукциона для охвата аудитории.

Графические объявления

Мы сделали:

• рекламную кампанию
• объявления в ней
• картинки

Теперь надо сделать графические объявления.

Учёт интересов пользователей

Недавно составлял рекламную кампанию от Яндекса и обнаружил (в справке), что любой пользователь Yandex и его сервисов может запретить отслеживание своего поведения этой системой. Как-то я не обращал раньше внимания на это… Как это сделать — далее в статье. А сначала напишу про .

Вообще, «таргетинг» буквально переводится как «нацеливание». Прибавка «поведенческий» говорит о том, что производится своеобразное нацеливание на посетителя, зависящее от его поведения в интернете. Таким образом, посетителю конкретного сайта могут быть показаны контекстные объявления, смысл и содержание которых соответствуют его интересам (т.е. , которые он посетил ранее), а не содержанию данного сайта.

Что такое поведенческий таргетинг?

Наверное, почти каждый замечал, что, например, тема сайта — одна , а контекстные или AdSense совсем другие . Что-нибудь вроде этого:

Пример таргетинга в Яндекс.Директ на кулинарном сайте

На мой взгляд, эти поисковые системы не ограничиваются одними лишь куками, а учитывают ещё и IP-адрес пользователя, используют свои веб-аналитики (хотя те тоже «ставят» куки), например, и т.д. В общем, во многом аналогично поведенческим факторам. Если интересно, почитайте про поведенческие факторы поисковых систем.

Запрет на отслеживание поведения пользователя

Рекламодатель

Запрет таргетирования

Пользователь

Как оказалось, обычный пользователь Интернет (как-то забавно звучит..) может «попросить» Яндекс не следить за ним. У Google пока не видел такой возможности.

Если вы чувствуете, что реклама Яндекса очень сильно вторгается в вашу личную жизнь , то можете просто запретить таргетинг «на вас» по этому адресу: http://tune.yandex.ru/adv/ . Всего лишь поставьте галочку и кликните «Сохранить»:

Запрет поведенческого таргетинга для пользователя

Только имейте в виду, что это действует, если у вас

Добрый день, дорогие друзья! Все вы знаете, что поисковая оптимизация – дело ответственное и тонкое. Нужно учитывать абсолютно каждую мелочь, чтобы получить приемлемый результат.

Сегодня мы поговорим о robots.txt – файле, который знаком каждому вебмастеру. Именно в нем прописываются все самые основные инструкции для поисковых роботов. Как правило, они с удовольствием следуют предписанным указаниям и в случае неправильного составления отказываются от индексации веб-ресурса. Далее я расскажу вам о том, как составлять правильный вариант robots.txt, а также о том, как его настроить.

В предисловии я уже описал, что это такое. Теперь расскажу, зачем он нужен. Robots.txt – небольшой текстовой файл, который хранится в корне сайта. Он используется поисковыми системами. В нем четко прописаны правила индексации, т. е. какие разделы сайта нужно индексировать (добавлять в поиск), а какие – нет.

Обычно от индексации закрываются технические разделы сайта. Изредка в черный список попадают неуникальные страницы (копипаст политики конфиденциальности тому пример). Здесь же “роботам объясняются” принципы работы с разделами, которые нужно индексировать. Очень часто прописывают правила для нескольких роботов отдельно. Об этом мы и поговорим далее.

При правильной настройке robots.txt ваш сайт гарантированно вырастет в позициях поисковых систем. Роботы будут учитывать только полезный контент, обделяя вниманием дублированные или технические разделы.

Создание robots.txt

Чтобы создать файл, достаточно воспользоваться стандартным функционалом вашей операционной системы, после чего выгрузить его на сервер через FTP. Где он лежит (на сервере) догадаться несложно – в корне. Обычно эта папка называется public_html.

Вы без труда сможете попасть в нее с помощью любого FTP-клиента (например, ) или встроенного файлового менеджера. Естественно, мы не будем загружать на сервер пустой роботс. Впишем туда несколько основных директив (правил).

User-agent: *
Allow: /

Используя эти строки в своем файле robots, вы обратитесь ко всем роботам (директива User-agent), позволив им индексировать ваш сайт всецело и полностью (включая все тех. страницы Allow: /)

Конечно же, такой вариант нам не особо подходит. Файл будет не особо полезен для оптимизации под поисковики. Он определенно нуждается в грамотной настройке. Но перед этим мы рассмотрим все основные директивы и значения robots.txt.

Директивы

User-agent	Одна из важнейших, т. к. указывает каким роботам следовать идущим после нее правилам. Правила учитываются до следующего User-agent в файле.
Allow	Разрешает индексацию каких-либо блоков ресурса. Например: “/” или “/tag/”.
Disallow	Наоборот, запрещает индексацию разделов.
Sitemap	Путь до карты сайта (в формате xml).
Host	Главное зеркало (с www или без, или если у вас несколько доменов). Здесь же указывается защищенный протокол https (при наличии). Если у вас стандартный http, его указывать не нужно.
Crawl-delay	С ее помощью вы сможете установить интервал посещения и загрузки файлов вашего сайта для роботов. Помогает снизить нагрузку на хост.
Clean-param	Позволяет отключить индексацию параметров на тех или иных страницах (по типу www.site.com/cat/state?admin_id8883278). В отличие от предыдущих директив, здесь указываются 2 значения (адрес и сам параметр).

Это все правила, которые поддерживаются флагманскими поисковиками. Именно с их помощью мы будем создавать наш роботс, оперируя различными вариациями для самых разных видов сайтов.

Настройка

Для грамотной настройки файла роботов нам нужно точно знать, какие из разделов сайта должны быть проиндексированы, а какие – нет. В случае с простым одностраничником на html + css нам достаточно прописать несколько основных директив, таких как:

User-agent: *
Allow: /
Sitemap: site.ru/sitemap.xml
Host: www.site.ru

Здесь мы указали правила и значения для всех поисковых систем. Но лучше добавить отдельные директивы для Гугла и Яндекса. Выглядеть это будет так:

User-agent: *
Allow: /

User-agent: Yandex
Allow: /
Disallow: /politika

User-agent: GoogleBot
Allow: /
Disallow: /tags/

Sitemap: site.ru/sitemap.xml
Host: site.ru

Теперь на нашем html-сайте будут индексироваться абсолютно все файлы. Если мы хотим исключить какую-то страницу или картинку, то нам необходимо указать относительную ссылку на этот фрагмент в Disallow.

Вы можете использовать сервисы автоматической генерации файлов роботс. Не гарантирую, что с их помощью вы создадите идеально правильный вариант, но в качестве ознакомления можно попробовать.

Среди таких сервисов можно выделить:

С их помощью вы сможете создать robots.txt в автоматическом режиме. Лично я крайне не рекомендую этот вариант, потому как намного проще сделать это вручную, настроив под свою платформу.

Говоря о платформах, я имею ввиду всевозможные CMS, фреймворки, SaaS-системы и многое другое. Далее мы поговорим о том, как настраивать файл роботов WordPress и Joomla.

Но перед этим выделим несколько универсальных правил, которыми можно будет руководствоваться при создании и настройке роботс почти для любого сайта:

Закрываем от индексирования (Disallow):

• админку сайта;
• личный кабинет и страницы регистрации/авторизации;
• корзину, данные с форм заказов (для интернет-магазина);
• папку cgi (располагается на хосте);
• служебные разделы;
• скрипты ajax и json;
• UTM и Openstat-метки;
• различные параметры.

Открываем (Allow):

• картинки;
• JS и CSS-файлы;
• прочие элементы, которые должны учитываться поисковыми системами.

Помимо этого, в конце не забываем указать данные sitemap (путь к карте сайта) и host (главное зеркало).

Robots.txt для WordPress

Для создания файла нам нужно точно так же забросить robots.txt в корень сайта. Изменять его содержимое в таком случае можно будет с помощью все тех же FTP и файловых менеджеров.

Есть и более удобный вариант – создать файл с помощью плагинов. В частности, такая функция есть у Yoast SEO. Править роботс прямо из админки куда удобнее, поэтому сам я использую именно такой способ работы с robots.txt.

Как вы решите создать этот файл – дело ваше, нам важнее понять, какие именно директивы там должны быть. На своих сайтах под управлением WordPress использую такой вариант:

User-agent: * # правила для всех роботов, за исключением Гугла и Яндекса

Disallow: /cgi-bin # папка со скриптами
Disallow: /? # параметры запросов с домашней страницы
Disallow: /wp- # файлы самой CSM (с приставкой wp-)
Disallow: *?s= # \
Disallow: *&s= # все, что связано с поиском
Disallow: /search/ # /
Disallow: /author/ # архивы авторов
Disallow: /users/ # и пользователей
Disallow: */trackback # уведомления от WP о том, что на вас кто-то ссылается
Disallow: */feed # фид в xml
Disallow: */rss # и rss
Disallow: */embed # встроенные элементы
Disallow: /xmlrpc.php # WordPress API
Disallow: *utm= # UTM-метки
Disallow: *openstat= # Openstat-метки
Disallow: /tag/ # тэги (при наличии)
Allow: */uploads # открываем загрузки (картинки и т. д.)

User-agent: GoogleBot # для Гугла
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Disallow: /tag/
Allow: */uploads
Allow: /*/*.js # открываем JS-файлы
Allow: /*/*.css # и CSS
Allow: /wp-*.png # и картинки в формате png
Allow: /wp-*.jpg # \
Allow: /wp-*.jpeg # и в других форматах
Allow: /wp-*.gif # /
# работает вместе с плагинами

User-agent: Yandex # для Яндекса
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: /tag/
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
# чистим UTM-метки
Clean-Param: openstat # и про Openstat не забываем

Sitemap: # прописываем путь до карты сайта
Host: https://site.ru # главное зеркало

Внимание! При копировании строк в файл – не забудьте удалить все комментарии (текст после #).

Такой вариант robots.txt наиболее популярен среди вебмастеров, которые используют WP. Идеальный ли он? Нет. Вы можете попытаться что-то добавить или наоборот убрать. Но учтите, что при оптимизации текстовика роботов нередки ошибки. О них мы поговорим далее.

Robots.txt для Joomla

И хотя в 2018 Joomla редко кто использует, я считаю, что нельзя обделять вниманием эту замечательную CMS. При продвижении проектов на Joomla вам непременно придется создавать файл роботс, а иначе как вы хотите закрывать от индексации ненужные элементы?

Как и в предыдущем случае, вы можете создать файл вручную, просто закинув его на хост, либо же использовать модуль для этих целей. В обоих случаях вам придется его грамотно настраивать. Вот так будет выглядеть правильный вариант для Joomla:

User-agent: *
Allow: /*.css?*$
Allow: /*.js?*$
Allow: /*.jpg?*$
Allow: /*.png?*$
Disallow: /cache/
Disallow: /*.pdf
Disallow: /administrator/
Disallow: /installation/
Disallow: /cli/
Disallow: /libraries/
Disallow: /language/
Disallow: /components/
Disallow: /modules/
Disallow: /includes/
Disallow: /bin/
Disallow: /component/
Disallow: /tmp/
Disallow: /index.php
Disallow: /plugins/
Disallow: /*mailto/

Disallow: /logs/
Disallow: /component/tags*
Disallow: /*%
Disallow: /layouts/

User-agent: Yandex
Disallow: /cache/
Disallow: /*.pdf
Disallow: /administrator/
Disallow: /installation/
Disallow: /cli/
Disallow: /libraries/
Disallow: /language/
Disallow: /components/
Disallow: /modules/
Disallow: /includes/
Disallow: /bin/
Disallow: /component/
Disallow: /tmp/
Disallow: /index.php
Disallow: /plugins/
Disallow: /*mailto/

Disallow: /logs/
Disallow: /component/tags*
Disallow: /*%
Disallow: /layouts/

User-agent: GoogleBot
Disallow: /cache/
Disallow: /*.pdf
Disallow: /administrator/
Disallow: /installation/
Disallow: /cli/
Disallow: /libraries/
Disallow: /language/
Disallow: /components/
Disallow: /modules/
Disallow: /includes/
Disallow: /bin/
Disallow: /component/
Disallow: /tmp/
Disallow: /index.php
Disallow: /plugins/
Disallow: /*mailto/

Disallow: /logs/
Disallow: /component/tags*
Disallow: /*%
Disallow: /layouts/

Host: site.ru # не забудьте здесь поменять адрес на свой
Sitemap: site.ru/sitemap.xml # и здесь

Как правило, этого достаточно, чтобы лишние файлы не попадали в индекс.

Ошибки при настройке

Очень часто люди допускают ошибки при создании и настройке файла роботс. Вот самые часто встречающиеся из них:

• Правила указаны только для User-agent.
• Отсутствуют Host и Sitemap.
• Наличие http-протокола в директиве Host (нужно указывать лишь https).
• Несоблюдение правил вложенности при открытии/закрытии картинок.
• Не закрыты UTM и Openstat-метки.
• Прописывание директив host и sitemap для каждого робота.
• Поверхностная проработка файла.

Очень важно правильно настроить этот маленький файлик. При допущении грубых ошибок вы можете потерять значительную часть трафика, поэтому будьте предельно внимательны при настройке.

Как проверить файл?

Для этих целей лучше использовать специальные сервисы от Yandex и Google, т. к. эти поисковые системы являются наиболее популярными и востребованными (чаще всего единственно используемыми), такие поисковики как Bing, Yahoo или Rambler рассматривать нет смысла.

Для начала рассмотрим вариант с Яндексом. Заходим в Вебмастер . После чего в Инструменты – Анализ robots.txt.

Здесь вы сможете проверить файл на ошибки, а также проверить в реальном времени, какие страницы открыты для индексации, а какие – нет. Весьма удобно.

У Гугла есть точно такой же сервис. Идем в Search Console . Находим вкладку Сканирование, выбираем – Инструмент проверки файла robots.txt.

Здесь точно такие же функции, как и в отечественном сервисе.

Обратите внимание, что он показывает мне 2 ошибки. Связано это с тем, что Гугл не распознает директивы очистки параметров, которые я указал для Яндекса:

Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat

Обращать внимание на это не стоит, т. к. роботы Google используют только правила для GoogleBot.

Заключение

Файл robots.txt очень важен для SEO-оптимизации вашего сайта. Подходите к его настройке со всей ответственностью, потому как при неправильной реализации все может пойти прахом.

Учитывайте все инструкции, которыми я поделился в этой статье, и не забывайте, что вам не обязательно точь-в-точь копировать мои варианты роботс. Вполне возможно, что вам придется дополнительно разбираться в каждой из директив, подстраивая файл под свой конкретный случай.

А если вы хотите более глубоко разобраться в robots.txt и создании сайтов на WordPress, то я приглашаю вас на . На нем вы узнаете, как можно без особого труда создать сайт, не забыв оптимизировать его для поисковиков.

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Директива Host – это команда или правило, сообщающее поисковой машине о том, какое (с www или без) считать основным. Находится директива Host в файле и предназначена исключительно для Яндекса.

Часто возникает необходимость, чтобы поисковая система не индексировала некоторые страницы сайта или его зеркала. Например, ресурс находится на одном сервере, однако в интернете есть идентичное доменное имя, по которому осуществляется индексация и отображение в результатах поисковой выдачи.

Поисковые роботы Яндекса обходят страницы сайтов и добавляют собранную информацию в базу данных по собственному графику. В процессе индексации они самостоятельно решают, какую страницу необходимо обработать. К примеру, роботы обходят стороной различные форумы, доски объявлений, каталоги и прочие ресурсы, где индексация бессмысленна. Также они могут определять главный сайт и зеркала. Первые подлежат индексации, вторые – нет. В процессе часто возникают ошибки. Повлиять на это можно посредством использования директивы Host в файл Robots.txt.

Зачем нужен файл Robots.txt

Robots – это обычный текстовый файл. Его можно создать через блокнот, однако работать с ним (открывать и редактировать информацию) рекомендуется в текстовом редакторе Notepad++ . Необходимость данного файла при оптимизации веб-ресурсов обуславливается несколькими факторами:

1. Если файл Robots.txt отсутствует, сайт будет постоянно перегружен из-за работы поисковых машин.
2. Существует риск, что индексироваться будут лишние страницы или сайты зеркала.

Индексация будет проходить гораздо медленнее, а при неправильно установленных настройках он вовсе может исчезнуть из результатов поисковой выдачи Google и Яндекс.

Как оформить директиву Host в файле Robots.txt

Файл Robots включает в себя директиву Host – инструкцию для поисковой машины о том, где главный сайт, а где его зеркала.

Директива имеет следующую форму написания: Host: [необязательный пробел] [значение] [необязательный пробел]. Правила написания директивы требуют соблюдения следующих пунктов:

• Наличие в директиве Host протокола HTTPS для поддержки шифрования. Его необходимо использовать, если доступ к зеркалу осуществляется только по защищенному каналу.
• Доменное имя, не являющееся IP-адресом, а также номер порта веб-ресурса.

Корректно составленная директива позволит веб-мастеру обозначить для поисковых машин, где главное зеркало. Остальные будут считаться второстепенными и, следовательно, индексироваться не будут. Как правило, зеркала можно отличить по наличию или отсутствию аббревиатуры www. Если пользователь не укажет главное зеркало веб-ресурса посредством Host, поисковая система Яндекс пришлет соответствующее уведомление в Вебмастер. Также уведомление будет выслано, если в файле Роботс задана противоречивая директива Host.

Определить, где главное зеркало сайта можно через поисковик. Необходимо вбить в поисковую строку адрес ресурса и посмотреть на результаты выдачи: сайт, где перед доменом в адресной строке стоит www, является главным доменом.

В случае, если ресурс не отображается на странице выдачи, пользователь может самостоятельно назначить его главным зеркалом, перейдя в соответствующий раздел в Яндекс.Вебмастере. Если веб-мастеру необходимо, чтобы доменное имя сайта не содержало www, следует не указывать его в Хосте.

Многие веб-мастера используют кириллические домены в качестве дополнительных зеркал для своих сайтов. Однако в директиве Host кириллица не поддерживается. Для этого необходимо дублировать слова на латинице, с условием, что их можно будет легко узнать, скопировав адрес сайта из адресной строки.

Хост в файле Роботс

Главное предназначение данной директивы состоит в решении проблем с дублирующими страницами. Использовать Host необходимо в случае, если работа веб-ресурса ориентирована на русскоязычную аудиторию и, соответственно, сортировка сайта должна проходить в системе Яндекса.

Не все поисковики поддерживают работу директивы Хост. Функция доступна только в Яндексе. При этом даже здесь нет гарантий, что домен будет назначен в качестве главного зеркала, но по заверениям самого Яндекса, приоритет всегда остается за именем, которое указано в хосте.

Чтобы поисковые машины правильно считывали информацию при обработке файла robots.txt, необходимо прописывать директиву Host в соответствующую группу, начинающуюся после слов User-Agent. Однако, роботы смогут использовать Host независимо от того, будет директива прописана по правилам или нет, поскольку она является межсекционной.

Файл robots.txt — это обыкновенный файл с расширением.txt, который можно создать с помощью обыкновенного блокнота Windows. Данный файл содержит инструкции по индексации для поисковых роботов. Размещают этот файл корневой директории на хостинге.

При заходе на сайт поисковый робот первым делом обращаются к файлу robots.txt для того, чтобы получить инструкции к дальнейшему действию и узнать, какие файлы и директории запрещены к индексированию. Файл robots.txt носит рекомендательный характер для поисковых систем. Нельзя стопроцентно сказать, что все файлы, на которые выставлен запрет к индексации, не будут в итоге индексироваться.

Рассмотрим простейший пример файла robots.txt. Данный файл содержит следующие строки:

User-agent: * Disallow: /wp-admin/ Disallow: /images/

Первая строка указывает для каких поисковых роботов действуют данные инструкции. В данном примере указана звездочка — это означает, что инструкции относятся ко всем поисковым роботам. В случае необходимости указания инструкции для конкретного поискового робота, необходимо прописать его имя. Вторая и третья строки запрещают индексацию директорий «wp-admin» и «images».

Для поискового робота Яндекса актуально также прописывать директорию Host для указания основного зеркала сайта:

User-agent: Yandex Disallow: /wp-admin/ Disallow: /images/ Host: yoursite.ru

Примеры написания файла robots.txt для конкретных задач

1. Не запрещать роботам любых поисковых систем индексировать сайт:

User-agent: googlebot Disallow: /

4. Не запрещать к индексации только одним роботом (например, googlebot) и запретить к индексации всем остальным поисковым роботам:

User-agent: googlebot Disallow:

User-agent: * Disallow: /admin/ Disallow: /wp-content/ Disallow: /images/

User-agent: * Disallow: /News/webnews.html Disallow: /content/page.php

User-agent: * Disallow: /page.php Disallow: /links.htm Disallow: /secret.html

Основные правила написания robots.txt

При написании файла robots.txt часто допускаются ошибки. Для того, чтобы их избежать, давайте рассмотрим основные правила:

1. Писать содержимое файла нужно только в прописными буквами.
2. В инструкции Disallow необходимо указывать только одну директорию или один файл.
3. Строка «User-agent» не должна быть пустой. Если инструкция относится ко всем поисковым роботам, то необходимо указывать звёздочку, а если к конкретному поисковому роботу, то указывать его название.
4. Менять местами инструкции Disallow и User-agent нельзя.
5. В директиве Host, которая используется для Яндекса, адрес нашего сайта необходимо указывать без протокола HTTP и без закрывающего слэша.
6. При запрещении к индексации директорий необходимо обязательно прописывать слэши.
7. Следует проверить файл robots.txt перед загрузкой его на сервер. Это позволит избежать в будущем возможных проблем с индексацией сайта.