Сегодня я с ужасом обнаружил, что целая куча страниц на всех моих сайтах выпали из Яндекса. Из-за этого трафик везде просел в два-три раза, а как понимаете — это полная печаль 🙁 Почему страницы выпали из Яндекса?
Причина, скорее всего, кроется в недавнем падении моего сервера, об этом я писал в своем живом журнале, тут писать, по понятным причинам, не мог. Сервер лежал почти сутки, называется, поковырялся в пятницу вечером!
НИКОГДА НИЧЕГО НЕ ДЕЛАЙТЕ НА СЕРВЕРЕ В ПЯТНИЦУ ВЕЧЕРОМ!
Почему? Потому что и у ребят, которые держат хостинг тоже есть выходные. Они оставляют дежурного специалиста, и я на собственном опыте убедился, что в это время суток сажают не самых лучших. Но это ладно, тема для отдельного разговора.
Сначала я подумал, что трафик просел из-за Пасхи , люди гуляют, интернетом пользуются реже. На выходных у меня всегда проседает немного посещаемость, а на большие праздники еще сильнее.
Но наступил понедельник, а трафик так и остался на пасхальном уровне, и вот тогда я начал беспокоиться. Полез стразу в Яндекс вебмастер, и вот что я вижу:
40% статей на этом блоге вылетели из индекса! Понятно, почему ! Связано ли это с падением сервера? Захожу в Яндекс вебмастер и сморю на исключенные страницы:
Как хорошо видно на фото, страницы вылетели из индекса 23 числа. Когда было падение сервера? Смотрим:
Как видно на графике, падение сервера было тоже 23 числа. Но это пока догадки, написал в Яндекс, через несколько часов получил ответ:
Здравствуйте, Андрей!
Все указанные страницы Вы можете найти среди исключенных из поиска в соответствующем разделе «Яндекс.Вебмастера». Дело в том, что 23 апреля, когда робот обращался к ним, Ваш сервер вернул код ответа 404. Сейчас со страницами все в порядке, роботу уже об этом известно, поэтому они смогут вернуться в поиск уже после следующего обновления поисковой базы.
О двух других сайтах, пожалуйста, напишите отдельно с помощью формы на странице .
Правило вести о каждом сайте отдельную переписку помогает нам избежать путаницы и быстрее отвечать Вам.
Спасибо за понимание, ждем Вашего письма!
Все ясно, пришел робот, а сайт в ауте, он не долго мучаясь выкинул пол сайта из индекса. МОЛОДЕЦ! ВОЗЬМИ С ПОЛКИ ПИРОЖОК!
Я все понимаю, алгоритмы там всякие, но вот объясните мне, сотрудники Яндекса: почему ОДИН раз не найдя страницу ваша поисковая система сразу выкидывает ее из индекса? В то же время у меня до сих пор в индексе много страниц, которые я уже как пол года назад удалил, и они все в индексе?
Но не об этом даже хотел я написать, это была прелюдия. В процессе решения этого вопроса у меня возник закономерный вопрос:
Как найти страницы выпавшие из Яндекса?
Рыская по интернету я нашел отличное решение по МАССОВОМУ поиску выпавших из индекса страниц, будь то из Яндекса или Google. Для этого нам понадобятся две программы: SiteMap Generator и .
Первая программа (бесплатная) поможет нам выкачать с сайта все статьи. Запускаем программу, пишем адрес сайта и запускаем сканирование:
Когда все страницы собраны, переходим во вкладку Yahoo и копируем список всех страниц.
Далее вставляем все это в таблицу EXEL и сортируем по алфавиту. Так как программа спарсила нам и все картинки, которые нам не нужны, благодаря сортировке мы сможем все их быстро найти и удалить. Теперь открываем Key Collector и идем в НАСТРОЙКИ программы:
В ИНТЕРФЕЙСЕ настраиваем все так, как показано на фото выше. Далее переходим в другую вкладку и удаляем все символы из указанных полей:
Теперь прописываем в верхнем правом поле адрес нашего сайта и запускаем сбор позиций Яндекс или Google:
После того как все закончилось выгружаем результат в EXEL. Что мы видим?
А видим простую картину: если страница не в индексе, то в выдаче релевантной страницей будет главная страница или другая похожая статья. Отсортируем левую колонку по алфавиту и сразу увидим страницы, которые выпали из индекса:
Все это делается за пять минут. Что дальше? В моем случае нужно ждать обновления выдачи (сегодня утром он случился), если же страницы выпали из индекса по другим причинам, то можно загнать их обратно способами, изложенными в этой статье — как можно ускорить индексацию сайта?
Написал это больше для себя, чтобы не забыть алгоритм, все может повторится, ну и вам может быть пригодится. И еще урок для всех: держи ноги в тепле, в сервер в холоде…
Не нашли ответ? Воспользуйтесь поиском по сайту
Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам:
Страница перенаправляет робота на другие страницы.
Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.
Если вы устранили причину удаления страницы, . Так вы сообщите роботу об изменениях.
Вопросы и ответы про исключенные из поиска страницы
На странице правильно заполнены метатеги Description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?
Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом метатегам стоит уделять внимание. Например, метатег Description и элемент title могут создаваться автоматически, повторять друг друга.
Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.
Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?
Это может происходить по нескольким причинам:
Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.
Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. по интересеющему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.
В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?
Каждый опытный вебмастер хотя бы раз в своей практике встречается с такой проблемой, что страницы сайта выпадают из индекса поисковых систем. Если вы с этим тоже столкнулись, то в этой статье мы разберем причины возникновения такого явления . Д ля начала нам нужно собрать все страницы которые были исключены с индекса и поддать их следующему анализу по следующим критериям:
10 основных причин выпадения страниц сайта из индекса Яндекса
Давайте разберем подробно причины выпадения из индекса поисковых систем страниц сайта. Почему это произошло и как поступить в сложившейся ситуации. Анализ можно провести самостоятельно и так же самостоятельно исправить выявленные проблемы.
Некачественный контент
Неуникальность . Конечно, если вы написали сами вполне внятный текст, проверяли на уникальность при публикации, и не постили где-нибудь еще, то тут может быть только одна причина – статью скопировали, разместили на стороннем ресурсе и скорее всего поисковые системы посчитали что первоисточник не вы.
Что делать? Проверьте текст на уникальность. Как это делать вы можете почитать в статье. Если вы нашли дубликаты в сети, то советуем проверить, как Яндекс относится к вашему тексту. Выберите один абзац не уникального текста, скопируйте и вставьте в поисковую строку Яндекса, возьмите этот кусочек текста в кавычки.
Если ваш сайт в выдаче находится первый, то волноваться нечего — ваш текст Яндекс считает первоисточником и ранжирует выше копий.
Если же наоборот – то надо обращаться с жалобой к владельцу сайта и хостинговой компании с просьбой удалить сворованный контент. При составлении письма советуем изучить закон об авторском праве и меры наказания за его нарушение.
Плохое качество контента. Что тут имеется ввиду? Это может быть грубый рерайт, размноженный текст с помощью синонимайзеров и прочих программ. Что делать? Переписать или дописать статью, так как плохой контент по сути никому не интересен.
Переоптимизация контента. Проверьте статью, которая выпала из индекса на количество вхождений ключевых слов. Сделать это можно любым сервисом http://advego.ru/text/seo/ или http://istio.com/rus/text/analyz/ . Тут обращайте внимание на максимальный процент по слову. Он должен быть максимум до 4%, или же ориентируйтесь по ТОПу выдачи, какой процент вхождения используют конкуренты, статьи которых занимают первые позиции. Так же обратите внимание как у вас прописаны метатеги: Title, Disсription, заголовок H1 и другие подзаголовки с тексте. Возможно вы перестарались и слишком много употребили ключевых слов.
Технические проблемы
Если сайт постоянно недоступен для ботов Яндекса, то поисковая система может посчитать, что данная страница уже не существует и исключить из поисковой выдачи. Иногда такие косяки бывают со стороны хостинга. Если он постоянно подводит, сайт часто становится недоступным, то надо переносить свои сайты на другой более качественный хостинг.
Так же проверьте, закрыта ли страница для индексации (проверьте запрещающие директивы файла роботс, и наличие атрибута noindex в metarobots. Вы могли не корректно настроить какой-нибудь плагин или CMS и случайно закрыть доступ роботам к индексации данного урл адреса.
За нарушение закона
Контент, размещенный на данной странице может нарушать закон об авторском праве. Или не соответствовать нормам, правилам и действующему законодательству РФ.
Что делать? Изучать более детально закон под действие которого попал ваш сайт. Если есть ошибки со стороны поисковой системы то это стоит решить в частной переписке со службой поддержки, если все по закону то удалить все нарушающие закон материалы и больше так не делать
Много исходящих ссылок с страницы
Проверьте количество исходящих ссылок, обратите внимание так же на количество расположенной рекламы. За агрессивную продажу ссылок Яндекс может посчитать страницу (или весь сайт) спамным, не соответствующим критериям качественного сайта.
Что делать? Убрать максимально возможное количество внешних ссылок, ведущие на сторонние ресурсы или закрыть их от индексации атрибутом rel=nofollow.
Дубли страниц внутри сайта
Очень частая мера при нахождении роботом в индексе страниц дублей это удаление лишних на усмотрение робота, и не редко бывает что удаляются совсем не те страницы которые нужно.
Что делать? Если у вас в индексе 24000 страниц а уникального контента всего 300 страниц, то будьте готовы к внезапному удалению 23500-23600 страниц или же, если лишние страницы не приносят вам трафик, пропишите корректные правила индексации в файле robots.txt и закройте все страницы не имеющие полезного уникального содержания.
Плохое качество сайта
У вас может быть изумительный контент, но если он будет подан на сломанной верстке или на совсем не естественной цветовой гамме то среднестатический пользователь вряд ли будет ее читать а скорее всего перейдет к конкурентам. Накопление статистики плохих поведенческих факторов может привести к наложению фильтра на ваш сайт.
Санкции в поисковых системах
Не стоит упускать такой момент, как фильтры поисковых систем. Как правило они накладываются уже за очень грубое и систематическое нарушение описанных здесь причин и если вы получили АГС или Бан тогда вам стоит пересмотреть все предыдущие пункты и найти конкретную причину за который вы получили санкции.
Глюк Яндекса
Если вы все проверили, но грубых нарушений не обнаружили, то это может быть обычный глюк Яндекса. Такое периодически бывает, и как правило восстанавливается в следующие 1-2 апдейта.
04:16 pm - Пропала страница из поисковой выдачи Яндекса
Яндекс - это загадка! По идее 1000 страниц (уникального?) контента должны давать как минимум 1000 посетителей. Если речь идёт о поисковом трафике, то здесь многое зависит от того, сколько страниц находится в индексе (базе данных) поисковой системы. Конечно, там много всяких факторов, но меня интересует вот что: как и почему пропадают страницы из этого самого индекса Яндекса?
Примечание : эту тему я подымал в своём журнале неоднократно. Проблемы и индексации, на живом примере, достаточно актуальны и вот только теперь, благодаря ответам Александра Садовского , руководитель отдела веб-поиска Яндекса, на первом в истории существовании SEO в Рунете закрытом круглом столе, нашёлся таки хоть какой-то более-менее реальный ответ.
В сервисе Яндекс.Вебмастер есть такие параметры как количество загруженных роботом страниц и количество страниц в поиске. Параметр загружено роботом подразумевает количество страниц, к которым смог (успел?) обратиться робот поисковой системы. Параметр страниц в поиске подразумевает количество страниц, загруженных роботом, прошедших все проверки и участвующих в поиске.
Понятно, что дубликаты, редиректы, спам и т.д. не попадают в результаты поиска. В тоже время, бывает и так, что страница проиндексировалась нормально, а потом исчезла в неизвестном направлении. Именно поэтому значения выше упомянутых параметров могут значительно отличаться друг от друга. Например, у моего журнала, на момент написания заметки, были следующие значения: загружено роботом - 684 , страниц в поиске - 313 . И это ещё не самый худший вариант.
Дело в том, что при ранжировании страницы в Яндекс учитывается множество статических (связанных с самим сайтов) и динамических (зависящих от запроса пользователя) факторов. Если страница не появляется даже на тысячном месте, вне зависимости от сочетания этих факторов, то смысла хранить её нет. Поэтому, со временем, она может исчезнуть из поисковой выдачи. Другими словами, несмотря на то, что сайт нужно делать для людей, но только спрос может обеспечить существование вашей страницы в поисковой выдаче.
Примечание : если говорить о ЖЖ не стоит забывать, что архив здесь закрыт для индексации, а в общей ленте выводятся далеко не все заметки. Лично у меня на странице?skip=390 , ссылка Previous 10 entries ведёт уже в архив.
Comments:
Поэтому уникальный контент в ЖЖ нет смысла постить. Теперь я понимаю копипастеров. Спасибо за пост. Многое прояснилось теперь.
Почему же нет смыла? Главное чтоб он успел попасть в индекс. Можно также периодически перелинковку делать, т.е. в новых статьях давать ссылки на старые. Можно ещё обновить дату, сабж в RSS не попадёт но будет на главной странице. В общем, всё относительно.
Речь же в моей заметке не об этом, а о том чтоб контент был вообще востребован и входил хотя бы в первую 1000 по какому-то из более-менее актуальных поисковых запросов.
Вот про тысячу страниц контента и как минимум тысячу посетителей, как становится ясно из видео, фотография из которого в этой статье выложена, Яндекс и говорит.
Правда, я так и не понял, зачем им подобные трудности с отбором мусора, если весь мусор всё равно присутствует в архиве загруженных роботом страниц. Они заявляют, что если контент не запрашивается пользователями, он не будет показан - и пусть не показывают, зато объединили бы "Страницы в поиске" и "Загружены роботом". Была бы одна база, меньше трудностей и, следовательно, меньше проблем...
Ну, мусор не показывают чтоб ресурсы сэкономить - это понятно. А информация "Страниц в поиске" и "Загружены роботом" всё таки нужна. Хотя бы для того, чтоб вебмастер мог сориентироваться нет ли проблем при индексации его сайта. Хотя, здесь было бы удобней, если бы Яндекс показывал какие именно страницы загружены роботом, а то только одна структура. А лучше всего страницы, которые исключены из поиска, тогда сразу можно было бы понять над чем нужно поработать. В общем, как всегда что-то и как-то не так в логике, но имеем то, что имеем (имхо).
Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.
Нет уверенности, но кое-какие наблюдения наводят на мысль, что эффект проявляется при проигрывании флеш баннеров. Может быть такое прооисходит, если у клиента установлен плеер старой и дырявой версии? Вообщем, проблема есть, не распространенная, но есть. Было бы проще, конечно, если бы гарантировано можно было вопсроизводить этот эффект. А так, клиентов не удобно просить- выключть, включить и пр для экспериментов. МОжет такое встречаплось у кого-нибудь?
","contentType":"text/plain"},"proposedBody":{"source":"
Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.
Нет уверенности, но кое-какие наблюдения наводят на мысль, что эффект проявляется при проигрывании флеш баннеров. Может быть такое прооисходит, если у клиента установлен плеер старой и дырявой версии? Вообщем, проблема есть, не распространенная, но есть. Было бы проще, конечно, если бы гарантировано можно было вопсроизводить этот эффект. А так, клиентов не удобно просить- выключть, включить и пр для экспериментов. МОжет такое встречаплось у кого-нибудь?
Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.
Нет уверенности, но кое-какие наблюдения наводят на мысль, что эффект проявляется при проигрывании флеш баннеров. Может быть такое прооисходит, если у клиента установлен плеер старой и дырявой версии? Вообщем, проблема есть, не распространенная, но есть. Было бы проще, конечно, если бы гарантировано можно было вопсроизводить этот эффект. А так, клиентов не удобно просить- выключть, включить и пр для экспериментов. МОжет такое встречаплось у кого-нибудь?
","contentType":"text/plain"},"authorId":"6446625","slug":"8396","canEdit":false,"canComment":false,"isBanned":false,"canPublish":false,"viewType":"old","isDraft":false,"isOnModeration":false,"isSubscriber":false,"commentsCount":33,"modificationDate":"Thu Oct 17 2013 14:14:00 GMT+0000 (UTC)","showPreview":true,"approvedPreview":{"source":"
Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.
Нет уверенности, но кое-какие наблюдения наводят на мысль, что эффект проявляется при проигрывании флеш баннеров. Может быть такое прооисходит, если у клиента установлен плеер старой и дырявой версии? Вообщем, проблема есть, не распространенная, но есть. Было бы проще, конечно, если бы гарантировано можно было вопсроизводить этот эффект. А так, клиентов не удобно просить- выключть, включить и пр для экспериментов. МОжет такое встречаплось у кого-нибудь?
","html":"Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.","contentType":"text/plain"},"proposedPreview":{"source":"
Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.
Нет уверенности, но кое-какие наблюдения наводят на мысль, что эффект проявляется при проигрывании флеш баннеров. Может быть такое прооисходит, если у клиента установлен плеер старой и дырявой версии? Вообщем, проблема есть, не распространенная, но есть. Было бы проще, конечно, если бы гарантировано можно было вопсроизводить этот эффект. А так, клиентов не удобно просить- выключть, включить и пр для экспериментов. МОжет такое встречаплось у кого-нибудь?
","html":"Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.","contentType":"text/plain"},"titleImage":null,"tags":,"isModerator":false,"publishCount":1,"commentsEnabled":true,"url":"/blog/partner/8396","urlTemplate":"/blog/partner/%slug%","fullBlogUrl":"https://yandex.ru/blog/partner","addCommentUrl":"/blog/createComment/partner/8396","updateCommentUrl":"/blog/updateComment/partner/8396","addCommentWithCaptcha":"/blog/createWithCaptcha/partner/8396","changeCaptchaUrl":"/blog/api/captcha/new","putImageUrl":"/blog/image/put","urlBlog":"/blog/partner","urlEditPost":"/blog/56a93308d97351872e73283f/edit","urlSlug":"/blog/post/generateSlug","urlPublishPost":"/blog/56a93308d97351872e73283f/publish","urlUnpublishPost":"/blog/56a93308d97351872e73283f/unpublish","urlRemovePost":"/blog/56a93308d97351872e73283f/removePost","urlDraft":"/blog/partner/8396/draft","urlDraftTemplate":"/blog/partner/%slug%/draft","urlRemoveDraft":"/blog/56a93308d97351872e73283f/removeDraft","urlTagSuggest":"/blog/api/suggest/partner","urlAfterDelete":"/blog/partner","isAuthor":false,"subscribeUrl":"/blog/api/subscribe/56a93308d97351872e73283f","unsubscribeUrl":"/blog/api/unsubscribe/56a93308d97351872e73283f","urlEditPostPage":"/blog/partner/56a93308d97351872e73283f/edit","urlForTranslate":"/blog/post/translate","urlRelateIssue":"/blog/post/updateIssue","urlUpdateTranslate":"/blog/post/updateTranslate","urlLoadTranslate":"/blog/post/loadTranslate","urlTranslationStatus":"/blog/partner/8396/translationInfo","urlRelatedArticles":"/blog/api/relatedArticles/partner/8396","author":{"id":"6446625","uid":{"value":"6446625","lite":false,"hosted":false},"aliases":{},"login":"rlocman","display_name":{"name":"Муратов С..mds.yandex.net/get-yapic/0/0-0/islands-middle","isYandexStaff":false},"originalModificationDate":"2013-10-17T10:14:40.000Z","socialImage":{"orig":{"fullPath":"http://avatars.yandex.net/get-yablog/4611686018427441880/normal"}}}}}">
