Много е важно всички страници на вашия сайт да бъдат индексирани в търсачките (Yandex, Google и др.).
- Първо, ако страницата не е в индекса, тогава хората няма да могат да я намерят и вие сте загубили време (и вероятно пари) за нейното създаване, съдържание и дизайн. Всяка страница в индекса е източник на посетители.
- Второ, ако дадена страница не е в индекса, това може да означава технически проблеми на сайта, като например дублирано съдържание, проблеми в сайта или хостинга.
- Трето, тази страница може да играе техническа роля, например да участва в схема за свързване (или да съдържа платени връзки, за които няма да ви бъде платено, ако страницата не е в индекса).
Работейки с клиенти, многократно съм се сблъсквал с факта, че поради проблеми с индексирането имаше лоши позиции. Това е технически проблем, който обикновено коригирам през първия месец на сътрудничество, поради което има забележимо увеличение на посетителите и позициите още от 2-рия месец.
По-долу ще разгледам ръчни и автоматизирани начини за проверка на индексирането на страници в Yandex и Google. ще ти покажа как да проверите индексирането на сайтаобщо и всяка страница поотделно.
Как да разберете броя на страниците на сайта
Това може да стане по няколко начина:
Сега, след като знаем действителния брой страници, трябва да проверим колко от тях са индексирани в Yandex и Google
Разглеждаме индексирането на сайта като цяло
В този случай откриваме Колко страници от сайта са индексирани в търсачката?. Какво ни дава това? Знаейки действителния брой страници на сайта, можем да сравним дали той съответства на броя на индексираните страници. И ако съвпада, тогава всичко е наред, а ако не, тогава трябва да разберете проблема и да разберете кои страници липсват (или кои страници имат дубликати).
Индексиране на сайтове в Yandex
Няколко начина.
Както можете да видите, данните са малко по-различни. Това се дължи на факта, че дизайнът url:your-site показва не само страници, но и други типове файлове (doc, xls, jpg и др.). Уеб администраторът показва точно броя на страниците.
Индексиране на уебсайтове в Google
Тук, подобно на Yandex, има 2 начина:
- Ръчно използване на сайта: конструкцията на вашия сайт. Ефектът ще бъде приблизително същият като при Yandex.
- Използване на Google Webmaster Tools https://www.google.com/webmasters/(аналогично на Yandex.Webmaster)
автоматични методи
Какво следва
След като вече знаем колко от действителните страници са индексирани, може да има 3 ситуации:
- Броят на страниците в търсачките и в сайта е еднакъв. Това е идеален вариант, това означава, че всичко е наред със сайта.
- Броят на индексираните страници е по-малък. Това означава, че има проблеми със сайта (най-популярният проблем е неинформативното или неуникалното съдържание)
- Броят на индексираните страници е по-голям. Най-вероятно имате проблем с дублиране на страници, т.е. една страница може да бъде достъпна на няколко адреса. Това е лошо за повишението, защото... Статичното тегло на страницата е замъглено и в допълнение има много страници с повтарящо се съдържание.
За по-нататъшна диагностика на сайта ще трябва да разберем кои страници са точно индексирани и кои не са включени в индекса.
Как да проверите индексирането на една страница
Това може да ни е необходимо, когато искаме да проверим конкретна страница от нашия сайт (например наскоро публикувана) или страница от сайт на някой друг (например, където сме купили връзка и чакаме тя да бъде индексирана)
Как да проверите индексирането на всички страници поотделно
В този случай ние ще проверим всички страници на сайта за индексиране наведнъж и в резултат ще разберем Кои конкретни страници не са индексирани в търсачката?.
Тук трябва да знаем не само броя на действителните страници на сайта, но и списъка с адреси на тези страници (техните url). Това е може би най-трудното нещо в тази статия. Изглежда, че сме получили списък със страници, когато генерирахме картата на сайта, но адресите там не се съдържат в чист вид и трябва да можете да работите с някакъв вид програма за обработка на данни, за да ги извлечете. Затова ще използваме друга програма.
Как да получите списък на всички страници в сайта
Преди да събирате връзки, трябва да конфигурирате параметъра Exclude Patterns. Това се прави, за да се изключат ненужните връзки при събиране, например в моя случай, когато се събират много адреси като: https://site/prodvizhenie/kak-prodvigayut-sajjty.html? replytocom=324#respond, които сочат към коментар на страницата. И имам нужда само от адреса на страницата. Затова конфигурирах изключване на адреси с помощта на маската *replytocom*:
След това започваме да събираме URL адреси и когато програмата приключи със събирането им, отидете в раздела Yahoo Map / Text и копирайте адресите от там (Бутонът за запазване не работи, защото използваме безплатната версия на програмата)
Сега имаме адресите на всички страници.
Как да проверя автоматично индексирането на страницата
Тук всичко е просто. След като стартирате програмата, добавете списъка с URL адреси на вашия сайт, събрани в последната стъпка, и ги добавете към списъка с URL адреси на източника. Програмата ви позволява да проверите индексирането в Yandex, Google и Rambler, изберете желаната търсачка и стартирайте проверката:
След като сте получили списък със страници, които не са включени в индекса, трябва да разберете защо това се е случило. Ако всичко е наред със страницата, тогава, за да бъде включена в индекса, можете да закупите връзки към нея или няколко ретуита от надстроени акаунти.
Заключение
Възможността да проверявате индексирането на страниците на вашия уебсайт ще ви позволи да работите по-продуктивно с търсачките, както и да идентифицирате съществуващи проблеми със сайта.
Понякога трябва да предотвратите показването на страниците на сайта или поставените върху тях връзки в резултатите от търсенето. Можете да скриете съдържанието на сайта от индексиране, като използвате файла robots.txt, HTML маркиране или оторизация на сайта.
Забрана за индексиране на сайт, раздел или страница
Ако някои страници или секции от сайта не трябва да бъдат индексирани (например със собствена или поверителна информация), ограничете достъпа до тях по следните начини:
Използвайте оторизация на сайта. Препоръчваме този метод, за да скриете главната страница на сайт от индексиране. Ако началната страница е забранена във файла robots.txt или с мета маркера noindex, но връзките сочат към нея, страницата може да се окаже в резултатите от търсенето.
Забрана за индексиране на съдържанието на страницата
Скрийте част от текста на страницата от индексиранеВ HTML кода на страницата добавете елемента noindex. Например:
Елементът не е чувствителен към влагане - може да се намира навсякъде в HTML кода на страницата. Ако трябва да направите кода на сайта валиден, можете да използвате етикет в следния формат:
текст, който да бъде предотвратен от индексиранеСкриване на връзка на страница от индексиране
В HTML кода на страницата добавете атрибута към елемента a. Например:
Атрибутът работи подобно на директивата nofollow в мета тага robots, но се прилага само за връзката, за която е посочен.
Ако има проблеми с индексирането, първо трябва да проверите robots.txt и sitemap.xml.
Всяка търсачка има голяма база данни, в която са изброени всички сайтове и нови страници. Тази база се нарича "индекс". Докато роботът не обходи HTML документа, не го анализира и не го добави към индекса, той няма да се появи в резултатите от търсенето. Достъпът до него ще бъде възможен само чрез връзка.
Какво означава "индексиране"?
Никой не може да ви каже за това по-добре от специалиста по индексиране на Yandex:
Индексирането е процес, по време на който робот за търсене обхожда страниците на сайта и включва (или не включва) тези страници в индекса на търсачката. Търсачът сканира цялото съдържание, извършва семантичен анализ на текстовото съдържание, качеството на връзките, аудио и видео файлове. Въз основа на всичко това търсачката прави изводи и поставя сайта в класацията.
Докато сайтът е извън индекса, никой няма да знае за него, освен тези, на които можете да разпространявате директни връзки. Тоест ресурсът е достъпен за преглед, но не е в търсачката.
Защо ви е нужен индекс?
Сайтът трябва да бъде видим, за да се популяризира, расте и развива. Уеб ресурс, който не се показва в нито един PS, е безполезен и не е от полза нито за потребителите, нито за неговия собственик.
Като цяло, ето пълното видео от школата за уеб администратори на Yandex; ако го гледате изцяло, ще станете практически експерт по въпроса за индексирането:
От какво зависи скоростта на индексиране?
Основните точки, които определят колко бързо вашият сайт може да привлече вниманието на роботите за търсене:
- Възраст на домейна (колкото по-старо е името на домейна, толкова по-благоприятни са ботовете към него).
- Хостинг (PS изобщо не обичат безплатния хостинг и често го пренебрегват).
- CMS, чистота и валидност на кода.
- Скорост на опресняване на страницата.
Какво е бюджет за обхождане?
Всеки сайт има бюджет за обхождане – тоест броят страници, след който не може да бъде включен в индекса. Ако KB на сайта е 1000 страници, тогава дори да имате десет хиляди от тях, в индекса ще има само хиляда. Размерът на този бюджет зависи от това колко авторитетен и полезен е вашият сайт. И ако имате проблем от такова естество, че страниците не попадат в индекса, тогава като опция трябва, колкото и тривиално да звучи, да подобрите сайта!
Индексиране на сайта
Когато създавате нов уебсайт, трябва да попълните правилно файла robots.txt, който казва на търсачките дали ресурсът може да бъде индексиран, кои страници да обхождате и кои да не докосвате.
Файлът се създава във формат txt и се поставя в основната папка на сайта. Подходящите роботи са отделен въпрос. Този файл основно определя какво и как ботовете ще анализират на вашия сайт.
Обикновено търсачките отнемат от няколко седмици до няколко месеца, за да оценят нов сайт и да го въведат в базата данни.
Паяците внимателно сканират всеки разрешен HTML документ, определяйки подходящата тема за нов млад ресурс. Това действие не се извършва за един ден. С всяко ново обхождане PS ще добавя все повече и повече HTML документи към своята база данни. Освен това, от време на време съдържанието ще бъде преоценявано, в резултат на което позициите на страниците в резултатите от търсенето могат да се променят.
Мета тагът robots и частично canonical също помагат при управлението на индексирането. Когато проверявате структурата и решавате проблеми с индексирането, винаги трябва да търсите тяхното присъствие.
Google първо индексира страниците от най-високо ниво. Когато нов сайт със специфична структура трябва да бъде индексиран, началната страница е първата страница, която се индексира. След това, без да знае структурата на сайта, търсачката ще индексира това, което е най-близо до наклонената черта. По-късно се индексират директории с две наклонени черти. Това означава, че дори ако връзките в съдържанието са високи, не е задължително те да бъдат индексирани първи. Важно е да го структурирате оптимално, така че важните секции да не са зад твърде много наклонени черти, в противен случай Google ще реши, че това е страница от ниско ниво.
Индексиране на страницата
Когато Yandex и Google вече са се запознали със сайта и са го „приели“ в своята база данни за търсене, ботовете ще се върнат към ресурса, за да сканират нови, добавени материали. Колкото по-често и редовно се актуализира съдържанието, толкова по-отблизо паяците ще го следят.
Казват, че плъгинът PDS pinger за търсене в Yandex помага за индексирането - https://site.yandex.ru/cms-plugins/. За да направите това, първо трябва да инсталирате Yandex search на вашия уебсайт. Но не почувствах голяма полза от него.
Когато даден ресурс е добре индексиран, е много по-лесно да се показват отделни, нови страници в търсенето. Но въпреки това анализът не винаги се извършва равномерно и с еднаква скорост за всички едновременно актуализирани html документи. Най-посещаваните и популяризирани категории на ресурса винаги печелят.
Какви източници на информация имат търсачките за URL адресите?
Веднъж наех бърз робот да работи върху конкурент, който не беше подновил домейна си, за да падне надолу в резултатите от търсенето - това не даде никакъв резултат.
Как да проверите индексирането
Проверката на видимостта на html документи се извършва по различен начин за Google и Yandex. Но като цяло няма нищо сложно. Дори и начинаещ може да направи това.
Проверка в Yandex
Системата предлага три основни оператора, които ви позволяват да проверите колко HTML документа има в индекса.
Операторът “site:” показва абсолютно всички страници с ресурси, които вече са в базата данни.
Въведете в лентата за търсене, както следва: сайт:сайт
Операторът “host:” ви позволява да видите индексирани страници от домейни и поддомейни в рамките на хостинга.
Въведете в лентата за търсене, както следва: хост:сайт
Операторът “url:” – показва конкретната заявена страница.
Въведете в лентата за търсене, както следва: url:site/obo-mne
Проверката на индексирането с тези команди винаги дава точни резултати и е най-лесният начин за анализиране на видимостта на даден ресурс.
Google проверка
PS Google ви позволява да проверите видимостта на даден сайт, като използвате само една команда като site:site.
Но Google има една особеност: той обработва командите по различен начин с и без въведен www. Yandex не прави такова разграничение и дава абсолютно еднакви резултати, както с регистриран www, така и без.
Проверката от оператори е най-„старомодният“ метод, но за тези цели използвам приставката за браузър RDS Bar.
Проверка с уеб администратор
В услугите за уеб администратори на Google и Yandex можете също да видите колко страници има в базата данни на PS. За да направите това, трябва да имате регистрация в тези системи и да добавите вашия уеб сайт към тях. Можете да получите достъп до тях, като използвате следните връзки:
Същността на това е следното: просто въведете адресите на страниците и услугата ви дава резултатите:
Проверката не е много бърза - ще трябва да изчакате около 3 минути, но има малко оплаквания за безплатния инструмент. Просто го инсталирайте във фоновия прозорец и се заемете с работата си, след няколко минути резултатите ще бъдат готови.
Възможно ли е да се ускори индексирането?
Можете да повлияете на скоростта на зареждане на HTML документи от роботите за търсене. За да направите това, трябва да се придържате към следните препоръки:
- Увеличете броя на социалните сигнали, като насърчите потребителите да споделят връзки в своите профили. Или можете да приемате туитове от акаунти на живо в Prospero (klout 50+). Ако създадете свой собствен бял списък в Twitter, смятайте, че сте получили мощно оръжие за ускоряване на индексирането;
- Добавяйте нови материали по-често;
- Можете да започнете да въртите Direct за най-евтините заявки във вашата тема;
- Въведете адреса на новата страница в addurilki веднага след нейното публикуване.
Високите поведенчески фактори на сайта също имат положителен ефект върху скоростта на актуализиране на страницата при търсене. Затова не забравяйте за качеството и полезността на съдържанието за хората. Сайт, който потребителите наистина харесват, определено ще хареса роботите за търсене.
Като цяло в Google всичко е много лесно - можете да добавите страница към индекса в рамките на няколко минути, като я сканирате в панела за уеб администратори (item crawl/view as Googlebot/add to index). По същия начин можете бързо да преиндексирате необходимите страници.
Чух и истории за момчета, които изпратиха URL адреси чрез пощата на Yandex, за да влязат по-бързо в индекса. Според мен това са глупости.
Ако има реален проблем и всички предишни съвети не помогнаха, остава само да преминете към тежка артилерия.
- Ние конфигурираме Last-modified заглавките (така че роботът да проверява за актуализации само документи, които действително са се променили след последното му извикване);
- Ние премахваме боклука от индекса на търсачката (този боклук може да бъде намерен с помощта на Comparser);
- Скриваме всички ненужни/ненужни документи от робота;
- Създаваме допълнителни файлове Sitemap.xml. Обикновено роботите четат до 50 000 страници от този файл, ако имате повече страници, трябва да направите повече карти на сайта;
- Настройка на сървъра.
Добър ден, скъпи приятели. Много начинаещи уебмастъри, които самостоятелно популяризират своите сайтове, не обръщат достатъчно внимание на индексирането на техния ресурс. Това води до загуба на време и средства, изразходвани за създаване на неефективна интернет платформа, която не се харесва на търсачките и съответно на потребителите и рекламодателите.
Затова днес, продължавайки поредицата от статии за изграждането на уебсайтове, ще говорим за това как да проверим дали сайтът като цяло и отделните му страници в частност са индексирани, а също така ще обсъдим как и защо трябва да ускорите индексирането процес.
Вече неведнъж сме казвали, че това е възможно само ако постигнем високо ниво на трафик, което е интересно за потенциалните рекламодатели.
Повечето потребители стигат до определен ресурс от търсачките, като въвеждат заявки, които ги интересуват. Роботите за търсене проверяват тези заявки спрямо тяхната база данни и показват оптимални резултати от търсенето. За да бъде включен даден сайт в тази база данни, той трябва да бъде индексиран от търсачката. В противен случай посетителите просто няма да могат да го намерят.
В същото време е много важно не само даден ресурс, но всяка негова нова страница да бъде взета предвид от търсачката възможно най-бързо. Оптимално е, ако съдържа вътрешно свързване, което ви позволява не само да добавяте нов материал към базата данни, но и да актуализирате стария, като използвате посочените връзки.
Защо индексирането трябва да е бързо?
В допълнение към увеличаването на посещаемостта, скоростта на индексиране влияе и на много други показатели за ресурсите.
Всеки ден в интернет се появяват нови сайтове, чиито теми се конкурират с вашия уеб сайт. Всички те са изпълнени с подобно съдържание, което с нарастването на броя на конкурентите губи своята уникалност. Това се случва, защото повечето сайтове публикуват множество пренаписвания. С прости думи, ако сте написали уникална статия и не сте се погрижили веднага да бъде взета предвид от търсачката, не е факт, че в момента материалът ще остане уникален.
Освен това неиндексираното съдържание се превръща в вкусна цел за измамници. Нищо не пречи на безскрупулен уеб администратор просто да копира материала в своя ресурс, да извърши бързо индексиране и да получи правото на авторство от роботи за търсене. И търсачките ще считат вашата статия за неуникална в бъдеще, което може да доведе до забрана на интернет сайта. Следователно контролирането и ускоряването на процеса на индексиране е особено важно за младите ресурси, които си проправят път.
Друг момент, който зависи от бързото индексиране на всяка страница, е възможността да получавате пари за платени връзки. В крайна сметка, докато статията с връзката не бъде индексирана от търсачките, няма да получите наградата си.
Как да проверите дали сайтът като цяло е индексиран?
Първо, трябва да се уверите, че вашият сайт е включен в базата данни на търсачката. За да направите това, трябва да разберете общия брой на страниците му. Ако имате модерна система за управление на уеб ресурси, можете да видите тази фигура в административния раздел. В този случай се взема предвид общият брой страници и записи.
Ако по някаква причина тази информация не е налична, можете да използвате услугата Xml-sitemaps.com. Моля, имайте предвид, че е безплатно само при работа със сайтове, които имат до пет хиляди страници в своя арсенал.
След като разберете необходимия брой, можете да започнете да проверявате индексирането на сайта в основните търсачки - Yandex и Google. Има няколко начина да направите това:
- Използване на специални инструменти за уеб администратори: webmaster.yandex.ruИ google.com/webmasters . Като се регистрирате при тях и добавите своя ресурс към системата, ще имате достъп не само до данни за броя на индексираните страници, но и до статистика на други „кореми“.
- Ръчна проверка чрез въвеждане на специални команди в лентата за търсене. В този случай в Yandex трябва да въведете строителния хост: име на сайта + домейн или хост: www + име на сайт + домейн, например хост: abc.ru. За целта системата ще покаже всички индексирани страници. За да проверите в Google, ще трябва да въведете заявката: сайт: име на сайт + домейн, т.е. сайт: abc.ru.
- Използване на автоматични услуги, които проверяват индексирането в двете търсачки едновременно. Те включват напр. Site-auditor.ru, Pr-cy.ruили Seolib.ru. Можете също така да добавите плъгина RDS Bar към вашия браузър, който ще показва информация за ресурса, включително индексиране на страниците, на които се намирате.
Използвайки някой от тези методи, можете да разберете дали сайтът като цяло е индексиран и да определите броя на страниците с ресурси, включени в базата данни на търсачката.
Какво да правим с получената информация?
В идеалния случай броят на страниците на сайта трябва да съответства на броя на индексираните страници. За съжаление не винаги е така. Два сценария са много по-чести:
- Индексираният брой елементи е по-малък. Съответно губите много в трафика, тъй като за много потребителски заявки вашият сайт остава недостъпен за тях.
- Броят на индексираните страници надвишава действителния брой такива страници. Ако имате подобна опция, не трябва да се радвате. Най-вероятно има дублиране на страници, което разрежда теглото им, увеличава броя на повтарящите се материали и пречи на популяризирането на ресурса.
И двата проблема трябва да бъдат разрешени възможно най-бързо. В противен случай рискувате да получите неефективна уеб платформа, на която можете да правите пари само в мечтите си. И за да направите това, ще трябва да проверите индексирането на всички страници поотделно, за да разберете кои от тях са били „завъртани“.
Как да проверите индексирането на отделни или всички страници
Проверката на отделна страница е необходима, когато трябва да сте сигурни, че новото публикувано съдържание е успешно „забелязано“ от търсачките. Или когато сте закупили платена връзка на нечий друг ресурс и сега очаквате нейното индексиране. Това може да стане чрез:
- Въвеждане на URL адреса на страницата в лентата за търсене на Yandex или Google. Ако няма проблеми с възприемането на страницата от търсачките, тя ще бъде показана първа в резултатите от търсенето.
- Вече споменатият плъгин RDS Bar.
За да проверите индексирането на всички страници на сайта, ще ви е необходим списък с техните адреси (URL). За да направите това, можете да използвате всеки генератор на карти на уеб ресурси, например Sitemap Generator. За да събирате само URL адреси на страници, не забравяйте да добавите маска от ненужни адреси, например за коментари, в прозореца „Изключване на шаблони“. В края на процеса трябва да отидете в раздела Yahoo Map/Text, откъдето можете да копирате генерирания списък с всички адреси.
Имайки го в ръка, няма да е трудно да проверите индексирането на всички страници с помощта на програмата YCCY.ru. Просто добавете данни към списъка с изходни URL адреси и изберете една от предложените търсачки: Google, Yandex или Rambler. Щракнете върху бутона „Стартиране на теста“ и получете задоволителни или не толкова задоволителни резултати.
Как да подобрим и ускорим процеса на индексиране?
След като научихте списъка с неиндексирани страници, трябва да разберете причините за това. Преди всичко си струва да проверите качеството на хостинга и самия уеб сайт и да се уверите, че публикуваните материали са уникални. След това наблюдавайте ресурса за съдържание, което е твърде кратко (до 2000 знака без интервали), съдържащо повече от 2-3 връзки към ресурси на трети страни или много Java и Flash връзки. Всички тези фактори могат преди всичко да повлияят на факта, че вашият материал остава „невидим“ за търсачките.
Можете да ускорите процеса на индексиране на сайта, като използвате:
- чести актуализации на уникален материал, който се оценява високо от търсачките;
- компетентно вътрешно оформление на страницата, което позволява на търсачките да виждат ново и да актуализират съдържанието, което вече се съдържа в базата данни;
- публикуване на връзки към статии във всички социални мрежи и тематични форуми;
- закупуване на връзки от подсилен акаунт.
Надявам се, че разбирате, че бързото индексиране на страниците с ресурси е основата за популяризирането му в търсачките, от което пряко зависи вашият потенциален доход.
Инструкции
Проверете дали сайтът е индексиран от търсачката Google, като анализирате страниците с резултати от търсенето. Отворете в URL като: www.google.com/search?&q=allinurl:<адрес_сайта>/+сайт:<адрес_сайта>, където вместо заместител<адрес_сайта>трябва да замените име на домейн, сочещо към вашия сайт. Например, ако домейнът е codeguru.ru, тогава URL адресът ще изглежда така: www.google.com/search?&q=allinurl:codeguru.ru/+site:codeguru.ru. Резултатите от търсенето в този случай ще съдържат всички страници от посочената страница, които присъстват в индекса на Google. Общият брой страници ще бъде посочен в горната част на страницата с резултати от търсенето. Сравнявайки известното число с броя на страниците в резултатите от търсенето, можем да направим извод за степента на индексиране на сайта.
Проверете индексирането на вашия сайт в Google с помощта на инструменти за уеб администратори. Регистрирайте се за Google Webmaster Tools на www.google.com/webmasters/tools/. Влезте в контролния панел на услугата. Добавете сайта към системата и потвърдете правата за управление на сайта. Отидете на адреса https://www.google.com/webmasters/tools/dashboard.
Определете дали сайтът Yandex е индексиран, като анализирате резултатите от търсенето. Отворете страница в браузъра си с адрес като http://yandex.ru/yandsearch?surl=<адрес_сайта>. Вместо маркер<адрес_сайта>Трябва да замените името на домейна на сайта, който се анализира в реда. В горната част на страницата с резултати от търсенето ще бъде посочен общият брой страници на сайта, известни на търсачката. Сравнете го с броя на страниците на сайта.
