SEO оптимізація сайтів: блог для просування сайтів та їхня технічна частина

В тегу <head> кожної сторінки можна вказати додаткові налаштування для роботів. Деколи ці сторінки можуть бути загальні, як, наприклад:

<meta name="robots" content="noindex" />

Copy

або більш конкретні для кожного робота,

<meta name="googlebot" content="noindex">

Copy

Мета теги потрібно розміщати в розділі <head>

<!DOCTYPE HTML>
<head>
<meta name="robots" content="noindex">
...
</head>
<body>...</body>
</html>

Copy

В даному прикладі метатег robots забороняє пошукових системах показувати сторінку в результатах пошуку. Значення атрибута name, який вказує на robots означає що директива призначена для всіх пошукових роботів. Якщо хочете закрити доступ тільки для одного з них, замість robots вкажіть значення потрібного робота, будь-це Google, чи Bing.

Агенти роботів

Окремі пошукові роботи також називаються пошуковими агентами. Наприклад, пошуковий агент для стандартного пошуку Google називається Googlebot.

Список найбільш вживаних роботів

Googlebot
Applebot
Bingbot
msnbot
Slurp
Googlebot-Image
baiduspider
seznambot
Teoma
Yandex
Yeti
msnbot-media
Googlebot-News
Googlebot-Video
Googlebot-Mobile
Mediapartners-Google
AdsBot-Google
DuckDuckBot
daumoa
OrangeBot
OrangeBot-Collector
StackRambler
Twitterbot/1.0
Mail.RU_Bot
naverbot
vebidoobot
MJ12bot
360Spider
Sogou
rogerbot
deepcrawl
ByteSpider
Cincobot

Директиви для індексації

Нижче наведемо директиви які дозволяють керувати індексацією сторінок і показом фрагментів в результатах пошуку.

All – це директива, що не має обмежень щодо індексування та відображення контенту. Вона застосовується за замовчуванням і не впливає на роботу пошукових роботів, навіть якщо вона вказана в коді.

Noindex – це директива, яка забороняє показувати сторінку, медіаконтент або ресурс у результатах пошуку. Якщо її не вказати, сторінка буде проіндексована роботами і показана у результатах пошуку.

Nofollow – заборона на перехід по посиланню сторінки. Якщо не вказувати цю директиву, роботи Google будуть мати можливість використовувати посилання на сторінці для пошуку інших сторінок.

None – правило рівне noindex, nofollow.

Noarchive – не показує силку на кеш в результатах пошуку. Якщо не вказувати це правило, Google може створити кешовану сторінку в результатах пошуку для користувачів.

Nositelinkssearchbox – використовується для того, щоб заборонити відображення вікна пошуку по сайту для даної сторінки у результатах пошуку. Якщо ця директива не буде вказана, у результатах пошуку Google може відображати вікно пошуку по вашому сайту та прямі посилання на його розділи.

Nosnippet – використовується для того, щоб заборонити відображення текстового фрагменту або відео у результатах пошуку. Якщо цю директиву не вказати, роботи Google можуть створювати фрагменти тексту та відео на основі інформації зі сторінки.

Indexifembedded – дозволяє Google індексувати контент сторінки, якщо він вбудований в іншу сторінку за допомогою тега iframes або аналогічного. Відмінність від директиви noindex полягає в тому, що indexifembedded діє тільки тоді, коли присутня директива noindex.

max-snippet – дозволяє обмежувати кількість символів, які будуть показані у текстовому фрагменті на сторінці результатів пошуку Google. Це дозволяє забезпечити кращу якість відображення ваших сторінок у результатах пошуку. Якщо вказати значення 0, то фрагмент не буде показаний, що еквівалентно директиві nosnippet. А якщо вказати значення -1, то Google самостійно обере довжину фрагмента, що дозволить ефективніше залучати користувачів на ваш сайт.

max-image-preview: [setting] – визначає максимальний розмір зображень, які можуть з’являтися в результатах пошуку для конкретної сторінки. Якщо ця директива не вказана, Google вибере розмір за замовчуванням при відображенні зображення в результатах пошуку.

Допустимі значення для [setting]:

none – зображення для попереднього перегляду не буде відображатися;
standard – буде показано зображення для попереднього перегляду за замовчуванням;
large – може бути показано більше зображення, що підходить до максимальної ширини області перегляду.

Якщо ви не бажаєте, щоб канонічні сторінки та їхні AMP-версії відображалися в результатах пошуку Google з більшими зображеннями, ви можете вказати значення standard або none в директиві max-image-preview.

max-video-preview: [number] – дає змогу обмежити тривалість фрагмента відео на сторінці під час відображення в результатах пошуку, задаючи максимальне значення в секундах (не більше [number]).

Якщо не використовувати цю директиву, то фрагмент відео може бути показаний у результатах пошуку без обмежень тривалості. У цьому разі Google визначатиме можливу тривалість попереднього перегляду.

Noimageindex – запобігає індексації зображень, розміщених на сторінці. Якщо не вказати цю директиву, то зображення на сторінці будуть проіндексовані і можуть відображатися в результатах пошуку.

unavailable_after: [date/time] – використовується для заборони відображення сторінки в результатах пошуку після зазначеної дати і часу в одному з основних форматів, таких як RFC 822, RFC 850, ISO 8601 тощо. Якщо не вказати допустиме значення дати і часу, то ця директива буде проігнорована. За замовчуванням у контенту не встановлюється термін дії. Якщо не використовувати цю директиву, то сторінка може бути відображена в результатах пошуку нескінченно довго. Після зазначеної дати і часу сканування URL роботом Googlebot відбуватиметься істотно рідше.

Додатково про метатеги robots

Метатеги robots використовуються для визначення обсягу контенту, який Google може автоматично витягувати з веб-сторінок і показувати в результатах пошуку.

Деякі власники сайтів також застосовують структуровані дані schema.org, щоб надати потрібну інформацію для відображення в результатах пошуку. Обмеження, задані в метатегах robots, не поширюються на структуровані дані, окрім значень “article.description” і “description”, які використовуються для додаткових робіт.

Щоб обмежити максимальну довжину текстового фрагмента в результатах пошуку з урахуванням цих значень “description”, можна використовувати метатег robots із директивою “max-snippet”. Наприклад, якщо на сторінці є структуровані дані для рецептів (recipe), то інформація, що надається ними, може бути відображена в каруселі рецептів, незалежно від обмеження довжини текстового фрагмента. Однак, для структурованих даних для розширених результатів, директива “max-snippet” метатега robots не діятиме.

Замість використання тега <meta> можна повернути в HTTP-відповідь заголовок X-Robots-Tag зі значенням noindex або none. Цей метод можна застосовувати для файлів із форматами, відмінними від HTML, наприклад, для PDF, відео та зображень. Прикладом HTTP-відповіді із заголовком X-Robots-Tag, що забороняє індексування сторінки пошуковими системами, є наступний:

HTTP/1.1 200 OK
...
X-ROBOTS-TAG: NOINDEX
...

Copy

Таким чином, noindex – це правило, яке можна задати за допомогою тега <meta> або заголовка HTTP-відповіді, і яке забороняє індексування контенту пошуковими системами, що підтримують noindex, наприклад Google. Якщо під час сканування сторінки робот Googlebot виявляє такий тег або заголовок, він ігнорує сторінку, навіть якщо на неї посилаються інші сайти.

Щоб виявити теги <meta> та HTTP-заголовки, Google повинен просканувати сторінку. Якщо сторінка продовжує відображатися в результатах пошуку, це може означати, що Google ще не обробив її після встановлення правила noindex. Googlebot може знову відвідати сторінку лише через кілька місяців. Використовуйте інструмент для перевірки URL, щоб запросити повторне сканування сторінки роботом Google.