Сканування та індексація

Сьогодні розберемо тему сканування та індексації сайту. Саме з цієї теми варто починати розбирати проєкт на початку стадії аналізу сайту.

З технічної сторони сканування поділяється на два етапи:

1. Основний зміст сторінки, а також технічні дані про сервер. Це включає в себе відповідь сервера, HTML-код сторінки, файли CSS-стилів, скрипти та зображення.
2. Список посилань, які знаходяться на сторінці.

Отримані дані передаються дальше для подальшого аналізу.

Етап сканування вмісту

З першим етапом все зрозуміло. Google Bot ходить по сайту і збирає інформацію на основі своїх параметрів. Це можуть бути різні фактори від дублікатів до пустої сторінки. Їх результат можна побачити у кабінеті веб-майстра.

Етап сканування посилань

На другому етапі відбувається вже саме сканування посилань (жар. лінків, силок) на сайті, яке він додає у свою індексну базу. Індексна база – це своєрідний список черги на сканування всіх силок на сайті. Кожна пошукова система має свою базу посилань, де зберігаються всі лінки сайту. Чим більше буде одного і того ж посилання на різних сторінках, тим вище буде його індекс, відповідно ця сторінка швидше індексуватиметься.

Одним із способів прискорити індексацію сайту є збільшення кількості посилань на важливі сторінки.

Для прикладу, посилання які розміщенні у меню, будуть скануватися частіше, ніж посилання на якому зі всього сайту посилається тільки один раз.

У Google Search Console можна побачити наступну помилку, яка належить до індексації “Проскановано – наразі не проіндексовано”. На основі даної вкладки можна бачити всі сторінки, які мають проблеми в індексації в пошуковій видачі.

Методи додавання посилань у чергу

Створюючи чергу сканування, Google Bot, так само як і інші пошукові боти, досліджує карту сайту (sitemap) та додає до черги посилання з цієї карти.

Щоб Google дізнався про вашу карту сайту, потрібно додати посилання на неї в інструментах Google Search Console або у файлі robots.txt.

Другий спосіб поліпшити сканування. Створити карту сайту sitemap.xml і повідомити про неї пошуковій системі. Карта сайту – найпростіший спосіб відправити на сканування всі сторінки в рамках нашого домену.

Третій спосіб прискорити сканування. Повідомити пошуковому боту про дату останньої зміни сторінки. Для отримання дати і часу зміни сторінки боти використовують дані з карти сайту, параметр: lastmod і заголовка відповіді сервера lastmodified.

Наявність налаштувань lastmod та lastmodified дозволяє пошуковій системі оперативно отримувати інформацію про те, чи змінювалася сторінка з часу останнього сканування. Завдяки цьому, пошуковий бот надає пріоритет новим і зміненим сторінкам, що дозволяє їм швидше індексуватися.