Відразу після створення сайту новачки хочуть знати, що робити далі.
Наступний крок після створення сайту — додавання сайту в пошукові системи. Якщо цього не зробити, клієнти не знайдуть ваш сайт, поки про нього не дізнаються пошукові роботи. У цій статті ви дізнаєтеся, як зареєструвати сайт в пошукових системах декількома способами.
Як проіндексувати сайт в Google
Існує декілька способів, як проіндексувати сайт в Гугл.
Google Search Console
Google Search Console — це безкоштовний інструмент для вебмайстрів, за допомогою якого можна отримати корисну інформацію, наприклад, про:
- наявність помилок на сайті;
- процес індексації сайту пошуковими системами;
- сайти, які посилаються на ваш ресурс;
- запити, за якими користувачі приходять на сайт з пошукових систем.
Реєстрація сайту в Гугл через Google Search Console — найбільш робочий спосіб повідомити пошуковим роботам Google про новий сайт. Вам потрібно буде зробити підтвердження права на сайт в Google.
Як підтвердити володіння сайтом:
- через домен — якщо потрібно відстежувати аналітику всіх піддоменів, URL-адрес і протоколів сайту;
- через ресурс з префіксом URL — якщо потрібно аналізувати лише конкретний піддомен або сайт на певному протоколі, наприклад, https://domain.com/uk/ або https://www.domain.com/uk/.
В першому випадку вам потрібно додати TXT або CNAME запис в DNS-зону домена. В другому випадку можна додати сайт через файл HTML або HTML tag. Також доступне підтвердження сайту через метатег або DNS-записи, використання акаунту Google Analytics або додавання сайту через Google Tag Manager.
Про те, як додати сайт в Гугл, як підтвердити сайт через DNS та інші методи підтвердження сайту в Гугл, читайте в детальній інструкції про те, як додати сайт в Google Search Console.
Після того, як ви зробили підтвердження сайту в Google Search Console, ви можете додати URL в Гугл пошук через меню «Перевірка URL-адреси»:
У рядку пошуку вводимо адресу сайту або нової сторінки:
Далі вибираємо «Надіслати запит на індексування»:
Якщо сторінка сайту доступна для пошукових роботів, то сторінка відправляється в чергу на індексування:
При купівлі на рік — знижка 20%
Деякі оптимізатори вважають, що цей спосіб прискорює індексацію, якщо у вас декілька нових сторінок, навіть якщо їх немає у вашій карті сайту. Проте якщо у вас багато нових сторінок, ви витратите купу часу на цей спосіб — краще додати сайт в Гугл через sitemap.xml.
Щоб допомогти пошуковим роботам проіндексувати сайт в Гугл, потрібно додати карту сайту в форматі xml: sitemap.xml.
Виглядає sitemap.xml наступним чином:
Створити sitemap.xml можна за допомогою сервісів і програм:
- xml-sitemaps.com (до 500 сторінок безкоштовно, вартість ліцензії від $50.28 на рік);
- Screaming Frog (безкоштовна версія дозволяє просканувати 500 URL, вартість ліцензії ~ $259 в рік);
- Netpeak Spider (безкоштовний 14-денний тріал, вартість ліцензії від $193 на рік, гарантія повернення коштів протягом 14 днів);
- Для сайтів на WordPress плагін Yoast, Rank Math, The SEO Framework або Google XML Sitemaps (безкоштовний).
Детальніше про те, як створити sitemap.xml, читайте в наших статтях:
Якщо ви згенерували sitemap.xml за допомогою сервісу або програми, його потрібно додати на сервер. Це можна зробити за допомогою Диспетчера файлів в cPanel або використовувати FTP клієнт для роботи з файлом. Якщо у вас сайт на WordPress і ви створюєте sitemap.xml за допомогою плагіна, то потрібний файл розміститься автоматично.
Після того, як карта сайту в форматі xml створена, її потрібно додати в Google Search Console:
Посилання на карту сайту можна знайти за однією з URL, в залежності від платформи, яку ви використовуєте:
Стаття з теми:
Google Chrome і Google Analytics
Серед оптимізаторів є теорії про альтернативні способи, наприклад, індексація сайту в Гугл за допомогою браузера Google Chrome або лічильника Google Analytics.
Один з найвідоміших експертів по SEO на Заході Ренд Фішкін проводив опитування в Твіттері серед оптимізаторів про те, чи використовує пошукач Google дані з браузера Chrome для сканування сторінок. За результатами опитування більшість оптимізаторів відповіла ствердно.
Передбачалося, що якщо відкрити в браузері нові сторінки або додати на них код лічильника Google Analytics, то браузер або система аналітики повідомляє Google про появу нових сторінок, які потрібно просканувати.
Оптимізатори з Perficient Digital провели два експерименти, щоб з’ясувати, чи впливає Google Chrome і Analytics на сканування нових сторінок:
- Does Google Use Chrome to Discover New URLs for Crawling
- Does Google Use Analytics Data to Discover new URLs for Crawling?
За результатами експериментів з’ясувалося, що Google не використовує браузер Chrome і Google Analytics для виявлення нових сторінок.
Скільки часу Google індексує сайт
Новий сайт індексується роботами Google протягом одного тижня.
Індексація сторінок не гарантує сайту відразу ж високі позиції в пошуку. Сторінки можуть не показуватися по важливих для вас пошуковим запитам. Наші статті з SEO-просування сайтів допоможуть вам розібратися, як поліпшити позиції сайту.
Google може не індексувати сайт, якщо:
- Сайт не підключений до Google Search Console.
- Відсутня XML-карта сайту.
- У вашому файлі robots.txt вказано заборону на індексацію для пошукових систем, наприклад, Disallow: /.
- На сторінці вашого сайту вказано тег <meta name=”robots” content=”noindex”>, що означає, що сторінка не повинна індексуватися Google.
- Сайт завантажується занадто повільно або часто недоступний.
- Сервер, на якому розміщено ваш сайт, має технічні проблеми, наприклад, часто видає помилки 5xx.
- Мало унікального або корисного контенту.
- Незрозуміла структура сайту, наприклад, складні URL-адреси, важко доступні сторінки або багато недоступних посилань.
- Сайт не оптимізований для мобільних пристроїв.
- Налаштовано неправильні або зациклені редиректи, наприклад, 301 або 302 редиректи, що ведуть самі на себе.
- Сайт немає зовнішніх посилань — це особливо актуально для нових сайтів.
Щоб дізнатися, чому ваш сайт не індексується, використовуйте Google Search Console, де є детальніші дані про індексацію. Також детально розповідаємо про це в окремій статті, чому сайт може не індексуватися в Google.
Як перевірити індексацію сайту в Google
Перевірити індексацію сайту або окремих сторінок в Google можна за допомогою таких дій:
1. За допомогою оператора пошуку site:
Введіть в рядку пошуку Google запит site: mynewsite.com (для перевірки індексації всього сайту) або site: mynewsite.com/the-best-article/ (для перевірки індексації конкретної сторінки).
У результатах пошуку праворуч натисніть на «Інструменти»: ви побачите приблизну кількість проіндексованих сторінок.
Перевірка індексації сайту
2. Через Google Search Console
Виберіть звіт Індекс → Покриття. Кількість проіндексованих сторінок знаходиться в комірці Сторінки без помилок.
3. Сервіси, плагіни до браузерів, програми
Для перевірки індексації сторінок можна використовувати безкоштовний сервіс indexchecking.com або його аналоги. Сервіс перевіряє до 25 посилань за один раз.
За допомогою програми Netpeak Checker можна просканувати цілий сайт і дізнатися, які сторінки потрапили в індекс. Перевіряти індексацію можна в декількох пошукових системах: Google, Bing, Yahoo.
Чек-лист: Як потрапити в Гугл новому сайту — поради від нашого SEO-спеціаліста Ярослава
Цей чек-лист допоможе успішно налаштувати індексацію вебсайту та покращити його видимість у пошукових системах:
- Переконайтеся, що файл robots.txt на вашому сайті не блокує доступ Googlebot до важливих сторінок.
- Додайте ваш вебсайт у Google Search Console.
- Створіть і надішліть XML-карту сайту до Google Search Console, щоб допомогти Google знайти і проіндексувати всі сторінки вашого сайту.
- Використовуйте Google PageSpeed Insights, щоб перевірити швидкість сайту та отримати рекомендацій щодо її покращення, оскільки Google враховує швидкість як фактор індексації.
- Перевірте, що на вашому сайті немає дубльованих сторінок, оскільки Google може не індексувати їх належним чином. Використовуйте для цього інструменти, такі як Screaming Frog або Copyscape.
- Перевірте правильність конфігурації канонічних URL (canonical): додайте теги canonical на сторінки, щоб уникнути дублювання контенту і вказати Google, яка версія сторінки є основною.
- Створіть логічну структуру посилань, щоб ваші сторінки мали внутрішні посилання на інші сторінки сайту.
- Переконайтеся, що ваші сторінки мають унікальні і описові мета-теги title та description, а також заголовки H1, H2.
- Перевірте, чи не блокуються ваші сторінки від Google через заголовки HTTP, наприклад, X-Robots-Tag. Перевірити це можна в Google Search Console.
- Перевірте “noindex” теги: переконайтеся, що сторінки, які ви хочете індексувати, не мають тегів “noindex” у мета-тегах або в X-Robots-Tag.
- Переконайтеся, що ваш сайт адаптивний для мобільних пристроїв, наприклад, за допомогою Google Mobile-Friendly Test.
- Перевірте сайт на серверні помилки: наприклад, помилки 403, 404, 500, 503 за допомогою Google Search Console — вони можуть перешкоджати індексації.
- Перевірте налаштування редиректів: налаштуйте правильні 301 редиректи для сторінок, які були видалені або переміщені, а також з HTTP на HTTPS.
- Публікуйте контент, який буде корисним для ваших користувачів і стимулюватиме інші сайти посилатися на ваш.
- Використовуйте стратегії link building, щоб збільшити зовнішні посилання на ваш сайт.
- Регулярно перевіряйте статистику в Google Search Console, щоб виявити проблеми з індексацією.
- Постійно створюйте корисний контент, публікуйте новини та оновлення на сайті. Свіжі сторінки та пости будуть заохочувати Google відвідувати ваш сайт частіше.
Чек-лист для CSR cайтів від нашого SEO-спеціаліста Ярослава: як потрапити в Гугл
CSR сайти — це такі сайти, де рендеринг сторінки відбувається на боці клієнту (Сlient-Side Rendering). Це означає, що віддавання сторінок відбувається в браузері з використанням JavaScript. Хоча Гугл і може сканувати та індексувати JS, на практиці такі сайти часто зіштовхуються з проблемою індексації.
Цей додатковий чек-лист допоможе уникнути проблем із індексацією сайтів, які використовують Client-Side Rendering, і забезпечити їхню видимість у пошукових системах:
- Налаштуйте SSR або Prerendering: запровадьте Server-Side Rendering (SSR) або Static Site Generation (SSG) для важливих сторінок, щоб пошукові системи могли індексувати контент без виконання JavaScript. Використовуйте фреймворки, такі як Next.js, Nuxt.js або Angular Universal.
- Перевірте рендеринг: переконайтеся, що ваш сайт коректно рендериться для пошукових систем. Використовуйте Google Search Console (інструмент перевірки URL) та інструмент Fetch & Render Tool.
- Забезпечте доступ до JavaScript і ресурсів: переконайтеся, що файли JS та CSS не блокуються у файлі robots.txt або заголовках HTTP.
- Перевірте в Google Search Console, чи всі ресурси доступні для пошукових систем.
- Перевірте швидкість рендерингу: оцініть швидкість завантаження та рендерингу сторінок. Для цього використовуйте інструменти: Lighthouse, PageSpeed Insights, Puppeteer. Переконайтеся, що основний контент завантажується за прийнятний час.
- Використовуйте fallback-контент: додайте мінімальний HTML-контент (заголовки, мета-теги), який буде доступний у разі відключеного JavaScript.
- Оптимізуйте JavaScript: використовуйте lazy loading для завантаження несуттєвих ресурсів. Також налаштуйте code splitting, щоб зменшити обсяг завантажуваного JavaScript.
- Перевірте карту сайту (sitemap.xml): переконайтеся, що XML-карта сайту містить всі важливі сторінки, навіть ті, які потребують виконання JavaScript.
- Налаштуйте кешування рендерингу: використовуйте серверне кешування або сторонні сервіси для покращення продуктивності SSR.
- Використовуйте сервіси попереднього рендерингу (prerendering): якщо SSR неможливий, застосуйте інструменти, такі як Prerender.io, щоб створювати сторінки спеціально для пошукових ботів.
- Регулярно перевіряйте індексацію: використовуйте Google Search Console та інші інструменти для аналізу, щоб переконатися, що сторінки коректно індексуються після змін на сайті.
