Сразу после создания сайта новички хотят знать, что делать дальше. Следующий шаг — добавление сайта в поисковые системы. Если этого не сделать, клиенты не найдут ваш сайт, пока о нем не узнают поисковые роботы. В этой статье вы узнаете, как зарегистрировать сайт в поисковых системах несколькими способами.
Как добавить сайт в Google
Существует несколько способов, как проиндексировать сайт в Гугл.
Google Search Console
Google Search Console — это бесплатный инструмент для вебмастеров, с помощью которого можно получить полезную информацию, например, про:
- наличие ошибок на сайте;
- процесс индексации сайта поисковыми системами;
- сайты, которые ссылаются на ваш ресурс;
- запросы, по которым пользователи приходят на сайт с поисковых систем.
Регистрация сайта в Гугл через Google Search Console — наиболее рабочий способ сообщить поисковым роботам Google о новом сайте. Вам нужно будет сделать подтверджение права на сайт в Google.
Как подтвердить владение сайтом:
- через домен — если нужно отслеживать аналитику всех поддоменов, URL-адресов и протоколов сайта;
- через ресурс с префиксом URL — если нужно проанализировать только конкретный поддомен или сайт на определенном протоколе, например, https://domain.com/uk/ или https://www.domain.com/uk/.
В первом случае вам нужно добавить TXT или CNAME запись в DNS-зону домена. Во втором случае можно добавить сайт через файл HTML или HTML tag. Также доступно подтверждение сайта через метатег или DNS-записи, использование акаунта Google Analytics или добавление сайту через Google Tag Manager.
О том, как добавить сайт в Гугл, как подтвердить сайт через DNS и другие методы подтверждения сайта в Гугл, читайте в детальной инструкции о том, как добавить сайт в Google Search Console.
После того, как вы сделали подтверждение сайта в Google Search Console, вы можете добавить URL в Гугл поиске через меню «Проверка URL-адреса».
В строке поиска вводим адрес сайта или новой страницы:
Далее выбираем «Отправить запрос на индексирование»:
Если страница сайта доступна для поисковых роботов, то страница отправляется в очередь на индексирование:
При покупке на год — скидка 30%
Некоторые оптимизаторы считают, что этой способ ускоряет индексацию, если у вас несколько новых страниц, даже если их нет в вашей карте сайта. Но если у вас много новых страниц, вы потратите кучу времени на этот способ — лучше добавить сайт в Гугл через sitemap.xml.
Чтобы помочь поисковым роботам проиндексировать сайт в Гугл, нужно добавить карту сайта в формате xml: sitemap.xml.
Выглядит sitemap.xml следующим образом:
Создать sitemap.xml можно при помощи сервисов и программ:
- xml-sitemaps.com (до 500 страниц бесплатно, цена лицензии от $50.28 в год);
- Screaming Frog (бесплатная версия позволяет просканировать 500 URL, стоимость лицензии ~ $259 в рік);
- Netpeak Spider (бесплатный 14-дневный триал, цена лицензии от $193 в год, гарантия возврата денег на протяжении 14 дней);
- Для сайтов на WordPress плагин Yoast, Rank Math, The SEO Framework или Google XML Sitemaps (бесплатный).
Детальнее о том, как создать sitemap.xml, читайте в наших статьях:
Если вы сгенерировали sitemap.xml с помощью сервиса или программы, ее нужно добавить на сервер. Это можно сделать при помощи Диспетчера файлов в cPanel или использовать FTP клиент для работы с файлом. Если у вас сайт на WordPress и вы создаете sitemap.xml с помощью плагина, то нужный файл разместится автоматически.
После того, как карта сайта в формате xml создана, ее нужно добавить в Google Search Console:
Ссылку на карту сайта можно найти по одной из URL, в зависимости от платформы, которую вы используете:
Статья по теме:
Google Chrome и Google Analytics
Среди оптимизаторов есть теории об альтернативных способах отправления страниц на индексацию. Например, с помощью браузера Google Chrome или счетчика Google Analytics.
Один из самых известных экспертов по SEO на западе Рэнд Фишкин проводил опрос в Твиттере среди оптимизаторов о том, использует ли поисковик Google данные из браузера Chrome для сканирования страниц. По результатам опроса большая часть оптимизаторов ответила утвердительно.
Предполагалось, что если открыть в браузере новые страницы или добавить на них код счетчика Google Analytics, то браузер или система аналитики уведомляет Google о появлении новых страниц, которые нужно просканировать.
Оптимизаторы из Perficient Digital провели два эксперимента с целью выяснить, влияет ли Google Chrome и Analytics на сканирование новых страниц:
- Does Google Use Chrome to Discover New URLs for Crawling?
- Does Google Use Analytics Data to Discover new URLs for Crawling?
По результатам экспериментов выяснилось, что Google не использует браузер Chrome и Google Analytics для обнаружения новых страниц.
Сколько времени Google индексирует сайт
Новый сайт индексируется роботами Google в течение одной недели.
Индексация страниц не гарантирует сайту сразу же высокие позиции в поиске. Страницы могут не показываться по важным для вас поисковым запросам. Наши статьи по SEO-продвижению сайтов помогут вам разобраться, как улучшить позиции сайта.
Google может не индексировать сайт, если:
- Сайт не подключен к Google Search Console.
- Отсутствует XML-карта сайта.
- В вашем файле robots.txt указано запрет на индексацию для поисковых систем, например, Disallow: /.
- На странице вашего сайта указано тег <meta name=”robots” content=”noindex”>, что означает, что страница не не должна индексироваться Google.
- Сайт загружается слишком медленно или часто недоступный.
- Сервер, на котором размещен ваш сайт, имеет технические проблемы, например, часто выдает ошибки 5xx.
- Мало уникального или полезного контента.
- Непонятная структура сайта, например, сложные URL-адреса, сложнодоступные страницы или много недоступных ссылок.
- Сайт не оптимизирован для мобильных устройств.
- Настроены неправильные или зацикленные редиректы, например, 301 або 302 редиректы, которые ведут сами на себя.
- У сайта нет внешних ссылок — это особенно актуально для новых сайтов.
Чтобы узнать, почему ваш сайт не индексируется, используйте Google Search Console, где есть более подробные данные об индексации. Также детально рассказываем об этом це в отдельной статье, почему сайт может не индексироваться в Google.
Как проверить индексацию сайта
Проверить индексацию сайта или отдельных страниц в Google можно следующими способами:
1. С помощью оператора поиска site:
Введите в строке поиска Google запрос site:mynewsite.com (проверка индексации сайта в Google всего сайта) или site:mynewsite.com/the-best-article/ (для проверки индексации конкретной страницы).
В результатах поиска справа нажмите на «Инструменты»: вы увидите примерное количество проиндексированных страниц.
2. Через Google Search Console
Выберите отчет Індекс → Покриття. Количество проиндексированных страниц находится в ячейке Страницы без ошибок.
3. Сервисы, плагины к браузерам, программы
Для проверки индексации страниц можно использовать бесплатный сервис indexchecking.com или его аналоги. Сервис проверяет до 25 ссылок за один раз.
С помощью программы Netpeak Checker можно просканировать целый сайт и узнать, какие страницы попали в индекс. Проверять индексацию можно в нескольких поисковиках: Google, Bing, Yahoo.
Чеклист: Как попасть в Гугл новому сайту — советы от нашего SEO-специалиста Ярослава
Цей чек-лист поможет успешно настроить индексацию вебсайта и улучшить его видимость в поисковых системах:
- Убедитесь, что файл robots.txt на вашем сайте не блокирует доступ Googlebot к важным страницам.
- Добавьте ваш вебсайт в Google Search Console.
- Создайте и отправьте XML-карту сайта в Google Search Console, чтобы помочь Google найти и проиндексировать все страницы вашего сайта.
- Используйте Google PageSpeed Insights, чтобы проверить скорость сайта и получить рекомендации по улучшению, так как Google учитывает скорость как фактор индексации.
- Проверите, что на вашем сайте нет дублированных страниц, так как Google может не индексировать их нужным образом. Используйте для этого такие инструменты, как Screaming Frog або Copyscape.
- Проверьте корректность конфигурации каноничных URL (canonical): добавьте теги canonical на страницы, чтобы избежать дублирования контента и указать Google, какая версия страницы основная.
- Создайте логичную структуру ссылок, чтобы ваши страницы имели внутренние ссылки на другие страницы сайта.
- Убедитесь, что у ваших страниц уникальные и описательные мета-теги title и description, а также заголовки H1, H2.
- Проверьте, не блокируются ли ваши страницы от Google через заголовки HTTP, например, X-Robots-Tag. Проверить это можно в Google Search Console.
- Проверьте “noindex” теги: убедитесь, что у страниц, которые вы хотите индексировать, нет тегов “noindex” в мета-тегах или в X-Robots-Tag.
- Убедитесь, что ваш сайт адаптирован под мобильные устройства, например, с помощью Google Mobile-Friendly Test.
- Проверьте сайт на серверные ошибки: например, ошибки 403, 404, 500, 503 с помощью Google Search Console — они могут препятствовать индексации.
- Проверьте настройку редиректов: настройте правильные 301 редиректы для страниц, которые были удалены или перемещены, а также с HTTP на HTTPS.
- Публикуйте контент, который будет полезным для ваших пользователей и будет стимулировать другие сайты ссылаться на ваш.
- Используйте стратегии link building, чтобы увеличить количество внешних ссылок на ваш сайт.
- Регулярно проверяйте статистику в Google Search Console, чтобы выявить проблемы с индексацией.
- Постоянно создавайте полезный контент, публикуйте новости и обновления на сайте. Свежие страницы и посты будут поощрять Google посещать ваш сайт чаще.
Чеклист для CSR cайтов от нашего SEO-специалиста Ярослава: как попасть в Гугл
CSR сайти — это сайты, где рендеринг страницы происходит на стороне клієнта (Сlient-Side Rendering). Это значит, что отдача страниц происходит в браузере с использованием JavaScript. Хотя Гугл и может сканировать и индексировать JS, на практике такие сайты часто сталкиваются с проблемой индексации.
Этот дополнительный чеклист поможет избежать проблем с индексацией сайтов, которые используют Client-Side Rendering, и обеспечить их видимость в поисковых системах:
- Настраивайте SSR или Prerendering: применяйте Server-Side Rendering (SSR) или Static Site Generation (SSG) для важных страниц, чтобы поисковые системы могли индексировать контент без выполнения JavaScript. Используйте фреймворки, такі як Next.js, Nuxt.js или Angular Universal.
- Проверьте рендеринг: убедитесь, что ваш сайт коректно рендерится для поисковых систем. Используйте Google Search Console (инструмент проверки URL) и инструмент Fetch & Render Tool.
- Обеспечтьте доступ к JavaScript и ресурсам: убедитесь, что файли JS и CSS не блокируются в файле robots.txt или заголовках HTTP.
- Проверьте в Google Search Console, все ли ресурсы доступны для поисковых систем.
- Проверьте скорость рендеринга: оцените скорость загрузки и рендеринга страниц. Для этого используйте инструменты: Lighthouse, PageSpeed Insights, Puppeteer. Убедитесь, что основной контент загружается в течение приемлемого времени.
- Используйте fallback-контент: добавьте минимальный HTML-контент (заголовки, мета-теги), который будет доступным в случае отключенного JavaScript.
- Оптимизируйте JavaScript: используйте lazy loading для загрузки несущественных ресурсов. Также настройте code splitting, чтобы уменьшить объем загружаемого JavaScript.
- Проверьте карту сайта (sitemap.xml): убедитесь, что XML-карта сайта содержит все важные страницы, даже те, которым нужно выполнение JavaScript.
- Настройте кеширование рендеринга: используйте серверное кеширование или сторонние сервисы для улучшения продуктивности SSR.
- Используйте сервисы предварительного рендерингу (prerendering): если SSR невозможный, примените инструменты, такие как Prerender.io, чтобы создавать страницы специально для поисковых ботов.
- Регулярно проверяйте индексацию: используйте Google Search Console и другие инструменты для анализа, чтобы убедиться, что страницы корректно индексируются после изменений на сайте.
Если у вас остались вопросы, как добавить сайт в поисковики и проверить индексацию страниц, задавайте их в комментариях.
Полезные статьи по теме:
