В мае Google объявил об обновлении поискового краулера GoogleBot. Обновление серьезное – так существенно механизм сканирования сайтов не менялся с 2015 года. Разумеется, усовершенствование алгоритма привело к ряду серьезных последствий, о которых мы бы хотели сегодня рассказать.
Что произошло? Если очень вкратце – Google заявил, что сможет обрабатывать динамический контент на странице. А это значит, что выдача пополнится новыми сайтами, вырастет конкуренция в некоторых нишах. Это не единственное последствие, но о последствиях чуть позже. Для начала поясним важные нюансы технической стороны, без которых сложно понять суть изменений.
Процесс появления страниц сайта в поиске
Каждая страница сайта перед тем, как появиться в поисковой выдаче, должна пройти через три этапа:
- сканирование. Для начала поисковые роботы должны «прочитать» код страницы. Этот процесс также называется краулингом, а робот, который проводит сканирование – краулер. Именно этот робот был усовершенствован Google.
- индексирование. Все, что робот нашел на странице, должно сохраниться в память поисковой системы. Нередки ситуации, когда сканирование прошло успешно, но информация страницы не несет практической пользы или даже опасна для посетителя, поэтому поисковая система решает ее не индексировать.
- ранжирование. То есть оценка соответствия содержания страницы ряду поисковых запросов и на основании этого присвоение позиций в выдаче.
Первый этап – сканирование не менее важен, чем два последующих.
Цель любого владельца сайта – увидеть свой сайт на более высоких позициях в поисковиках. И в первую очередь это зависит от того, способен ли поисковый робот просканировать ваш сайт.
Типы контента
Также важно понимать, что может повлиять на процесс сканирования. Немалую роль в этом процессе играет, как подгружается контент сайта – заголовки, тексты, активные элементы. Существует два вида контента – динамический и статический. Динамический чаще всего подгружается при помощи скриптов, статический – с помощью обычного html.
Очень часто обычный пользователь не в состоянии увидеть, какие технологии задействованы на сайте. Но если несколько особенностей, по которым в ряде случаев можно определить способ подгрузки контента. Так, например, динамический контент часто используется для придания интерактивности ресурсу – например, для подгрузки комментариев пользователей, цен и товаров БЕЗ ОБНОВЛЕНИЯ СТРАНИЦЫ. Это важный момент – находясь в социальных сетях вам не нужно что-то перезагружать, новые комментарии появятся сами. Когда вы пролистали страницу со списком товаров до конца, сайт самостоятельно добавит вам еще пачку товаров. Это тоже происходит автоматически. Такая подгрузка удобна для пользователей, но не очень хороша для SEO – Google научился читать динамический контент только сейчас (но медленно и не весь), Яндекс не умеет этого делать до сих пор.
Последствия изменений
Вернемся к главному, что же поменялось в результате обновления алгоритма? Казалось бы, заявления о том, что поисковик может теперь правильнее понимать сайты – отличная новость. Но не все так однозначно. Р азберем по пунктам:
Минусы
-
Это плохая новость для тех, кто продвигается в высококонкурентных тематиках – теперь в выдачу попадают новые сайты, и конкуренция стала еще выше.
-
Это плохая новость для тех, кто с помощью таких технологий пытался скрыть на сайте то, что не стоит видеть поисковому роботу – Google это найдет и снизит позиции. Вероятно также то, что вы и не подозревали, что часть контента вашего сайта роботу не нравится – он ведь до этого ее просто не видел. Сайты снова нужно перепроверять на переспам, переоптимизацию и прочие популярные фильтры.
Плюсы
-
Это хорошая новость для тех, кто использовал при создании сайта технологии SPA, Angular, React, Vue и другие подобные, использующие динамический контент. Теперь не нужно мучаться и придумывать, как отдать поисковому роботу то, что он в состоянии прочитать.
-
Это хорошая новость для тех, кому необходимо использовать динамическую подгрузку контента для практических целей при создании сайта на зарубежные рынки – ограничителя в виде непонимающего скриптов Яндекса там нет, можно быть свободнее в технологиях.
Что не изменилось
-
Количество сканируемых страниц. Если вашему сайту был отведен лимит на обход 1000 страниц в неделю, он не изменится из-за внедрения алгоритма.
-
Новый алгоритм не будет сканировать контент, который появляется при кликах, заполнении форм, скроллинге.
-
Google все еще обрабатывает скрипты в два обхода, поэтому на это требуется больше времени. Изменился список того, что поисковик понимает, но не скорость обхода.
-
Алгоритмы оценки сайтов с полностью статичным контентом не менялись.
-
Яндекс все также не умеет индексировать скрипты. В последнее время особенно популярна технология SPA сайтов, которые также задействуют динамический контент. Так что, если вы на волне изменений задумались о создании SPA сайта – не стоит. Google будет его индексировать значительно медленней, чем обычный, а Яндекс не будет индексировать вообще.
