Первичная оптимизация сайта: часть вторая, техническая

«Плох тот план, который нельзя изменить»
(Публилий Сир)

Первую часть о первичной SEO-оптимизации сайта мы закончили словами о том, как важна техническая оптимизация, и пошутили на счёт закрытия сайта от индексации в файле robots.txt (хотя ниже покажем конкретный пример, что эта шутка — совсем даже не шутка). Вот с описания этого прекрасного файла и начнём вторую часть.

Примечание: статья не претендует на полноту раскрытия такой многогранной темы, какой является техническая оптимизация. Она, скорее, призвана обозначить проблему и напомнить о том, что за сайтом необходимо следить всегда, даже если сейчас всё хорошо.

Robots.txt

Файл robots.txt необходим для управления обходом сайта поисковыми и другими роботами. Он состоит из набора инструкций, с помощью которых можно задать страницы и/или файлы, которые не будут индексироваться поисковыми роботами. Располагается файл в корне сайта и действует только на текущий сайт (на сайты на поддоменах его действие не распространяется).

Закрывайте от индексации служебные разделы и те страницы, которые вы не хотите видеть в результатах поиска. Нужно внимательно следить за этим файлом, так как неправильно закрытые разделы или страницы могут нивелировать всю проделанную на сайте работу. Также, не забудьте указать в нём специальной директивой sitemap карту вашего сайта.

Выше я вам обещал показать коммерческий сайт, полностью закрытый от индексации в файле robots.txt. Вот он: autobuyer24.ru — можете посмотреть его robots.txt и убедиться: autobuyer24.ru/robots.txt.



И так сойдёт! Сайт закрыт от индексации.

Он закрыт для индексации довольно длительное время, несколько месяцев точно. А возможно и с самого его создания. Как и почему такое могло произойти? Можно лишь предположить, что исполнитель, тот, кто делал сайт, просто забыл открыть его для индексации, когда его «выкатывал». А заказчик, далекий от всех этих ваших интернетов, просто и не в курсе про существование каких-то там файлов robots.txt. Сайт есть? — Есть. Работает? — Работает. На визитке его можно написать? — Легко. Вот и славно. 🙂

Карта сайта

Карта сайта в формате.xml нужна для поисковых роботов — они видят в ней ссылки на страницы/разделы, обходят их и индексируют. Карта облегчает работу поисковым системам, вследствие чего ваш сайт будет быстрей и качественней индексироваться. Располагается она в корне сайта и имеет, как правило, название sitemap.xml (но необязательно).

Указывайте в карте сайта те страницы, которые необходимо проиндексировать. И, напротив, не следует в карте сайта прописывать ссылки на технические страницы, а также указывать запрещённые к индексации (например, в файле robots.txt).

Создать карту сайта достаточно просто, существует немало сервисов (в том числе бесплатных). Да и сегодня практически все системы управлением сайтом позволяют создать карту сайта чуть ли не в два клика.

Ещё момент: если вы осуществили переезд на https, проверьте, чтобы протокол адресов в карте сайта также соответствовал текущему. Поскольку часто бывает так, что после переезда на https в карте sitemap.xml остаются старые url-ы с http.

Помимо визуального осмотра, проверить карту сайта на корректность всегда можно в Вебмастере Яндекса и Google Search Console.

Технические дубли страниц

Проверьте свой сайт на предмет технических дублей страниц и не допускайте их появления.

Во-первых, проверьте, чтобы у вас был настроен 301-й редирект с www на без www (или наоборот). Сделать это просто: вбейте в адресную строку адрес сайта сперва с www, а затем без www. Если сайт открывается по разным протоколам  — это нужно исправить, если происходит редирект — всё хорошо.

Во-вторых, главная страница сайта должна быть доступна только по одному адресу. Проверить это можно, как и в первом случае: поочередно вводите в адресную строку moysait.ru/index.htm, moysait.ru/index.html и moysait.ru/index.php. Если не происходит редиректа на одну страницу — исправляйте.

Настройка редиректов производится в файлах.htaccess (если у вас веб-сервер Apache или подобный) или web.config (в случае IIS).

В-третьих, адреса со слешем и без слеша также должны быть доступны по одному адресу. Проверка точно такая же, как и в первых двух случаях: вбиваете адрес страницы со слешем на конце, затем без слеша. Если нет перенаправления на один и тот же адрес, следует это исправить.

Битые ссылки

Битые ссылки — это ссылки, ведущие на несуществующую страницу или файл. Возникать подобные ссылки могут в нескольких случаях:


  • страница или файл удалены;
  • изменилась структура сайта, например, в связи с переездом сайта на другой домен или переносом на другой движок;
  • вследствие человеческого фактора: банальная опечатка.

Помимо того, что битые ссылки негативно влияют на поведение пользователей (никому не понравится, когда он переходит по ссылке — а там ничего нет), они ещё ухудшают ранжирование сайта поисковыми системами.

Поэтому периодически следует проверять сайт на предмет подобных ссылок и исправлять в случае их обнаружения. Существует немало программ, в том числе онлайн-сервисов, для проверки битых ссылок. Не забывайте осуществлять проверку, особенно если ваш сайт с большим количеством страниц и/или вы недавно поменяли его структуру. Времени на это вы потратите немного, но это позволит вовремя обнаружить и локализовать проблему, не допустив тем самым ухудшение видимости сайта в поисковых системах.

Смешанный контент

Смешанный контент — передаваемый по HTTP-протоколу незащищенный контент (изображения, видео, скрипты, таблицы стилей), размещённый на страницах с SSL-сертификатом.

Тенденция последнего времени — переезд сайтов с незащищенного протокола http на защищенное соединение https. Инициатором этого, фактически, стал Гугл, сообщив ещё несколько лет назад, что наличие или отсутствие защищённого протокола будет влиять на ранжирование сайта. Вебмастерам ничего не оставалось, как переводить все сайты на https.

Однако, как это всегда бывает, монополизм не приемлет полумер: дай монополисту палец — он откусит руку, а затем ещё объяснит, что откусил её тебе во благо 🙂

В октябре 2019 года Гугл сообщил, что с декабря текущего года браузер Google Chrome будет блокировать весь смешанный контент. И теперь всем вебмастерам, которые не хотят потерять львиную долю посетителей, нужно провести инвентаризацию своих сайтов на предмет загрузки смешанного контента.

Справка: на начало 2019 года браузером Chrome от Гугла пользуется более 67% пользователей со всего мира, а если ещё учесть другие браузеры, работающие на движке Гугла Chromium, то число перевалит за 80%

Если вы, к примеру, недавно осуществили переезд на https, но структура вашего сайта такова, что изображения подгружаются с поддомена, который на https вы не перевели — у вас типичный смешанный контент, который скоро будет блокироваться в Хроме, если вы не исправите ситуацию.

Микроразметка

Не будем слишком много писать о микроразметке, скажем лишь то, что её наличие на современном сайте безусловно рекомендовано. Подробности читайте в нашей статье «Микроразметка или как получить больше трафика на свой сайт».

Скорость загрузки сайта

Скорость загрузки страниц — ещё один тренд последних лет, связанный прежде всего со значительным увеличением пользователей, выходящих в интернет с мобильных устройств. Сайты должны быть быстрыми, «летать» не только на десктопных компьютерах, но и на всех мобильных устройствах. Является одним из важных факторов ранжирования сайта поисковыми системами. Чем быстрее ваш сайт загружается, тем больше его любят поисковики.

Чтобы ускорить сайт, обращайте внимание на следующее:


  • используйте сжатие GZIP;
  • сжимайте «тяжелые» изображения без потери качества;
  • используйте кэш браузера;
  • не перегружайте сайт скриптами и стилями, выносите их (исходя из возможностей и целесообразности) в отдельные файлы;
  • сокращайте код html.

Есть бесплатные сервисы, которые конкретно укажут слабые места вашего сайта в плане скорости и посоветуют, что нужно сделать. Самые популярные среди них: PageSpeed Insights и Gtmetrix.

Кстати говоря, сервис PageSpeed Insights — от Гугла, и на момент написания этой статьи его только-только внедрили непосредственно в Search Console во вкладку под названием «Скорость загрузки (экспериментальная функция)»:


Google PageSpeed Insights

Кроссбраузерность

Под этим страшным русскому слуху словом понимается одинаковая работоспособность и отображение сайта в разных браузерах. Да, пользователи до сих пор, несмотря на доминирование браузера Chrome, заходят на сайты с разных браузеров. Но даже если представить, что Хром окончательно подогнёт под себя всех конкурентов и останется один, сайт всё равно нужно будет тестировать на кроссбраузерность, т. к. в различных версиях Хрома он может также отображаться по-разному.

В любом случае, будет не лишним проверить, как ваш сайт отображается в разных браузерах. Сделайте это «руками» — установите самые популярные браузеры (Chrome, Firefox, Safari, Opera IE/Edge) и запускайте на них свой сайт.

Но руками — это одно, так вы узнаете основной костяк, с которого идёт посетитель. Однако существует определенный процент пользователей, которые до сих пор пользуются старыми версиями браузеров, порой такими, которые уже давно должны быть покрыты пылью. Для этого случая, то есть для более развёрнутого тестирования сайта, существуют специальные сервисы (как правило платные, а бесплатные — с ограничением версий) проверки чуть ли не во всех существующих и существовавших версиях десятков браузеров.

Стоит отметить, что напрямую кроссбраузерность не влияет на SEO (если, конечно, там нет вопиющих ошибок), но влияет косвенно через юзабилити и, как следствие, на поведенческие факторы, которые, как мы знаем, хоть и опосредованно, но влияют на выдачу поисковиков. Да, вот такой сложный финт ушами. В любом случае, проверить сайт, хотя бы в основных браузерах, не помешает.

Копии сайта

Как это не прискорбно осознавать, но люди — существа, далёкие от совершенства. Они иногда забывают то, что забывать не следует, и делают то, что делать не нужно. И не всегда это делается из каких-то корыстных побуждений, нет, просто уж так мы устроены.

Всё вышесказанное касается в том числе и разработчиков сайтов. Которые иногда обкатывают сайт на тестовом домене и забывают закрыть его от индексации. И затем клиент обнаруживает в индексе поисковых систем не свой сайт, а его копию на тестовом домене. Это печально, но такое встречается. Не так уж чтобы часто, но случаи не единичные.

Поэтому проверьте, нет ли такого «подарка» от разработчиков вашего сайта. В противном случае, можете потратить немало времени и нервов (больше, конечно, нервов), чтобы только ваш сайт, а не тестовый, индексировался поисковыми системами.

Вирусы и вредоносный код

Тут всё просто и очевидно: здоровому сайту — здоровые позиции. Если у вас есть какие-то подозрения на счёт того, что ваш сайт заражён вредоносным кодом — не тяните время, немедленно проверьте его. Если оправдались худшие подозрения — локализуйте этот код и нейтрализуйте.

И запомните: всегда делайте бэкап. Всегда. И почаще.


Послесловие

Регулярно следите за состоянием ваших сайтов. Делать это нужно ещё и потому, что регулярно происходят изменения в алгоритмах поисковых систем, вводятся новые правила, меняются стандарты, что-то вечно подвергается изменению.

Кто бы мог подумать ещё года три назад, что самый популярный браузер (Хром) будет блокировать смешанный контент? Кто ещё лет пять назад мог предположить, что сайт (в добровольно-принудительном порядке) нужно будет переводить на https? Кто ещё лет семь назад мог… Да, реальность такова, что загадывать наперёд, особенно там, где нет и не может быть всей полноты информации, дело гиблое.

Главные качества, которые нужно в себе культивировать через «не хочу», если ты занимаешься поисковой оптимизацией, такие: держать руку на пульсе, следить за изменениями алгоритмов поисковых систем и… делать бэкап. Всегда делать бэкап. 🙂

Наши специалисты проведут техническую оптимизацию вашего сайта. Мы занимаемся клиентскими сайтами как своими — подробно, обстоятельно и с любовью.

Другие статьи