Про изменение системы ранжирования Яндекс — Yandex YATI

Пользовательский текст не всегда воспринимается поиском как релевантный. Понимание того, как работают современные текстовые факторы, — важный шаг к успешной оптимизации. Разберемся, как новые поисковые алгоритмы ранжируют тексты и как текстовые факторы заставят поиск полюбить ваш текст. 

Классические и new-gen факторы ранжирования

Рекомендации представителей поисковых систем можно свести к двум утверждениям: пишите тексты для пользователя и не делайте SЕО-тексты. Это было бы на 100% верно, если бы мы с вами жили в гипотетическом мире, где уже развита NLP. Пока такие заявления опережают время лет на 5-10.

Сегодня мы рассмотрим классические и new-gen текстовые факторы. Это независимые друг от друга величины. Хорошие классические текстовые факторы никак не влияют на new-gen и наоборот. Для понимания, какой информацией оперирует поиск, можно использовать распространенные в сети формулы TF-IDF, ВМ25, вариации на тему ВМ25 с машиноподобранными весами и так далее. Мы сегодня обойдемся без них. Статистику по факторам ранжирования можно посмотреть в нашем исследовании.

Что такое поисковый робот

Поисковый робот — это программа для сканирования и индексации сайтов. Он позволяет поисковой системе получить сведения о веб-страницах и внести их в базу для последующей выдачи пользователям при запросе. Боты не анализируют собранные данные, а только передают их на сервера поисковых систем. Для эффективной индексации сайта необходимо учитывать особенности обработки веб-страниц ботами.

Что такое поисковый робот
Что такое поисковый робот

Поисковых роботов называют по-разному: краулеры, боты, веб-пауки. Во всех этих случаях речь идёт об одинаковых программах. Они заходят на сайт, заносят содержимое в индекс и находят ссылки, по которым переходят на другие страницы. Для ускорения индексации создаются файлы и XML Sitemap.

Что такое поисковый робот
Что такое поисковый робот

Чтобы узнать, есть ли URL в индексе Google, выполните проверку в сервисе Google Search Console.

Что такое поисковый робот
Что такое поисковый робот

Для проверки страниц в индексе Яндекс, откройте отчёт «Страницы в поиске» в

Что такое поисковый робот
Что такое поисковый робот

Также в сервисе можно запросить переобход URL в панели в разделе «Переобход новых страниц». С помощью данного инструмента можно добавить до 90 новых страниц в день.

Что такое поисковый робот

Как работал поиск раньше?

Основная задача поисковика — дать пользователю наиболее полезный ответ. Робот начинает оценивать/сравнивать материалы на страницах. Как человек он читать не умеет, поэтому ему приходится использовать математические формулы. Один из главных показателей — релевантность, алгоритм определяет, грубо говоря, так. Если статья и ключ имеют много схожих слов, то машина предполагает, что близость по смыслу обеспечена. Конечно, это вместе с расчётом количества фраз, длины контента, поведенческих факторов.

Обязательно проверяется история поиска — каким web-page пользователи отдавали большее предпочтение по конкретному обращению (какие собирали больше кликов).

Как работал поиск раньше?

Таким образом, автоматически выделялись полезные данные по семантической связи между главным ключом и статьёй, но в процессе не происходило понимания роботом сути документа (создавалась иллюзия поиска). По такому принципу работал search engine до 2016 года, затем появились новые модули:

  • Палех (2016) — ранжирование осуществлялось не просто по введённому пользователем запросу, но и по синонимам (для этого использовались искусственные нейронные сети)
  • Королёв (2017) — усовершенствованный вариант Палеха, анализирующий не только смысл заголовка страницы, но и всего документа.

Эти два анализатора позволили главному поисковику рунета не просто находить совпадения, а понимать суть вопроса. Теперь в статье необязательны ключевые слова, Яша понимает, о чём идёт речь уже на основании близких по внутреннему содержанию и даже выражающих схожую информационную потребность фраз. Однако всё ещё впереди.

Как работал поиск раньше?

реальные примеры расширенных запросов, взятых из Яндекса

Читайте также:  Лучшие кнопочные телефоны: Независимый Топ-14

Термины и определения

Структурируем статью как школьный учебник и сначала расскажем об основных понятиях, которые мы использовали, чтобы потом на них не отвлекаться.

Поисковая система

Это интернет-сервис, который ищет информацию во всемирной паутине. Поскольку данные находятся на интернет-сайтах, то результатом работы поисковика будет обнаружение им сайта с информацией.

Примеры поисковых систем: “Яндекс”, Google, Yahoo, “Рамблер”. Вы все их прекрасно знаете. Суть работы поисковой системы проста: каждая из них имеет так называемую строку поиска, куда пользователь вставляет поисковый запрос. После этого система выдает список сайтов.

Поисковый запрос

Это слово или фраза, которые человек пишет в строке поиска. Например “Купить телевизор” — это запрос. Поисковые запросы бывают:

  • высокочастотные. Их пользователи набирают в строке поиска больше 5 тысяч раз в месяц. Пример высокочастотного запроса — “купить жк телевизор” — его оставляют около 16 тысяч раз в месяц;
  • среднечастотные. Их набирают 1500-5000 раз в течение месяца. Пример — “купить телевизор самсунг в интернет-магазине” — 3800 запросов;
  • низкочастотные — от 500 до 1500 показов в месяц. “Купить телевизор 24 в интернет-магазине” — пример такого запроса. Его пользователи набирают около 1000 раз.
Термины и определения

Поисковый робот

Это алгоритм, по которому поисковик определяет качество контента. Робот выбирает самый лучший сайт, подходящий под поисковый запрос и ставит его на первое место выдачи. Следом за ним идет источник, который робот счел чуть менее качественным, за ним — еще чуть хуже и так далее.

Топ поисковой выдачи

Это несколько сайтов, которые поисковая система помещает на первые строчки результатов по конкретному запросу. Это — лучшие источники информации по мнению поискового робота.

SEO-оптимизация

Как вы уже поняли — цель поискового робота — найти в интернете сайт, максимально удовлетворяющий запросы пользователя и поставить его первым в результатах выдачи. Качество сайтов робот оценивает по определенным параметрам. Их более двухсот. Подгонка параметров сайта под работу алгоритма и есть SEO-оптимизация. О ней мы и расскажем: именно оптимизированные сайты занимают первые строчки выдачи.

Подготовка поискового индекса

Прежде, чем найти лучший ответ на запрос пользователя, необходимо просканировать  все имеющиеся сайты, найти в них страницы удовлетворяющие запросу, сравнить их и только после этого предложить варианты. Прежде чем сравнивать и предоставлять ответ, требуются огромные вычислительные мощности для того что бы найти страницы и скачать их для последующего анализа. Поисковые системы данную задачу решают с помощью собственных поисковых роботов.

Поисковые роботы

Поисковый робот (краулер, веб-паук) – это программный комплекс для сканирования интернета, скачивания и анализа веб-документов.

Из-за огромного числа страниц в интернете, обойти их все за раз задача не простая, даже для роботов. При это одни страницы удаляются, другие изменяются, третью добавляются, а четвёртые не меняются. Что бы не тратить время и ресурсы на обход страниц, которые не меняются или не работают, а перераспределять мощности, отдавая приоритет новым или часто меняющимся страницам, существует маршрут поискового робота.

Маршрут поискового робота

Подготовка поискового индекса

Маршрут поискового робота – это список с URL адресами, сгруппированный по доменам, который поисковый робот должен обойти за выделенный период времени. Список формирует программа-планировщик, каждый раз добавляя или убирая URL-адреса.

Краулинговый бюджет

Для каждого сайта, робот-планировщик формирует свой список адресов, который должен обойти за одно обращение к сайту (сессию). Этот список называется краулинговым бюджетом. Краулинговый бюджет, зависит от ряда факторов, кол-во страниц на сайте и их частота обновления, кол-во регулярно появляющихся новых страниц, кол-во и частота появления новых ссылок на сайт, качество страниц и корректность их работы.

На низко нагруженных ресурсах SEO-специалисты боряться над увеличением кол-ва адресов в маршруте робота и частотой обхода. А на сайтах с большим числом страниц и высокой нагрузкой на сервер, над оптимизацией маршрута, добавляя в перечень новые и изменённые страницы, исключая не нужные для роботов страницы или устанавливая лимиты на дневное сканирование.

Каждый раз при обходе сайта по маршруту, краулер получает информацию о наличии страницы или её отсутствии, если она доступна скачивает её целиком, определяет тип (html, pdf и т.д.) документа, язык и кодировку, далее отправляет в хранилище.

Читайте также:  Как сделать на андроид удаленный рабочий стол

Поисковая база

В хранилище, скаченная страница разбивается на 2 версии (копия и фрагментированная) и затем отправляется в поисковую базу, для дальнейшего анализа.

Копия страницы

Копия страницы, хранится в том виде в котором была скачена, до следующего обхода. Такую копию можно увидеть на странице выдачи поисковых систем. Она может быть нужна, на случай если найденный сайт не доступен или уже изменился относительно последнего обхода.

Фрагментированная страница

Подготовка поискового индекса

Фрагментированная страница, это версия веб-документа разбитая на фрагменты текста (мета-данные, заголовок, абзацы текста, отдельные слова и т.д.). Каждое слово размечается, в каком фрагменте и на каком месте оно находится, далее эта информация отправляется в поисковый индекс (поисковую базу). Когда краулер находит URL-адрес, он добавляет его в программу-планировщик, которая определяет когда данный URL просканировать. Кроме найденных ссылок самим поисковым роботом, в маршрут адреса попадают из систем аналитики ( и Google Analytics), а так же из кабинетов вебмастера ( и Google Search Console).

Виды поисковых роботов

Существуют разные виды роботов которые сканируют разные типы данных для разных целей. Например, у Яндекса выделяют 2 основных, но не единственных поисковых робота:

  • Основной индексирующий робот.
  • Быстро-робот (Orange).

Робот Orange пополняет базовый поиск в режиме реального времени. Такой робот может обходить один сайт несколько раз за день, это акутально для ресурсов, где информация обновляется несколько раз за день.

Как указать Яндексу на главное зеркало сайта

Как видите ничего сложного нет.

Теперь проведём эту-же операцию для Google.

И вот тут можно столкнуться с трудностью, давайте подробней.

То-есть мы должны пройти всю процедуру добавления сайта в Google. Что мы делали в уже упомянутой мной прошлой статье.

То-есть, как-бы добавить новый сайт и если я в прошлый раз добавлял сайт с адресом: сайт то теперь его нужно указать при добавлении, как сайт с : www..

И так проходим всю процедуру снова. При этом также подтверждаем права на пользования доменом с www. Конечно вам не нужно будет загружать на новый файл подтверждения, так-как мы это сделали в прошлый раз, поэтому сразу нажимаем подтвердить.

И если в прошлый раз у нас было сообщение такого вида.

Теперь оно будет вот таким:

Теперь возвращаемся на главную страницу «инструменты веб-мастера», выбираем сайты по очереди, версию с www и без. В каждом случае кликаем по картинке в виде шестерёнке, как показано на картинке выше и выбираем настройки сайта. Где указываем желаемое зеркало.

Как видите всё получилось.

Эта информация взята с официального сайта Яндекса, для тех кому интересно, но не получалось найтина самом Яндексе:) Итак…

Крупные поисковые системы имеют базу размером в десятки миллионов документов и ежедневно обрабатывают миллионы пользовательских запросов, причём с каждым месяцем (с ростом количества пользователей интернета) эти цифры ощутимо увеличиваются. Например, если в начале лета 2001 года поисковая машина «Яндекс» ежедневно отвечала на миллион запросов, то в 2002 году количество запросов удвоилось.

В этих жёстких условиях главная задача поисковых систем — сохранение приемлемых для пользователей скорости и полноты выполнения запросов. Для запроса средней «тяжести», то есть при поиске не очень частотного слова, время отклика системы (без учёта времени передачи данных по каналу от поисковой системы к пользовательскому компьютеру) должно исчисляться десятыми долями секунды.

На сегодняшний день известны три основных подхода к решению этой проблемы:

  • оптимизация базовых поисковых алгоритмов и архитектуры поиска;
  • регулярное увеличение мощностей вычислительных ресурсов поисковой системы;
  • использование архитектурной возможности масштабирования системы (если масштабируемость была заложена при проектировании системы).

Оптимизация поисковых алгоритмов и архитектуры поиска — это предмет постоянного внимания разработчиков. На Яндексе это делается пару раз в год и даёт в среднем процентов 20-30 уменьшения нагрузки и/или уменьшения времени отклика.

Увеличение мощностей — это прямая «гонка вооружения», то есть регулярный переход на более мощные процессоры, добавление оперативной памяти, увеличение объёма жёстких дисков. Несмотря на то, что тактовая частота процессоров увеличивается каждый месяц, новая техника «не успевает» за ростом потребностей пользователей. К тому же постоянный апгрейд оборудования весьма недешев.

Читайте также:  Обзор Xiaomi Redmi 3 и обновленной версии 3 s

Поэтому наряду с этим подходом используется масштабируемость архитектуры.

Список поисковых роботов

Из всех поисковиков, занимающихся сканированием Рунета, самой большой коллекцией ботов располагает Яндекс. За индексацию отвечают следующие боты:

  • главный индексирующий робот, собирающий данные со страниц web-сайтов;
  • бот, способный распознавать зеркала;
  • поисковый робот Яндекс, осуществляющий индексацию картинок;
  • паук, просматривающий страницы сайтов, принятых в РСЯ;
  • робот, сканирующий иконки favicon;
  • несколько пауков, определяющих доступность страниц сайта.

Главный поисковый робот Google занимается сбором текстовой информации. В основном он просматривает html-файлы, с определенной периодичностью анализирует JS и CSS. Способен воспринимать любые типы контента, разрешенные к индексации. ПС Гугл располагает пауком, контролирующим индексацию изображений. Есть также поисковый робот – программа, поддерживающая функционирование мобильной версии поиска.

Какая поисковая система лучше или чем отличается Яндекс от Google?

На своём личном опыте могу сказать, что обе поисковые системы хорошие по-своему. Отличие разумеется в том, что Яндекс — это российский поисковик, а Google это крупнейшая в мире поисковая система. Разумеется нас не интересует внешнее отличие сайтов этих поисковых систем и сервисов, которые они предоставляют, а то, как они формируют результаты поисковой выдачи, так как они очень сильно разнятся.

В Яндексе в большей степени уделено внимание региональному поиску. То есть, если Вы находитесь во Владивостоке и вводите запрос без указания города или региона, например «окна», в первую очередь Яндекс покажет сайты тех компаний, который находятся во Владивостоке и каким-то образом связаны с окнами.

Для Google в большей степени важно популярность, цитируемость ресурса (не только ссылки на Ваш сайт), на основе этого он делает вывод, является ли Ваш сайт полезным.

Что касается других поисковых систем, то является оболочкой поисковой выдачи Гугла, т.е. сам ничего не анализирует, а просто показывает то, что показал бы Гугл. по тому же принципу является оболочкой Яндекса.

Кто лучше ищет: Yandex или Google?

Подведем итог:

Преимущества Yandex перед Гугл в том, что этот поисковик преимущественно ориентируется на тематику и качество контента. Большое значение уделяет возрасту сайта и поведению аудитории на целевых страницах, коммерческим и региональным факторам. Благодаря этому система выдает более полные и специализированные данные по информационным и общим запросам.

Для Google важную роль играют большие тексты, насыщенные ключами и значительное количество ссылок. Отдельный вопрос – обновление сайта. Зачастую оно оказывает положительное воздействие. То, как часто это нужно делать, зависит от ниши и конкретного случая. Важный фактор – качественная адаптация под мобильные.

При создании и продвижении сайта старайтесь все делать максимально качественно (тексты, ссылки, оптимизацию и т.д.). Ориентируйтесь на ту поисковую систему, которая сможет привести большую целевую аудиторию в вашем регионе и в соответствии с вашей рыночной нишей. Главный критерий – эффективность!

При составлении маркетинговой стратегии проанализируйте особенности поисковиков и решите, кому будете отдавать предпочтение, чтобы избегнуть участия счастливого обладателя двух стульев или охотника за двумя зайцами.

4.5 / 5 ( 14 голосов )

Товарные сценарии в поиске картинок

Вполне удивительной функцией я считаю возможность искать и выбирать какие-либо товары прямо через поиск по картинкам в «Яндексе». Допустим, мы можем искать товары для ремонта и дома, смартфоны и планшеты, игровые наборы, одежду и прочие аксессуары.

Сразу же в Картинках под изображениями будет ссылка на «» или иной онлайн-магазин, где можно приобрести товар. Это очень удобно, если мы ищем что-то по внешнему виду:

В «Яндексе» подчеркивают, что алгоритмы Поиска понимают, что пользователь хочет найти товар, поэтому в таком случае поисковик обязательно отдаст им приоритет в Картинках.

Очень интересно, что во время выбора товаров можно прочитать их характеристику, посмотреть оценку или даже перейти к предлагаемым альтернативным товарам.