И вот эти люди надувают щёки. Часть 2

В первой части я показал "чудесную" поисковую выдачу любителей месяц мучать кандидатов алгоритмами и leetcod-ом.

На написание этой части статьи меня заставила общая ситуация, как с точки зрения веб-мастера, так и свидетеля общей реакции веб-мастеров на факт уничтожения российского интернета со стороны Яндекса.

1. Корявость Яндекса на одном конкретном примере

Две недели назад я решил сменить доменное имя у одного из своих сайтов. Как и положено в таких случаях, сделал со старого домена 301 редирект и прописал новый сайт в Яндекс.Вебмастер.

Проблемы начались через пару дней: по нескольку раз в день Яндекс присылал мне письма, что сайт на старом домене возвращает то 200, то 301 ответ. И так по нескольку раз в день, статусы ответа менялись 200-301-200-301-200...

Естественно я подумал, что косяк где-то на моей стороне, но где может быть косяк, если в корне старого сайта лишь один .htaccess с 301 редиректом, а сайт доступен напрямую, без каких-либо CDN? Дернул несколько раз сайт по CURL - получил стабильный 301 ответ. Полез на searchengines.guru и там мне радостно сообщили, что это глюк Яндекса, который тянется аж с 2005 года:

Поняли? Ведущая поисковая система страны, IT-компания гигант. Не в состоянии исправить глюк, который ведёт к расклейке зеркал и, как следствие, потери позиций сайтов. Возникает вопрос: это что у них там за чудо-технологии такие, которые не в состоянии получить корректный HTTP-статус ответа веб-сервера?!

2. Алгоритмы, основанные на поведенческом факторе

Первые реальные сведения о том, что Яндекс использует поведенческие факторы, появились после 1 июня 2011 года. ПФ - это отслеживаемые поисковыми системами показатели сайта, которые говорят о его привлекательности, удобстве и пользе. Если коротко — это метрики вроде продолжительности пребывания на сайте или глубины просмотра. Чем лучше эти метрики, тем выше поисковые системы оценивают сайт. 

В целом ПФ влияют на большую часть воронки продаж:

• На позиции — за счет долгосрочного влияния всех ПФ, которые учитывают Яндекс и Google.

• На привлечение внимания и трафик — за счет проработки сниппета сайта в выдаче. 

• На конверсию — за счет удобного интерфейса и содержательного контента. 

Глобальная проблема с ПФ возникла почти сразу же, как только накрутчики нашли пути влияния на ПФ:

Жаль, что Яндекс не понимает одного, он при текущем подходе в совсем малой перспективе (несколько лет) сам себя уничтожит и потеряет доход из поиска. Почему...

Яндекс запустил ранжирование по поведенческим факторам и поставил их главенствующими, но никак не предусмотрел защиту (и на сегодняшний день не сможет!!!) от накруток в ранжировании полезных и качественных сайтов, переложив свою проблему на плечи вебмастеров - вебмастера, сами разбирайтесь с ботами и падающими позициями ваших сайтов, мы будем делать вид, что всё ОК.

Очень быстро появилась целая индустрия накрутчиков и их уровень естественности повышается с каждым месяцем. Когда-то биржи ссылок и всевозможных сервисов имели место быть очень востребованными. Но, с искусственными ссылками можно было бороться и там всё было довольно понятно, предсказуемо и всё решалось 1-2 алгоритмами или на худой конец ручной проверкой, с поведенческими же Яндекс сел в лужу по самые уши и не хочет это признавать!

Что в итоге получил Яндекс и вебмастера:

**Поиск последних лет стал совершенно фальсифицированным, по всем сайтам гуляют боты давая просадку в выдаче естественным качественным сайтам, поднимая другие, скликивая рекламу, ломая естественную выдачу по предпочтениям живых пользователей. В итоге к Яндексу теряют доверие и пользователи, и вебмастера, и рекламодатели (что самое важное!!!). **И, поскольку у последних расходы перестают оправдывать доходы (их деньги просто скликивают роботы), то, соответственно рекламодатели от Яндекса будут уходить в те же социальные сети и мессенджеры, где рекламный рынок на данный момент более предсказуем. И я боюсь представить, если кто-то из них решит выкатить свой поисковик)))

Яндекс теряет доверие у рекламодателей и это однозначно приведёт к тому, что Яндекс в дальнейшем станет чем-то вроде нынешнего Рамблера. Не будет рекламодателей, не станет и вебмастеров!

— https://webmaster.yandex.ru/blog/yandeks-obnovlyaet-algoritm-opredeleniya-kachestvennogo-kontenta#660374c7b15042003ebf6c85

Теперь всем известная декларация Яндекса "делайте сайты для людей" читается просто издевательски, накрутчики ПФ лихо выводят в поисковую выдачу нечто подобное:

и Яндекс, судя по всему, не в состоянии этому помешать.

3. Накрутка плохого ПФ как инструмент устранения конкурентов

Плохие поведенческие факторы — это действия пользователей, которые свидетельствуют о том, что веб-сайт не выполняет свои функции.

Примеры плохих поведенческих факторов:

• Длительность сессии составляет менее 15 секунд. Это тревожный симптом, который свидетельствует о высоком показателе отказов: посетители быстро покидают страницу, поскольку не находят нужной информации.

• Переходы по внутренним ссылкам не осуществляются.

• Функционал сайта не задействован, люди не пользуются формами заказа и обратной связи.

• Посетители возвращаются на страницу поисковой выдачи и повторно уже не приходят.

Подобная умышленная накрутка негативных ПФ становится средством устранения конкурентов. В 2015 году представители Яндекса заявили, что в таком случае никакого разбирательства не будет и сайт 100% окажется в бане:

Мы не говорим, что мы никогда не ошибаемся, но дополнительные проверки, которые мы проводим, когда нам жалуются, показывают что все крутят.

Технологию проверок Сергей конечно не описывал, но несколько раз акцентировал внимание на том, что они полностью доверяют алгоритму и считают, что ошибаться он не может.

Все пишут одно и то же всегда – что не крутили, а не деле оказывается не так. На форумах сервисов по накрутках клиенты жалуются, что их забанили за накрутку ПФ, и представители сервиса советуют – “а вы скажите, что это не вы крутили, а конкуренты – доказать все равно никто не сможет”.

— https://lred.ru/prodvij/34965---allintop-conf-------

Что вызывает бурное негодование со стороны владельцев интернет-ресурсов:

Как бороться с накруткой поведенческих факторов и почему Яндекс считает, что если идет накрутка - это дело рук самого владельца ресурса?

Есть несколько сайтов, в последние месяцы наблюдаются повальные переходы с соцсетей с плохими поведенческими, в то время как сайты в определенных социалках никак не участвуют, например, в том же Дзене сайтов нет, но переходы с него есть (понятно, что кто-то мог поставить ссылку). Причем, в основном используется интернет провайдер Мегафон (лидер прямо таки для накрутчиков), далее Tele2. Если банить подобные переходы по referer, переключаются на поиск.

Письмо в саппорт Яндекса ничего не дает, от Платонов поступает шаблонный ответ: "Мы не знаем кто и с какой целью совершает подобные переходы бла бла бла... развивайте сайт..." и далее сайты попадают под пессимизацию либо под жесткий бан. Как его развивать, если постоянно кто то палки в колеса сует?

По поводу, что Яндекс считает что накрутка это дело самих владельцев ресурса взято из ответов на "SEO конференции allintop 2015" - за эти годы, по моему ничего не изменилось в политике Яндекса.

— https://yandex.ru/q/question/kak_borotsia_s_nakrutkoi_povedencheskikh_dcc21eab/

Доказать, что это не вы накручиваете себе ПФ невозможно. Сейчас алгоритмы работают у Яндекса ужасно и по сути, если правильно настроить накрутку и производить её более 6-7 месяцев, можно положить любой сайт.

Именно так поступили конкуренты и с нашим ресурсом. Мы долгое время находились в ТОП по очень "жирным ключам" и мозолили многим конкурентам глаза. Естественно находясь в ТОП и получая хороший трафик нам незачем было самим крутить себе статистику, но это нам начали делать конкуренты. Мы обратились по этому вопросу в Яндекс, на что был дан ответ: "Занимайтесь развитием сайта и всё будет хорошо.." Также мы предоставляли все доступы и кучу корпоративной информации и документальных обоснований в своё оправдание, но это ровным счётом ничего не изменило, сайт находится под баном.

Самое смешное, что даже находясь под баном в поисковых сетях нам продолжают крутить ПФ и выполнить требования яндекса по отключению накрутки мы не можем, так как понятно, что не сами себе её крутим.

Сейчас мы пробуем сами на техническом уровня начать фильтровать трафик на свой ресурс на уровне сервера пытаемся отлавливать левые запросы, но проблема в том, что часть переходов осуществляется не роботами, а пользователями по заданию и их отсеять от реальных посетителей не получается.

— https://yandex.ru/q/question/kak_borotsia_s_nakrutkoi_povedencheskikh_dcc21eab/

судя по метрике на разных сайтах Яндекс не умеет распознавать ботов. Проблема в том, что они успешно скликивают рекламу на сайтах, да и в самом поиске и его приблудах типа дзена. Яндекс должен понимать, что это рано или поздно приведёт к утрате эффективности рекламы и уходу рекламодателей, а без них Яндексу придёт конец как поисковику.

— https://webmaster.yandex.ru/blog/yandeks-obnovlyaet-algoritm-opredeleniya-kachestvennogo-kontenta#6603fe52358368c122c14d07

3. Англоязычный контент по запросу на кириллице

Ещё одна из причин недовольства владельцев сайтов:

Когда вы исправите выдачу и уберете иностранные сайты в выдаче в топ 10 и дадите возможность развиваться всем сайтам Мы конечно, понимаем, что вы хотите сделать лучше, но обычные сайты без накруток и ботов теряют позиции и у них уменьшается ИКС. В топ по разным запросам выходят иностранные сайты на языке без перевода. При этом вы не получаете  доход от  рекламы. Прошло уже полмесяца ничего не изменилось. Если бы мы что то искали в другой стране, то было бы понятно почему в топе иностранные сайты, но яндекс вроде русский поисковик и находится в России. Уже умоляем Вас исправить и сделать хотя бы как было

— https://webmaster.yandex.ru/blog/yandeks-obnovlyaet-algoritm-opredeleniya-kachestvennogo-kontenta#6608661a358368c122c16853

Поисковая выдача наполняется автопереводами, российским потребителям перестают показывать российский контент, траффик по совершенно непонятным причинам сливается на зарубежные ресурсы:

4. Эпилог

Многие айтишники жили за счёт создания и ведения своих интернет-проектов, искренне трудились и создавали полезный для общества контент или сервисы. В виду озвученных выше обстоятельств, настроения этих людей сейчас примерно на таком уровне:

Судя по всему, Яндекс и враньё это теперь две вещи, которые не могу жить отдельно друг без друга. На SearchEngines уже весь форум завален сообщениями с примерами того, что сделал Яндекс и его "алгоритмы" (именно в кавычках). Если кратко, то в ТОП вылезло всё дно интернета с их низкокачественными рерайтами, текстами от нейросетей и просто пустые страницы + почему-то теперь на первых позициях англоязычные ресурсы (при том, что запрос задаётся пользователем на русском). И дело даже не в том, что нововведениями последних месяцев Яндекс полностью выкинул из выдачи или понизил до 30-х позиций старые белые (трастовые) ресурсы. Это лишь половина беды. Вторая же, как говорилось выше, заключается в том, что на конкретные запросы, примерно в 90% случаев, выдаются совершенно не подпадающие под него страницы. В некоторых тематиках, помимо прочего, заражённые или с липовым содержимым! У меня же лично ситуация аналогичная большинству. Просели процентов на 50 вообще все сайты, в разных тематиках и т.д. Доходит до абсурда. Создаёшь контент у которого вообще нет конкуренции в выдаче, а Яша его просто не индексирует или отправляет на 3-4 страницу. При этом, выдавая на первых позициях по данному запросу - вообще всё что угодно. Другими словами, качественные белые сайты просто рассыпались, без всяких фильтров, ограничений и т.д. При том, что весь мусор и ресурсы практикующие черный SEO (нередко заваленные отрицательными комментариями за обман посетителей в самих же Яндекс Отзывах) - на первых позициях. Вот уж действительно "улучшили выдачу"! Ах да, тех.поддержка не отвечает уже более двух недель (видимо сказать нечего).

— https://webmaster.yandex.ru/blog/yandeks-obnovlyaet-algoritm-opredeleniya-kachestvennogo-kontenta#660b97971e00570016d131b6

У меня есть следующие версии: 

Кассовый разрыв между оплатой партнерам и поступлениями от рекламы. Летом рубль упал, был МПК. Сейчас опять упал - подкрутили выдачу, партнеры сидят без дохода. Но может зависит не от курса рубля, а просто от продаж в РСЯ. Это делают, чтобы рассчитаться с крупным сайтам в выдаче типа РБК, а мелкие не так и важны. Может повлиял и закон о маркировке рекламы, меньше стали давать. 

Намеренно сливают поисковик. По разным причинам - и искать меньше стали (это факт, за последние 2 года упал спрос на поиск), и нейросети, и Телеграмы, и маркетплейсы. Подключили зарубежный трафик, чтобы можно было найти переводную информацию про какого-то музыканта, а на российские запросы пустили крупные новостники. У меня сайт посвящен финансовой аналитике, узкое ядро, отличные поведенческие, он улетел. В ТОП-10 сейчас одни Ленты, Царьграды и РБК, то есть, проверенные партией издания. 

В РФ на ближайшие лет 12 намечается полный авторитаризм, контролировать миллионы сайтов нереально. Поэтому вольных писак прижимают, и в пользу этой версии говорит и то, что РКН перестал указывать причину бана, алгоритм поведения такой же, как и при МПК, сами думайте, где нарушили, но лучше уйдите подальше с пляжа.  То есть, небольшие информационники просто выдавливают, мало ли  где какая мысль промелькнет. И порталов городских и региональных (неофициальных) после МПК легло море. 

Я думаю, что всем вебмастерам, включая меня, которые в Рунете с начала 2000-х, надо себе честно сказать: отрасль сдувается, перспектив на ближайшие 20 лет нету. В России будет оживление ВПК и торговли Китаем, одно в рекламе не нуждается, другое продадут через Вайлдберриз или Яндекс-маркет, сайты не нужны. 

В 2022 году это было уже понятно. Но это ж родной язык, родной Рунет, в котором плаваешь, как рыба в воде. Но за 2 года пустых надежд можно было выучить английский )))  

Кто с СНГ - не теряйте время. Кто с России - ищите себе работу нормальную, пока есть возможность. Сайты в Рунете лучше оставить, как подработку, увлечение, но не как основной доход.

— https://searchengines.guru/ru/forum/1093732/page6#comment_16990606

Подобные повсеместные проблемы с ключевой поисковой системой СНГ так же вынудят средний и мелкий бизнес в меньшей степени уделять внимание развитию собственных информационных ресурсов и больше смотреть в сторону SaaS.

Производители и продавцы товаров будут уходить (уже ушли) на крупные площадки - больше нет смысла создавать свои собственные интернет-магазины и держать IT-штат сотрудников. Такое явление, как собственный интернет-магазин, уже смотрится довольно дико - рынком правит WB и Ozon.

Различные новостные издания уступят место нескольким гигантам и благополучно закроются, что также повлечёт некий процент безработных IT-специалистов.

Остальные вебмастера и сайты просто уйдут с интернета в виду отсутствия смысла:

Надеялся, что у Яндекса временное помешательство, но трафик так и падает с  начала февраля:

— https://searchengines.guru/ru/forum/1072958/page338#comment_17000299

По сути дела, мы наблюдаем всеобщую интернет-зачистку, которая уже давно произошла в реальной жизни: в 90-2000 годы ещё были классические рынки и местечковые магазины, где мелкий бизнес кое-как зарабатывал на продуктах питания или перепродажи иностранных товаров. Потом пришли "Пятерочки-Перекрёстки", "Леруа-Мерлен", "ОБИ" и прочие. С приходом этих монополистов куча людей потеряла работу, магазины и рынки, не выдержав конкуренции, закрылись.

Примерно тоже самое ждёт и интернет, если Яндекс не найдёт способа справиться с последствиями внедрения своих нынешних алгоритмов ранжирования интернет-контента и не устранит чудовищные дыры в алгоритмах, приводящих к недобросовестной конкуренции.

Девиз Яндекса "Делайте сайты для людей" больше не оправдывает сам себя.