Рубрики
Разное

И вот эти люди надувают щёки. Часть 2

В первой части я показал «чудесную» поисковую выдачу любителей месяц мучать кандидатов алгоритмами и leetcod-ом.

На написание этой части статьи меня заставила общая ситуация, как с точки зрения веб-мастера, так и свидетеля общей реакции веб-мастеров на факт уничтожения российского интернета со стороны Яндекса.

1. Корявость Яндекса на одном конкретном примере

Две недели назад я решил сменить доменное имя у одного из своих сайтов. Как и положено в таких случаях, сделал со старого домена 301 редирект и прописал новый сайт в Яндекс.Вебмастер.

Проблемы начались через пару дней: по нескольку раз в день Яндекс присылал мне письма, что сайт на старом домене возвращает то 200, то 301 ответ. И так по нескольку раз в день, статусы ответа менялись 200-301-200-301-200…

Естественно я подумал, что косяк где-то на моей стороне, но где может быть косяк, если в корне старого сайта лишь один .htaccess с 301 редиректом, а сайт доступен напрямую, без каких-либо CDN? Дернул несколько раз сайт по CURL — получил стабильный 301 ответ. Полез на searchengines.guru и там мне радостно сообщили, что это глюк Яндекса, который тянется аж с 2005 года:

Поняли? Ведущая поисковая система страны, IT-компания гигант. Не в состоянии исправить глюк, который ведёт к расклейке зеркал и, как следствие, потери позиций сайтов. Возникает вопрос: это что у них там за чудо-технологии такие, которые не в состоянии получить корректный HTTP-статус ответа веб-сервера?!

2. Алгоритмы, основанные на поведенческом факторе

Первые реальные сведения о том, что Яндекс использует поведенческие факторы, появились после 1 июня 2011 года. ПФ — это отслеживаемые поисковыми системами показатели сайта, которые говорят о его привлекательности, удобстве и пользе. Если коротко — это метрики вроде продолжительности пребывания на сайте или глубины просмотра. Чем лучше эти метрики, тем выше поисковые системы оценивают сайт. 

В целом ПФ влияют на большую часть воронки продаж:

  • На позиции — за счет долгосрочного влияния всех ПФ, которые учитывают Яндекс и Google.
  • На привлечение внимания и трафик — за счет проработки сниппета сайта в выдаче. 
  • На конверсию — за счет удобного интерфейса и содержательного контента. 

Глобальная проблема с ПФ возникла почти сразу же, как только накрутчики нашли пути влияния на ПФ:

Жаль, что Яндекс не понимает одного, он при текущем подходе в совсем малой перспективе (несколько лет) сам себя уничтожит и потеряет доход из поиска. Почему…

Яндекс запустил ранжирование по поведенческим факторам и поставил их главенствующими, но никак не предусмотрел защиту (и на сегодняшний день не сможет!!!) от накруток в ранжировании полезных и качественных сайтов, переложив свою проблему на плечи вебмастеров — вебмастера, сами разбирайтесь с ботами и падающими позициями ваших сайтов, мы будем делать вид, что всё ОК.

Очень быстро появилась целая индустрия накрутчиков и их уровень естественности повышается с каждым месяцем. Когда-то биржи ссылок и всевозможных сервисов имели место быть очень востребованными. Но, с искусственными ссылками можно было бороться и там всё было довольно понятно, предсказуемо и всё решалось 1-2 алгоритмами или на худой конец ручной проверкой, с поведенческими же Яндекс сел в лужу по самые уши и не хочет это признавать!

Что в итоге получил Яндекс и вебмастера:

Поиск последних лет стал совершенно фальсифицированным, по всем сайтам гуляют боты давая просадку в выдаче естественным качественным сайтам, поднимая другие, скликивая рекламу, ломая естественную выдачу по предпочтениям живых пользователей. В итоге к Яндексу теряют доверие и пользователи, и вебмастера, и рекламодатели (что самое важное!!!). И, поскольку у последних расходы перестают оправдывать доходы (их деньги просто скликивают роботы), то, соответственно рекламодатели от Яндекса будут уходить в те же социальные сети и мессенджеры, где рекламный рынок на данный момент более предсказуем. И я боюсь представить, если кто-то из них решит выкатить свой поисковик)))

Яндекс теряет доверие у рекламодателей и это однозначно приведёт к тому, что Яндекс в дальнейшем станет чем-то вроде нынешнего Рамблера. Не будет рекламодателей, не станет и вебмастеров!

https://webmaster.yandex.ru/blog/yandeks-obnovlyaet-algoritm-opredeleniya-kachestvennogo-kontenta#660374c7b15042003ebf6c85

Теперь всем известная декларация Яндекса «делайте сайты для людей» читается просто издевательски, накрутчики ПФ лихо выводят в поисковую выдачу нечто подобное:

и Яндекс, судя по всему, не в состоянии этому помешать.

3. Накрутка плохого ПФ как инструмент устранения конкурентов

Плохие поведенческие факторы — это действия пользователей, которые свидетельствуют о том, что веб-сайт не выполняет свои функции.

Примеры плохих поведенческих факторов:

  1. Длительность сессии составляет менее 15 секунд. Это тревожный симптом, который свидетельствует о высоком показателе отказов: посетители быстро покидают страницу, поскольку не находят нужной информации.
  2. Переходы по внутренним ссылкам не осуществляются.
  3. Функционал сайта не задействован, люди не пользуются формами заказа и обратной связи.
  4. Посетители возвращаются на страницу поисковой выдачи и повторно уже не приходят.

Подобная умышленная накрутка негативных ПФ становится средством устранения конкурентов. В 2015 году представители Яндекса заявили, что в таком случае никакого разбирательства не будет и сайт 100% окажется в бане:

Мы не говорим, что мы никогда не ошибаемся, но дополнительные проверки, которые мы проводим, когда нам жалуются, показывают что все крутят.

Технологию проверок Сергей конечно не описывал, но несколько раз акцентировал внимание на том, что они полностью доверяют алгоритму и считают, что ошибаться он не может.

Все пишут одно и то же всегда – что не крутили, а не деле оказывается не так. На форумах сервисов по накрутках клиенты жалуются, что их забанили за накрутку ПФ, и представители сервиса советуют – “а вы скажите, что это не вы крутили, а конкуренты – доказать все равно никто не сможет”.

https://lred.ru/prodvij/34965—allintop-conf——-

Что вызывает бурное негодование со стороны владельцев интернет-ресурсов:

Как бороться с накруткой поведенческих факторов и почему Яндекс считает, что если идет накрутка — это дело рук самого владельца ресурса?

Есть несколько сайтов, в последние месяцы наблюдаются повальные переходы с соцсетей с плохими поведенческими, в то время как сайты в определенных социалках никак не участвуют, например, в том же Дзене сайтов нет, но переходы с него есть (понятно, что кто-то мог поставить ссылку). Причем, в основном используется интернет провайдер Мегафон (лидер прямо таки для накрутчиков), далее Tele2. Если банить подобные переходы по referer, переключаются на поиск.

Письмо в саппорт Яндекса ничего не дает, от Платонов поступает шаблонный ответ: «Мы не знаем кто и с какой целью совершает подобные переходы бла бла бла… развивайте сайт…» и далее сайты попадают под пессимизацию либо под жесткий бан. Как его развивать, если постоянно кто то палки в колеса сует?

По поводу, что Яндекс считает что накрутка это дело самих владельцев ресурса взято из ответов на «SEO конференции allintop 2015» — за эти годы, по моему ничего не изменилось в политике Яндекса.

https://yandex.ru/q/question/kak_borotsia_s_nakrutkoi_povedencheskikh_dcc21eab/

Доказать, что это не вы накручиваете себе ПФ невозможно. Сейчас алгоритмы работают у Яндекса ужасно и по сути, если правильно настроить накрутку и производить её более 6-7 месяцев, можно положить любой сайт.

Именно так поступили конкуренты и с нашим ресурсом. Мы долгое время находились в ТОП по очень «жирным ключам» и мозолили многим конкурентам глаза. Естественно находясь в ТОП и получая хороший трафик нам незачем было самим крутить себе статистику, но это нам начали делать конкуренты. Мы обратились по этому вопросу в Яндекс, на что был дан ответ: «Занимайтесь развитием сайта и всё будет хорошо..» Также мы предоставляли все доступы и кучу корпоративной информации и документальных обоснований в своё оправдание, но это ровным счётом ничего не изменило, сайт находится под баном.

Самое смешное, что даже находясь под баном в поисковых сетях нам продолжают крутить ПФ и выполнить требования яндекса по отключению накрутки мы не можем, так как понятно, что не сами себе её крутим.

Сейчас мы пробуем сами на техническом уровня начать фильтровать трафик на свой ресурс на уровне сервера пытаемся отлавливать левые запросы, но проблема в том, что часть переходов осуществляется не роботами, а пользователями по заданию и их отсеять от реальных посетителей не получается.

https://yandex.ru/q/question/kak_borotsia_s_nakrutkoi_povedencheskikh_dcc21eab/

судя по метрике на разных сайтах Яндекс не умеет распознавать ботов. Проблема в том, что они успешно скликивают рекламу на сайтах, да и в самом поиске и его приблудах типа дзена. Яндекс должен понимать, что это рано или поздно приведёт к утрате эффективности рекламы и уходу рекламодателей, а без них Яндексу придёт конец как поисковику.

https://webmaster.yandex.ru/blog/yandeks-obnovlyaet-algoritm-opredeleniya-kachestvennogo-kontenta#6603fe52358368c122c14d07

3. Англоязычный контент по запросу на кириллице

Ещё одна из причин недовольства владельцев сайтов:

Когда вы исправите выдачу и уберете иностранные сайты в выдаче в топ 10 и дадите возможность развиваться всем сайтам Мы конечно, понимаем, что вы хотите сделать лучше, но обычные сайты без накруток и ботов теряют позиции и у них уменьшается ИКС. В топ по разным запросам выходят иностранные сайты на языке без перевода. При этом вы не получаете  доход от  рекламы. Прошло уже полмесяца ничего не изменилось. Если бы мы что то искали в другой стране, то было бы понятно почему в топе иностранные сайты, но яндекс вроде русский поисковик и находится в России. Уже умоляем Вас исправить и сделать хотя бы как было

https://webmaster.yandex.ru/blog/yandeks-obnovlyaet-algoritm-opredeleniya-kachestvennogo-kontenta#6608661a358368c122c16853

Поисковая выдача наполняется автопереводами, российским потребителям перестают показывать российский контент, траффик по совершенно непонятным причинам сливается на зарубежные ресурсы:

4. Эпилог

Многие айтишники жили за счёт создания и ведения своих интернет-проектов, искренне трудились и создавали полезный для общества контент или сервисы. В виду озвученных выше обстоятельств, настроения этих людей сейчас примерно на таком уровне:

Судя по всему, Яндекс и враньё это теперь две вещи, которые не могу жить отдельно друг без друга. На SearchEngines уже весь форум завален сообщениями с примерами того, что сделал Яндекс и его «алгоритмы» (именно в кавычках). Если кратко, то в ТОП вылезло всё дно интернета с их низкокачественными рерайтами, текстами от нейросетей и просто пустые страницы + почему-то теперь на первых позициях англоязычные ресурсы (при том, что запрос задаётся пользователем на русском). И дело даже не в том, что нововведениями последних месяцев Яндекс полностью выкинул из выдачи или понизил до 30-х позиций старые белые (трастовые) ресурсы. Это лишь половина беды. Вторая же, как говорилось выше, заключается в том, что на конкретные запросы, примерно в 90% случаев, выдаются совершенно не подпадающие под него страницы. В некоторых тематиках, помимо прочего, заражённые или с липовым содержимым! У меня же лично ситуация аналогичная большинству. Просели процентов на 50 вообще все сайты, в разных тематиках и т.д. Доходит до абсурда. Создаёшь контент у которого вообще нет конкуренции в выдаче, а Яша его просто не индексирует или отправляет на 3-4 страницу. При этом, выдавая на первых позициях по данному запросу — вообще всё что угодно. Другими словами, качественные белые сайты просто рассыпались, без всяких фильтров, ограничений и т.д. При том, что весь мусор и ресурсы практикующие черный SEO (нередко заваленные отрицательными комментариями за обман посетителей в самих же Яндекс Отзывах) — на первых позициях. Вот уж действительно «улучшили выдачу»! Ах да, тех.поддержка не отвечает уже более двух недель (видимо сказать нечего).

https://webmaster.yandex.ru/blog/yandeks-obnovlyaet-algoritm-opredeleniya-kachestvennogo-kontenta#660b97971e00570016d131b6

У меня есть следующие версии: 

  1. Кассовый разрыв между оплатой партнерам и поступлениями от рекламы. Летом рубль упал, был МПК. Сейчас опять упал — подкрутили выдачу, партнеры сидят без дохода. Но может зависит не от курса рубля, а просто от продаж в РСЯ. Это делают, чтобы рассчитаться с крупным сайтам в выдаче типа РБК, а мелкие не так и важны. Может повлиял и закон о маркировке рекламы, меньше стали давать. 
  2. Намеренно сливают поисковик. По разным причинам — и искать меньше стали (это факт, за последние 2 года упал спрос на поиск), и нейросети, и Телеграмы, и маркетплейсы. Подключили зарубежный трафик, чтобы можно было найти переводную информацию про какого-то музыканта, а на российские запросы пустили крупные новостники. У меня сайт посвящен финансовой аналитике, узкое ядро, отличные поведенческие, он улетел. В ТОП-10 сейчас одни Ленты, Царьграды и РБК, то есть, проверенные партией издания. 
  3. В РФ на ближайшие лет 12 намечается полный авторитаризм, контролировать миллионы сайтов нереально. Поэтому вольных писак прижимают, и в пользу этой версии говорит и то, что РКН перестал указывать причину бана, алгоритм поведения такой же, как и при МПК, сами думайте, где нарушили, но лучше уйдите подальше с пляжа.  То есть, небольшие информационники просто выдавливают, мало ли  где какая мысль промелькнет. И порталов городских и региональных (неофициальных) после МПК легло море. 

Я думаю, что всем вебмастерам, включая меня, которые в Рунете с начала 2000-х, надо себе честно сказать: отрасль сдувается, перспектив на ближайшие 20 лет нету. В России будет оживление ВПК и торговли Китаем, одно в рекламе не нуждается, другое продадут через Вайлдберриз или Яндекс-маркет, сайты не нужны. 

В 2022 году это было уже понятно. Но это ж родной язык, родной Рунет, в котором плаваешь, как рыба в воде. Но за 2 года пустых надежд можно было выучить английский )))  

Кто с СНГ — не теряйте время. Кто с России — ищите себе работу нормальную, пока есть возможность. Сайты в Рунете лучше оставить, как подработку, увлечение, но не как основной доход.

https://searchengines.guru/ru/forum/1093732/page6#comment_16990606

Подобные повсеместные проблемы с ключевой поисковой системой СНГ так же вынудят средний и мелкий бизнес в меньшей степени уделять внимание развитию собственных информационных ресурсов и больше смотреть в сторону SaaS.

Производители и продавцы товаров будут уходить (уже ушли) на крупные площадки — больше нет смысла создавать свои собственные интернет-магазины и держать IT-штат сотрудников. Такое явление, как собственный интернет-магазин, уже смотрится довольно дико — рынком правит WB и Ozon.

Различные новостные издания уступят место нескольким гигантам и благополучно закроются, что также повлечёт некий процент безработных IT-специалистов.

Остальные вебмастера и сайты просто уйдут с интернета в виду отсутствия смысла:

Надеялся, что у Яндекса временное помешательство, но трафик так и падает с  начала февраля:

https://searchengines.guru/ru/forum/1072958/page338#comment_17000299

По сути дела, мы наблюдаем всеобщую интернет-зачистку, которая уже давно произошла в реальной жизни: в 90-2000 годы ещё были классические рынки и местечковые магазины, где мелкий бизнес кое-как зарабатывал на продуктах питания или перепродажи иностранных товаров. Потом пришли «Пятерочки-Перекрёстки», «Леруа-Мерлен», «ОБИ» и прочие. С приходом этих монополистов куча людей потеряла работу, магазины и рынки, не выдержав конкуренции, закрылись.

Примерно тоже самое ждёт и интернет, если Яндекс не найдёт способа справиться с последствиями внедрения своих нынешних алгоритмов ранжирования интернет-контента и не устранит чудовищные дыры в алгоритмах, приводящих к недобросовестной конкуренции.

Девиз Яндекса «Делайте сайты для людей» больше не оправдывает сам себя.

21 ответ к “И вот эти люди надувают щёки. Часть 2”

Первые реальные сведения о том, что Яндекс использует поведенческие факторы, появились после 1 июня 2011 года.

добро пожаловать в реальный мир. IPO, инвесторы и т.д.
глобально я думаю что проблема вовсе не в яндексе, а в обстановке. и да, рунету придет пизда в скором времени в том виде в котором он есть. в том смысле что останется 10 сайтов, а остальные и закрывать не придется — сами сдохнут без трафика.
так же как власть становится более централизованной — интернет, как площадка уже не для гиков, придет туда же. потому что везде нужен контроль. а осуществлять контроль проще из одного места.

6
0
Эксперт по этим вашим интернетам 2aeb75bdfa2aeb75bdfa

Скоро всему интернету придет пизда, он превратится в кашу из бессмысленных текстов, сгенереных ChatGPT. Он будет искать в инете свое же говно и каждый раз генерить еще более бессмысленный бред.

Это реалии уже сегодняшнего инета. Буквально на днях загуглил биографию одного человека, чтобы уточнить один момент, но уже где-то на пятом говносайте сдался, там этот момент не соответствует действительности и перепечатан с однофамильца женского пола. Такую хуйню мог сотворить только ИИ.

6
1

Да, ChatGPT становится метастазами интернета.

Я недавно на серче спрашивал, есть ли смысл раскручивать сайт через генерированные статьи. Мнения разделились, некоторые писали, что уже берут результат gpt и загоняют в индекс, что бы попадать в поисковую выдачу.

Такими темпами скоро просто всё засрут.

3
0

Ещё вообразите, масштабы вирусов в open source, и то что ии берёт весь этот код. Будет полный бардак, и люди перестанут воспринимать информацию из интернета.
Качество программистов будет падать. Интелектуальный уровень людей будет снижается ещё быстрее. Ложь будет везде, а правда станет ложью.

2
0

Как и предполагал когда-то.
А реальная правда будет стоить денег, по всей видимости.

0
0

Мне вот интересно, ведут ли яндекс устройства (умные колонки, например) и ПО (Браузер) аудио прослушку за своими пользователями и сливают куда надо. В интернете якобы инфа что при утечках кода, в алгоритмах была та самая «прослушка».

2
0

Ведут, конечно. Известно, что Яндекс работал на упреждение. Т.е. некоторые фишки он вводил ещё до того, как поступал запрос от спецслужб

А ещё я видел совсем кринж, но связанный не с Яндексом, а с какой-то другой российской платформой. Левый чел написал на какой-то служебный ящик, представившись сотрудником ФСБ, и потребовал данные на определённого пользователя, сказав, что официальный документ на это он предоставит потом, а данные нужны срочно. И сотрудники ресурса ему всё выдали

3
0

Им надо Алису учить. Естественно ведут.

Яндекс — рупор путинской пропаганды. На всё остальное им плевать. Новости просто идеальные: живём всё лучше и лучше. Если введёшь что то противоречащее линии партии Яндекс сделает вид, что не понял.

А вот вам политически нейтральная новость: ведущие компании разработчики компьютерных игр сокращают тысячи программистов.
https://shorturl.at/qr148
Всему виной, естественно, ИИ. Теперь ИИ будет писать код игр.

От написания кода игр к 2030 г. компании планируют перейти к нейро-рендерингу. Игра не будет иметь кода вообще. Картинку на экране будет делать нейросеть. Для этого всего лишь надо ускорить работу Stable Diffusion в несколько раз.

https://nvplay.ru/news/nvidia-rasschityvaet-chto-v-buduschem-dlss-predlozhit-polnyy-neyronnyy-rendering-grafiki

2
3

Технически препятствий к этому нет. Поэтому я не покупаю себе эту хрень и не рекомендую ее покупать другим.

2
0

в 90-2000 годы ещё были классические рынки и местечковые магазины, где мелкий бизнес кое-как зарабатывал на продуктах питания или перепродажи иностранных товаров

Отвратительные были времена… Хорошо что щас всё цивильно плюс/минус

Другой вопрос, что надо бы владельцев подобных бизнесов и сами эти бизнесы душить налогами по максимуму (а они деградируют резко и начинают покупать золотые унитазы с яхтами, дегенераты), но вместо этого — оброк на сраный ежегодный лям/сраные 5 лямов рублей с человека да НДФЛ на вклады («доход» с которых итак ниже уровня инфляции)

2
2

Не поможет. Это как в анекдоте, где сына будет меньше кушать, а не папа будет меньше пить. Всегда все сводится к тому что страдать будет обычное население, до тех пор пока оно не начнет себя уважать. Вон кидали вакансии на мидлов с ЗП 60-80к. Курьер столько зарабатывает если не больше. А инженеры на заводах с ЗП 80к? Мы сами в этом виноваты.

6
0

Не соглашайся на мелкую зп. Согласился от безысходности — ищи бОльшую зп. Не берут? Выясни почему, подготовься получше, перейди в новое место с бОльшей зп. Я так 5 работ за 6 лет сменил и доход с 25 до 300 поднял и останавливаться не собираюсь

Не хочешь жрать говно? Не жри

Жрешь говно — валишь собой рынок зарплат всем остальным, а на сэкономленное — поросята купят себе еще одну ахуеть как нужную им яхту

7
1

за 6 лет

Блять какие вы все умные чисто потому что когда-то рынок и правда позволял требовать многого.

7
0

Я так 5 работ за 6 лет сменил и доход с 25 до 300 поднял и останавливаться не собираюсь

Красава. Но эти времена уже прошли. Теперь до 300 доберутся лишь реальные таланты и фанатики.

8
0

«Выясни почему, подготовься получше»
Что за работа такая, где нужно много лет работая еще и готовиться к собеседовании, т.е. экзамену? Ах, да, айтишечка, она самая.

2
0

Отвратительные были времена… Хорошо что щас всё цивильно плюс/минус

Времена были бедные, это да. Но отвратительными я бы их точно не назвал.

1
0

Хочу вставить слово не про сам поисковик, а про Yandex.market. Раньше это был удобный сайт, где можно было смотреть нормально оформленное описание товаров. Сейчас туда зайти почти невозможно, потому что тебя насилуют каптчой каждый раз, когда ты заходишь. Причём для яндекса никаких VPN-ов я не юзаю, с чего бы такая реакция на мой айпи? Раньше такого даже и близко не было. В общем, Yandex сейчас живёт только за счёт «заслуг дедов», а так в целом скатился. Наверное передоз литкод-аунов и задротов тоже сыграл свою роль.

2
0

Проблем таких много. Вчера например, ввожу в навигатор 2ГИС, адрес, и он предлогает ехать по встречке, на односторонней дороге. Хотя на карте чётко отмечено что это одностороняя дорога (программа понимает). Казалось бы, что 2 ГИС уже очень много лет разрабатывают, а элементарные ошибки есть. И я находясь в незнакомом городе, понял ошибку, а если это был начинающий водитель, наверняка точно он бы проехал по встречке со всеми вытекающими.
Даже в БД PostgreSql, есть ошибка в запросе select оператора IN (для строк).

ПС: Навител, по маршруту из точка А и в точку В, по тем же данные, видит что дорога односторонняя и показывает верное направление движения.

1
0

Блеать, в какое же дерьмо превратилась эта сфера. И стремительно всратость IT обретает всё большие масштабы. С каждым годом хуже и хуже… Отвратительнее всего последствия, которые оказывает работа программистом на человека. Меня она превратила в ленивого овоща, лишённого эмоций и смысла в жизни… Ловушка так ловушка… Врагу не пожелаешь…

10
0

Сегодня и я пришёл к такому же выводу. Это стадия выгорания. Когда нет плана жизнь сложнее. Когда ты потерял интерес к жизни. Это очень плохо.
Добавте к этому, то время где мы живём это дикие времена.

Так и уходят из ит.
И нет желания даже делать свои проекты, ибо ии, окончательно испортит весь интернет. А на твоём open source, заработают другие или затюкают пользователи, требуя функционал.

2
2

Добавить комментарий

Любые темы про политику/экономику, СССР/капитализм, войны/СВО или всё то, что НЕ относится к теме сайта (IT), будут УДАЛЯТЬСЯ.

Любые бессмысленные оскорбления участников сайта или тематики сайта будут УДАЛЯТЬСЯ. Если с чем-то не согласны - приводите аргументацию, а не оскорбления.

Мы стараемся сделать комментарии ценным информационным материалом, засорять сайт обсуждениями, никак не относящимися к теме сайта не нужно! Спасибо за понимание.