Найдены страницы-дубли с GET-параметрами (Яндекс)

[lightman5]

Доброго времени суток.
На днях яндекс в вебмастере установил критическую ошибку и звучит она так:
Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.

Посмотрите примеры. Если в поиске есть дубли из-за GET-параметров, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице. Когда робот узнает о внесенных изменениях, страницы с незначащими GET-параметрами пропадут из поиска.

Примеры:

Yandex

Finds everything

yadi.sk

 

[pashad]

Пересоздать robot.txt - побывал? (старый сохранить)
Настройки-SEO URL - внизу страницы кнопка

Потом в вебмастере проверить страницу на индексирование
Инструменты - Анализ робот.тхт

 

[lightman5]

Пересоздать robot.txt - побывал? (старый сохранить)
Настройки-SEO URL - внизу страницы кнопка

Потом в вебмастере проверить страницу на индексирование
Инструменты - Анализ робот.тхт

А смысл его пересоздавать??? Что с ним нге так??? Уже долгое время работает и вопросов не было и модуль фильтра товаров уже давно! Или может что то не догоняю?

Результаты анализа robots.txt​

0 ошибокиспользуемые строки

Строки	Используемые секции
1	User-agent: *
3 4	Allow: */modules/*.css Allow: */modules/*.js
6 49	Disallow: /*?orderby= Disallow: /*?orderway= Disallow: /*controller=guest-tracking
51 57	Disallow: */classes/ Disallow: */config/ Disallow: */tools/
59 73	Disallow: /*password-recovery Disallow: /*address Disallow: /*guest-tracking
75	Disallow: /2-home
78 79	Sitemap: https://www.elitebohemia.ru/1_index_sitemap.xml host: https://www.elitebohemia.ru

 

[byura]

А смысл его пересоздавать??? Что с ним нге так??? Уже долгое время работает и вопросов не было и модуль фильтра товаров уже давно! Или может что то не догоняю?

добавить из get параметров слева
Clean-param: /controllerUri
ит.д

 

[lightman5]

добавить из get параметров слева
Clean-param: /controllerUri
ит.д

Это где и как? просто ни разу такого не делал - даже не знаю что это такое...
Первый раз столкнулся с таким

 

[bat]

могу затупить, но ты не пробовал турбо страницы вкинуть? Он ругаться будет меньше, работать быстрее, это первое что нужно сделать по возможности, по гетам я бы обратился к суппортам, они сейчас хоть и не быстро, но вполне доходчиво объясняют в чем проблема, время Платона Щукина уже прошло, аллилуйя
Может это вообще проблема Яндекса в связи с переходом на платформу 360

 

[lightman5]

могу затупить, но ты не пробовал турбо страницы вкинуть? Он ругаться будет меньше, работать быстрее, это первое что нужно сделать по возможности, по гетам я бы обратился к суппортам, они сейчас хоть и не быстро, но вполне доходчиво объясняют в чем проблема, время Платона Щукина уже прошло, аллилуйя
Может это вообще проблема Яндекса в связи с переходом на платформу 360

турбо страницы не пробовал. Да и не хочется как то дополнительно увеличивать бюджет. Идея хорошая в суппорт написать конечно. Просто думал - может кто здесь сталкивался с подобным...

 

[bat]

турбо страницы не пробовал. Да и не хочется как то дополнительно увеличивать бюджет. Идея хорошая в суппорт написать конечно. Просто думал - может кто здесь сталкивался с подобным...

Турбо лояльность повысит, подумай об этом, а суппортам в момент перехода пишу регулярно по проектам, они по отзывам себя так же правят, находят недочеты и тд, с трекером они уже подобосрались, с бизнес профилями тоже все время приходится показывать что и где не так, плюс собрались на новые лыжи все перенести второй раз за короткий период, пиши, не сомневайся
Дзен тоже негатива хапает очень много, особенно в плане краденного контента, а кто уник публикует тех банят хрен пойми за что (есть примеры и знаю людей), пиши им напрямую без наездов

 

[lightman5]

Турбо лояльность повысит, подумай об этом, а суппортам в момент перехода пишу регулярно по проектам, они по отзывам себя так же правят, находят недочеты и тд, с трекером они уже подобосрались, с бизнес профилями тоже все время приходится показывать что и где не так, плюс собрались на новые лыжи все перенести второй раз за короткий период, пиши, не сомневайся
Дзен тоже негатива хапает очень много, особенно в плане краденного контента, а кто уник публикует тех банят хрен пойми за что (есть примеры и знаю людей), пиши им напрямую без наездов

А дорого обходятся эти турбо страницы и долго настраивать и как оплачивать?

 

[lightman5]

Турбо лояльность повысит, подумай об этом, а суппортам в момент перехода пишу регулярно по проектам, они по отзывам себя так же правят, находят недочеты и тд, с трекером они уже подобосрались, с бизнес профилями тоже все время приходится показывать что и где не так, плюс собрались на новые лыжи все перенести второй раз за короткий период, пиши, не сомневайся
Дзен тоже негатива хапает очень много, особенно в плане краденного контента, а кто уник публикует тех банят хрен пойми за что (есть примеры и знаю людей), пиши им напрямую без наездов

Обращение в поддержку толком ничего особо не дало:

Для ограничения индексации подобных ссылок вы можете использовать одну общую директиву вида Clean-param: q&controllerUri . В таком случае ссылки с такими параметрами будут индексироваться по "чистому" адресу без этих параметров. Это позволяет эффективно передать показатели страниц с незначащими get-параметрами основным страницам. При этом роботу не потребуется индексировать каждую такую страницу-дубль, что повышает эффективность обхода и индексации сайта роботом. Вы можете использовать атрибут rel="canonical" в дополнение к директиве Clean-param, это не будет ошибкой.

Замечу, что роботу нужно некоторое время для того, чтобы обойти файл robots.txt вашего сайта и заметить данные изменения, а также необходимо учитывать, что информация в Вебмастере отображается с некоторой задержкой. По мере обхода робота и обновления поисковых баз данные изменения будут учтены и отражены в поиске, как правило, данный процесс занимает 1-2 недели, уведомления в Вебмастере также пропадут автоматически, не переживайте, пожалуйста.

Если на сайте есть страницы с какими-либо еще параметрами, их можно добавить по аналогии в уже имеющуюся директиву.
------
И далее вопрос: как ее правильно прописать чтобы не накосячить???

 

[lightman5]

добавить из get параметров слева
Clean-param: /controllerUri
ит.д

То есть как я понял - нужно в файл robots.txt
добавить внизу следующий синтаксис?
Clean-param: /controllerUri
Clean-param: /q

и все и больше ничего не нужно?

 

[lightman5]

В общем путем экспериментов пришел вот к таким параметрам:
Clean-param: q html
Clean-param: q /_*
Clean-param: controllerUri /-*
Clean-param: q&controllerUri /_*

Ошибок не выдает в вебмастере, но понятия не имею на сколько это верно...
Может кто то подскажет?

 

[lightman5]

Если кому то интересно то все же совместно со службой поддержки решилась задача
Нужно написать всего одну строку в роботе
Clean-param: q&controllerUri

 

[bat]

Если кому то интересно то все же совместно со службой поддержки решилась задача

ну я сразу и говорил что с ними нужно решать, ибо есть вещи которые могут уточнить/знают только сами суппорты, без инсайдеров с бубном не самое правильное искать решение.
по остальным вопросам ответил в ЛС

 

[dmx]

Что то Яша с ума сходит атрибут canonical что ли прочитать не может. Так то могли бы и сами вычищать дубли. Или как в Гугл можно в панели указать эти get запросы которые не индексировать. Лучше бы доработали свою панель, чем сваливать свои проблемы на вебмастеров.
Турбо страницы вообще ни чем не помогают в выдаче, но это на основании доров , может где-то помогут, так же в баню ни какой там лояльности.

 

[lightman5]

Что то Яша с ума сходит атрибут canonical что ли прочитать не может. Так то могли бы и сами вычищать дубли. Или как в Гугл можно в панели указать эти get запросы которые не индексировать. Лучше бы доработали свою панель, чем сваливать свои проблемы на вебмастеров.
Турбо страницы вообще ни чем не помогают в выдаче, но это на основании доров , может где-то помогут, так же в баню ни какой там лояльности.

Да я то же удивился - кононикал установлен... По поводу турбо страниц - вообще думал что они платные у яндекса )) Попробую установить - раз уж они для чего то даны - начал проходить проверку- так яндекс начал меня проверять - заказы создавать - голосом общаться и т д ... млин я же не яндекс маркет подключаю а всего лишь страницы турбо ))

 

[byura]

Что то Яша с ума сходит атрибут canonical что ли прочитать не может.

да бывает теряет canonical, на сл. день находит

 

[pashad]

. По поводу турбо страниц - вообще думал что они платные у яндекса )) Попробую установить - раз уж они для чего то даны

Турбо страницы для ИМ - зло. не надо их ставить - потому они и бесплатные.
не все что предлагает яндекс полезное

 

[lightman5]

Турбо страницы для ИМ - зло. не надо их ставить - потому они и бесплатные.
не все что предлагает яндекс полезное

а что ж раньше не сказали??? уже установил. а почему зло?

 

[pashad]

а что ж раньше не сказали??? уже установил. а почему зло?

Тема про то что турбо страницы это зло - достойна отдельного топика.
Почитайте форум серченжин или была аналитика на vc

Если кратко то: вы отдаете яндексу бесплатно свой траффик. вопрос что вы получаете взамен. и что теряете. для некоторых кейсов они могут быть полезны. но лидеры ecomerca не хотят отдавать свой трафик яндексу.

Аналогично с быстрыми покупками на Маркете