Презентация poisk dubley new

Поиск дублей

• Виды дублей • Чем опасны • Поиск дублей • Как бороться с дублями План доклада

Дубли – страницы с частично либо полностью идентичным контентом доступные по разным адресам внутри сайта. Четкие Нечеткие Полные / Явные Частичные / Неполные. Виды дублей

— полностью идентичный контент при разных url 1. http: //site. ru/post/12345 2. http: // www. site. ru/post/12345 3. http: //site. ru/post/12345 / 4. http: // www. site. ru/post/12345 / 5. http: //site. ru/post/12345 /index. php 6. http: // www. site. ru/post/12345 /index. php 7. … Четкие дубли

— повторение одинакового контента на разных url Нечеткие дубли

1. Недоработки CMS (генерация копий страниц) 2. Технические ошибки 3. Наполнение сайта идентичной информацией 4. Служебные страницы 5. Контент представлен разными способами (. doc, . pdf ) Причины появления дублей

1. Смена релевантных страниц 2. Размывается внутренний ссылочный вес 3. Потеря уникализации контента внутри сайта 4. Требуется больше времени роботам на сканирования сайта 5. Санкции и пессимизация Чем опасны дубли

Соотнесите существующие страницы к проиндексированным • Товаров на сайте – 5 000 шт. • Категорий + Подкатегорий – 50 шт. • Страниц – 10 шт. • Новостей – 40 шт. • Примеры работ / клиенты – 40 шт. • Другие – 10 шт. Итого : около 5150 страниц. Поиск дублей

Просматриваем выдачу вручную Поиск дублей 1. Одинаковые сниппеты 2. Отсутствие информации в сниппетах 3. Подозрительные символы и конструкции в структуре url

Поиск дублей

Поиск дублей

Используем операторы поиска : 1. site: example. ru 2. inurl: print site: example. ru 3. title: ( Заголовок ) site: example. ru 4. mime: pdf site: example. ru Памятка по использованию языка запросов Яндекс : http: //help. yandex. ru/search/? id=1111313 Поиск дублей

• Xenu http: //home. snafu. de/tilman/xenulink. html • Netpeak Spider http: //netpeak. ua/soft/netpeak-spider/ • Screaming Frog SEO Spider http: //www. screamingfrog. co. uk/seo-spider/ • A 1 Website Analyzer http: //www. microsystools. com/products/website-analyzer/Программная проверка

Google Webmaster Tools

• audit. megaindex. ru • сайтрепорт. рф • rooletka. ru Сторонние сервисы

Как бороться с дублями? • Ручное удаление • 301 редирект • meta name=»robots» • robots. txt • link rel=»canonical»

301 редирект с домена без WWW на домен с WWW : Options +Follow. Sym. Links Rewrite. Engine On Rewrite. Cond %{HTTP_HOST} ^site\. ru$ [NC] Rewrite. Rule ^(. *)$ http: //www. site. ru/$1 [R=301, L] 301 редирект с домена с WWW на домен без WWW : Options +Follow. Sym. Links Rewrite. Engine On Rewrite. Cond %{HTTP_HOST} ^www. site\. ru$ [NC] Rewrite. Rule ^(. *)$ http: //site. ru/$1 [R=301, L] 301 Редирект

301 редирект – удаляем “/” на конце URL: Rewrite. Cond %{REQUEST_FILENAME} !-d Rewrite. Cond %{REQUEST_URI} ^(. +)/$ Rewrite. Rule ^(. +)/$ http: //www. site. ru/$1 [R=301, L] 301 редирект – добавляем “/” на конце URL: Rewrite. Cond %{REQUEST_FILENAME} !-f Rewrite. Cond %{REQUEST_URI} !\. . {1, 10}$ Rewrite. Cond %{REQUEST_URI} !(. *)/$ Rewrite. Rule ^(. *)$ http: //www. site. ru/$1/ [L, R=301] 301 Редирект

301 редирект – удаляем index. php для главной : Rewrite. Engine On Rewrite. Base / Rewrite. Cond %{THE_REQUEST} ^[A-Z]{3, 9}\ /index\. php\ HTTP/ Rewrite. Rule ^index\. php$ http: //www. site. ru/$1 [R=301, L] 301 редирект со страницы : 301 Редирект Redirect 301 /old. html http: // www. site. ru/new. html. Redirect 301 /old. html http: //site. ru/new. html

Каноническая страница – это рекомендуемый экземпляр из набора страниц с очень похожим содержанием. Для сортировок вида : &sort=price &sort= date &sort= Робот считает ссылку с атрибутом rel=»canonical» не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован. При принадлежности разным категориям : http: //site. ru/sumki/black/ch-051 http: //site. ru/sumki/ leather /ch-051 http: //site. ru/sumki/2013/ch-051 Атрибут rel=»canonical»

— запрещено индексировать текст , но можно переходить по ссылкам. Варианты значений : index — индексировать страницу. noindex — не индексировать страницу. follow — переходить дальше по ссылкам с этой страницы. nofollow — не переходить по ссылкам с этой страницы all — аналог одновременного использования index и follow. Разрешено индексировать и переходить по ссылкам. none — аналог одновременного использования noindex и nofollow. Индексация полностью запрещена, по ссылкам не ходить. — запрещено индексировать текст и переходить по ссылкам на странице. Meta name=»robots»

robots. txt – текстовый файл, расположенный в корне сайта, предназначен для управления роботами поисковых систем. Директива User-agent: Yandex User-agent: Googlebot User-agent: * User-agent: Mail. Ru Список названий всех роботов Google: http: //support. google. com/webmasters/bin/answer. py? hl=ru&answer=1061943 Список названий всех роботов Яндекс : http: //help. yandex. ru/webmaster/? id=996567 #996568 Файл robots. txt

Директива Disallow / Allow Disallow: /wp-content/ Allow: /wp-content / images/ Использование спецсимволов «*» и «$“ ‘ *’ – любая последовательность символов Disallow: / forum * Disallow: / forum /*. html — запрет страниц с фрагментом . html в папке форум ‘ $’ – отмена действия спецсимвола ‘*’ Disallow: / test $ — запретит /test , но не запретит test. html. Файл robots. txt

Директива Host : Host: www. site. ru — прописываем наше основное зеркало Директива Sitemap: http: // www. site. ru/ tech /my_sitemap. xml. Директива Clean-param: www. site. ru/index. php? page=1&sid=2564126 ebdec 301 c 607 e 5 df Clean-param: sid /index. php Яндекс : http: //help. yandex. ru/webmaster/? id=996567 Google: http: //support. google. com/webmasters/bin/answer. py? hl=ru&answer=156449 Файл robots. txt

Для 1 С-Битрикс — CMS User-agent: * Disallow: /bitrix/ Disallow: /auth/ Disallow: /personal/ Disallow: /search/ Disallow: /*/slide_show/ Disallow: /*/gallery/*order=* Disallow: /*? print= Disallow: /*&print= Disallow: /*register= Disallow: /*forgot_password= Disallow: /*change_password= Disallow: /*login= Disallow: /*logout= Disallow: /*auth= Disallow: /*? action= Disallow: /*action=ADD_TO_COMPARE_LIST Disallow: /*action=DELETE_FROM_COMPARE_LIST Disallow: /*action=ADD 2 BASKET Disallow: /*action=BUY Disallow: /*? display= Disallow: /*bitrix_*= Disallow: /examples/my-components/ Disallow: /examples/download_private/ Disallow: /*backurl=* Disallow: /*back_url_admin=* Disallow: /*print_course=Y Disallow: /*show_all= Disallow: /*. swf$ Disallow: /club/search/ Disallow: /club/group/search/ Disallow: /club/forum/search/ Disallow: /*PAGE_NAME=user_post Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*PAGE_NAME=search Disallow: /communication/forum/search/ Disallow: /communication/blog/search. php Disallow: /club/gallery/tags/ Disallow: /auth. php Disallow: /communication/forum/user/ Disallow: /e-store/paid/detail. php Disallow: /e-store/affiliates/ Host: www. site. ru Sitemap: http: //www. site. ru/sitemap_000. xml Disallow: /club/$ Disallow: /club/messages/ Disallow: /club/log/ Disallow: /content/board/my/ Disallow: /content/links/my/ Disallow: /*register=yes Disallow: /*forgot_password=yes Disallow: /*change_password=yes Disallow: /*login=yes Disallow: /*logout=yes Disallow: /*auth=yes Disallow: /*logout=yes

Указывайте основной домен вручную : Яндекс. В ебмастер / Настройка индексирования / Главное зеркало Google. Webmasters / Конфигурация / Настройки Указывайте sitemap вручную : Яндекс. В ебмастер / Настройка индексирования / Файлы Sitemap Google. Webmasters / Оптимизация / Файлы Sitemap Обязательно проверяйте robots. txt: Яндекс. В ебмастер / Настройка индексирования / Анализ robots. txt Google. Webmasters / Состояние / Заблокированные URL Удаление url: http: //webmaster. yandex. ru/delurl. xml Google. Webmasters / Оптимизация / Удалить URL-адреса. Рекомендации

1. Зеркала сайта с www и без www – 301 редирект 2. index. php, index. html, default. html — 301 редирект 3. / на конце url — 301 редирект 4. Заходы в админку : /login, /administrator/index. php – meta robots 5. Служебные папки CMS: cgi-bin, wp-includеs, bitrix – robots. txt 6. Авторизация : register=, change_password=, logout=, auth= — robots. txt 7. Поиск : search , poisk, result — meta robots 8. Pagination : PAGEN_, Show_all, page/1 , back_url – meta robots 9. Печатная версия : print, print_course=Y — robots. txt 10. Совершение действия : ? action=ADD 2 BASKET, ? action=BUY — robots. txt 11. Коммуникации : club, forum, communication — robots. txt 12. RSS: /feed, rss, wp-feed — robots. txt 13. Неинформативные файлы : . swf, doc, pdf — robots. txt 14. Идентификаторы се c сий : &session_id=, &c_id= — robots. txt 15. Файлы кэширования : /cache, backup — robots. txt 16. Мультиязычность : language, lang, en — meta robots 17. Ссылки, емайл, трэкбэки : mailto, links, trackback — meta robots. Частые примеры

Тимошин Павел +7 (916) 990 -33 -76 p. timoshin@lefeb. ru Соц. сети : http: //vk. com/latest http: //twitter. com/artist_art http: //www. facebook. com/profile. php? id=100002397474758 Вопросы