Как удалить страницу из поисковой выдачи
Случаются ситуации когда владельцу бизнеса необходимо удалить страницу из поиска Google . Иногда ресурс попадает в выдачу по ошибке или информация на нем теряет свою актуальность. Но хуже всего, когда поисковики выдают служебные страницы с конфиденциальными данными клиентов.
Чтобы избежать подобных ситуаций, необходимо знать, как удалить страницу или раздел сайта из индекса.
Существует несколько способов для этого в зависимости от поисковой системы. Давайте рассмотрим все плюсы и минусы каждого из вариантов.
Перед выбором метода определитесь:
- нужно удалить доступ к странице только из поисковиков;
- нужно удалить доступ абсолютно для всех.
Ошибка 404
Важно! Это самый простой метод в исполнении, однако время удаления информации из поисковой выдачи может занять до 1 месяца. Удаляет страницу как из поисковой системы так и с сайта в целом.
Периодически при поиске определенной информации пользователь сталкивается с сообщением об ошибке 404 — «Страница не найдена». Именно к такому результату ведет фактическое удаление страницы сайта.
Делается это путем удаления страницы в административной панели сайта. На языке поисковых машин происходит настройка сервера, которая обеспечивает http-статус с кодом 404 not found для определенного URL. При очередном посещении поискового робота, сервер сообщает ему об отсутствии документа.
После этого поисковая система понимает что страница более не доступна и удаляет ее из поисковой выдачи, чтобы пользователи не попадали из поиска на страницу ошибки 404.
У такого метода есть свои особенности:
- Простота: настройки проводятся всего в несколько кликов.
- Страница полностью исчезает из сайта, поэтому если необходимо просто скрыть от выдачи конфиденциальную информацию, то лучше обратиться к другим методам.
- Если на страницу, которую нужно скрыть, имеются входящие ссылки то эффективнее будет настроить 301 редирект.
- Непосредственно к выпадению страницы из поиска приводит не ее удаление из сайта, а последующая за этим индексация. В среднем необходимо от 1–2 дня до месяца, чтобы робот посетил ресурс и отпинговал страницу.
Если для вебмастера этот вариант — один из самых простых и удобных, то посетителю сайта сообщение об ошибке 404 редко доставляет удовольствие. В некоторых случаях оно может привести к тому, что клиент больше не вернется на этот ресурс.
Чтобы избежать подобных последствий, сегодня все чаще вебмастера стараются креативно оформить страницу с ошибкой 404 или разместить там информацию, предложения, что могут заинтересовать пользователя. Такая политика делает сайт более дружелюбным для клиента, способствуя росту его популярности.
Читайте подробнее о том как настроить страницу 404 ошибки и минимизировать отрицательные действия от увеличения количества таких ошибок.
Robots.txt
Важно! Данный метод не удаляет страницу из поиска, а только скрывает ее из результатов. Страница остается доступной для просмотра из других каналов трафика.
Довольно распространенный способ избавиться от отдельных объектов и целых разделов. Через robot.txt предоставляется как разрешение, так и запрет на индексацию, поэтому неудивительно, что на тему алгоритмов удаления страниц таким образом создано много полезных инструкций в Интернете, например у Devaka. Но в их основе один принцип: использование директивы Disallow.
Чтобы запретить сканирование страницы поисковыми системами, нужно иметь доступ к корневой папке домена. В противном случае придется использовать мета-теги.
Содержание файла robots.txt может включать лишь две строки:
- User-agent: сюда вносится название робота, к которому требуется применить запрет (наименование можно брать из Базы данных сканеров, но в случае, но если вы хотите в будущем закрывать страницу от всех, то просто используйте «
User-agent: *
»);
- Disallow: в этой директиве указывается непосредственно адрес, о котором идет речь.
Именно эта пара формирует собой команду по отношению к определенному URL. При необходимости в одном файле можно запретить несколько объектов одного сайта, что будут абсолютно независимы друг от друга.
После закрытия страницы или раздела через robots.txt необходимо дождаться очередной индексации.
Здесь стоит отметить, что для поисковых систем действие в robots.txt лишь рекомендация, которых они не всегда придерживаются. Даже в случае выполнения этого указания ресурс по-прежнему будет появляться в выдаче, но уже с надписью о закрытии через robots.txt.
Лишь со временем, если статус объекта в файле не поменяется, то поисковики уберут его из своей базы.
В любом случае доступными для просмотра удаленные объекты останутся при переходе по внешним ссылкам, если таковые имеются.
Мета-тег robots
Важно! Данный метод удаляет страницу из поисковых систем, но страница остается доступной для просмотра из других каналов трафика.
В какой-то мере этот вариант называют альтернативой предыдущего, только здесь работа ведется в html-коде среди тегов head:
После введения команды необходимо дождаться очередной индексации ресурса, после которой изменения вступят в силу.
Чем хорош этот метод?
Через мета-теги можно удалить url из Google как для одной страницы, так и сразу для целого перечня. При этом файл robots.txt останется простым. Этот вариант рекомендуется для начинающих специалистов, что работают шаг за шагом, создавая новые страницы сайта.
Интересный факт! С помощью данного метода можно удалить страницу из одной поисковой системы и оставив в остальных.
Закрыть страницу через мега-теги — лучший способ удалить страницу из индекса Google, оставив ее активной для других поисковых систем при необходимости. Также рекомендуется использовать этот метод в ситуациях, когда нужно убрать страницу из индекса, сохранив при этом ее информацию на сайте для внутреннего пользования.
Пример
[figure]
Закрывает страницу только для ПС Google.
[/figure]
Неоспоримым преимуществом мета-тегов перед robots.txt выступает возможность закрыть страницу от индексации даже при наличии внешних ссылок. Для этого достаточно применять мега-тег noindex.
Из недостатков применения мета-тегов — если у вас не Wordpress, то могут возникнуть проблемы с внедрением. В Wordpress вопрос решается установкой плагина Yoast SEO, где каждую страницу можно будет закрыть с помощью мета-тега.
301 редирект
Важно! Внедрение приведет к тому, что контент страницы перестанет быть доступен абсолютно для всех посетителей, в том числе и владельцев сайта.
Суть этого метода заключается в том, что когда пользователь ищет страницу, которой больше не существует, сайт автоматически перенаправляет его на другой URL.
Данный вариант не самый удобный и простой для вебмастера, поскольку в зависимости от CMS отличается и алгоритм работы. Однако с точки зрения пользователя это самый комфортный выход, намного удобнее и приятнее сообщения об ошибке 404.
При желании редирект можно подчинить маркетинговым ухищрениям и перевести пользователя не просто на главную страницу сайта, а на конкретный раздел, в продвижении или активных продажах которого заинтересована администрация.
Такой метод часто применяют при необходимости обработать большое количество устаревших страниц или при полной смене структуры ресурса. Ведь редирект позволяет сохранить позиции в рейтингах поисковиков, благодаря чему усилия по продвижению сайта не пропадают зря.
На переиндексацию в поисковых системах понадобится в среднем 1–3 дня в зависимости от сайта, но только после посещения робота изменения вступят в силу для посетителей ресурса.
Подробнее о настройке 301 редиректа на сайте Devaka.
Удаление вручную через панель вебмастера
Важно! Метод работает для ускорения удаления информации из поисковой системы.
Быстрый (занимает от 8 до 48 часов) способ удалить сайт или страницу из поисковика. У каждой системы свой алгоритм в данном случае, но объединяет их одно — необходимость использовать дополнительные методы для закрытия страницы. Это может быть 404-ая ошибка, robots.txt, мега-тег на выбор, но без подобной подготовки не обойтись.
Удалить сайт из поиска google можно через Google Search Console:
- Авторизуйтесь на панели инструментов.
- Выберите нужный ресурс.
- Затем найдите в «Индекс Google» подраздел «Удалить URL-адреса».
- Здесь создаем новый запрос на удаление, а после вводим в открывшееся окошко нужную ссылку и нажимаем «Отправить».
В отдельном списке можно следить за статусом запроса. Обычно на удаление из гугловского индекса уходит от 2–3 часов до суток. При желании на деактивацию можно отправить неограниченное количество страниц таким способом.
Своим пользователям система предлагает также и функцию временного (до 90 дней) замораживания страницы.
После этого система еще долго будет проверять объект на смену его статуса, и если страница по-прежнему останется недоступной, то робот вычеркнет ее из своей базы.
Удаление всего сайта
Иногда случаются ситуации, когда необходимо убрать не просто несколько страниц из поисковой выдачи, но и полностью весь ресурс.
Сделать это можно при помощи всех вышеуказанных методов + панель вебмастера Google, только необходимо внести изменения в деталях. При удалении всего ресурса на место URL-адреса вносится доменное имя.
Как закрыть весь сайт на этапе разработки?
Закрыть при помощи логина и пароля на сервере. Это лучший выход для сайтов на стадии разработки и для тестовых версий. Алгоритм действий в данном случае зависит от CMS, на базе которой создавался ресурс.
Для того чтобы данный метод заработал, передайте разработчикам чтобы настроили доступ к сайту только по логину и паролю.
Итого
Удалить страницу или даже целый сайт не составит труда для его владельца или администратора. Среди существующих методов каждый может выбрать наиболее удобный вариант для себя. Но если есть необходимость достичь результата в кратчайшие сроки, то лучше использовать несколько способов одновременно.
Остались вопросы? Наша команда поможет в решении вашего вопроса. Оставьте ваш вопрос в заявке.