SEO для мультиязычных и мультирегиональных сайтов. Как Pinterest построил свои региональные домены и выиграл

Правильная организация URL под SEO для разных стран и разные языки — важная стратегическая задача для любого мультирегионального онлайн-бизнеса. Разные крупные проекты в зависимости от их типов, архитектуры, задач по-разному решают этот вопрос.

Выбор страны на сайте Expedia

Нам постоянно задают вопросы о том, как правильно сформировать мультирегиональные и мультиязычные сайты для SEO:

• Как правильно сделать SEO для интернационального сайта и выйти на новые рынки? Нужно ли создавать отдельные домены, создать папки или субдомены?
• Как организовать структуру URL для разных стран, разместить ее и сообщить об этом Google?
• Как правильно настроить мультиязычность для SEO? Что делать, если языки пересекаются в разных странах или в стране используется 2 или 3 языка?

У нас достаточно большой опыт работы с региональными проектами. Нам даже приходилось участвовать в техническом переносе языковых версий Work.ua, в результате которого нам удалось не только не просесть по трафику, но и увеличить его.

Перенос сайта Work.ua на украинскую версию

Есть 3 главных способа работать с разными странами, Google приводит свою таблицу с преимуществами и недостатками каждого типа.

Я не буду вдаваться в технические подробности настройки языков под Google. Если вам нужна помощь в этом, вы всегда можете обратиться к нам, мы проведем техническую работу и поможем выполнить правильную настройку.

Главные ошибки, которые можно совершить при создании версий под разные страны:

• не менять ваши URL-адреса для международных версий;
• редиректить в определенную страну без права выбора;
• не локализовать контент или воспользоваться автоматическим переводом Google;
• использовать один домен для продвижения в разных странах;
• продвигать ccTLD (country code top-level домены, такие как .uk, .mx, .es, .fr or .de which) на разные регионы;
• ставить Canonical с одних версий (например: из Мексики в Испанию), чтобы избежать дублирования;
• не проверить корректность внедрения Hreflang.

Для англоязычной версии мы в Livepage используем главную версию с адаптированным контентом Livepage.net.

Она хорошо работает, приводит клиентов из США в том числе:

Пример заявок с англоязычной версии сайта Livepage

При этом мы работаем над переводом сайта на украинскую версию, которая скорее всего уже будет работать на домене livepage.ua, которая сейчас редиректит на основную версию сайта.

Почему? Смотрите дальше.

Ровно так же в папках строили систему URL-адресов одни из наших клиентов, проект Ratatype, отстраивая свои языковые версии в папках.

Чеклист при работе с SEO для мультиязычных и мультирегиональных сайтов:

• Сделайте ресерч поискового трафика, семантики и структуры для конкретной страны
• Создайте адаптированный контент под разные языки
• Определите, как будут структурированы ваши домены или URL-адреса под каждую страну
• Используйте локальные адреса, телефоны, валюты и т.д.
• Корректно настройте hreflang и работу с sitemap.xml
• Используйте качественные переводы. Не рекомендуется использование автоматического перевода Google для пунктов меню и текстов
• Старайтесь работать с теми регионами, под которые у вас есть реально полезный контент. Не запускайте огромное количество языковых версий одновременно. В случае технических ошибок вы будете тратить краулинговый бюджет. Такие примеры случаются достаточно часто.

Важное правило: Если у вас нет релевантного для жителей страны контента или сервиса, не спешите делать языковую версию и индексировать ее в Google.

Папки или отдельные домены: что лучше?

Единого ответа на этот вопрос нет, но команда Ratatype приняла решение переходить на отдельные домены, таким образом, появились следующие версии Ratatype.com, Ratatype.es, Ratatype.fr, Ratatype.ru и Ratatype.ua.

В этом есть логика. Как нам кажется, Google стремится показывать именно региональные доменные зоны, и стратегически — это более верное решение для многих типов бизнеса.

Пример с PINTEREST говорит о том, что работа с отдельными доменами положительно повлияла на их поисковой трафик из конкретных регионов. Учитывая общий трафик, который получает Pinterest из Google, на этот кейс точно стоит обратить внимание.

Кейс Pinterest: переход на региональные домены

Региональный домен Pinterest, конечно же, имеет меньше трафика, но при этом больше долю поискового — 50% против 40% — и лучшее время пребывания по данным Similarweb.

Единственный недостаток такой системы, если речь идет о сервисе — это сложность управления единой базой пользователя. Грубо говоря, если перейти из одного домена в другой, пользователя разлогинит.

Поэтому приходится использовать разные языки внутри страны и закрывать их от индексации Google.

Использование разных языков внутри страны

Недавно мне попалась статья от инженеров Pinterest, в которой они рассказывают о своем опыте переноса региональных версий из папок на отдельные домены, сохранив при этом единую систему и базу данных пользователей.

Мы решили ее перевести, так как это может показаться очень полезной информацией для некоторых типов бизнесов, сервисов, контентных проектов.

Далее перевод вышеуказанной статьи.

Международное развитие Pinterest. Как эффективно построить доменную структуру.

Активная аудитория Pinterest составляет 200 миллионов — более половины находится за пределами США. Чтобы адаптироваться под пользователей со всего мира, компания решила перевести весь свой трафик на домены верхнего уровня с применением кода страны (ccTLD). Так, например, веб-сайт в Германии будет отображаться как www.pinterest.de вместо обычного www.pinterest.com.

В этой статье мы рассмотрим, как такие доменные миграции способствуют развитию ресурса и с какими техническими проблемами вы можете столкнуться.

Все дело в домене

С момента основания Pinterest в 2010 году все страницы размещались на одном сайте — www.pinterest.com. Через несколько лет появились субдомены для отдельных стран (например, de.pinterest.com), чтобы сегментировать контент и обеспечить возможность локальных публикаций. Благодаря этому мы значительно улучшили поисковую оптимизацию (SEO) и общий рост компании. Пользователи могли найти актуальный контент на родном языке благодаря тому, что субдомены занимали первые позиции в результатах поисковой выдачи.

Следующим шагом стало внедрение доменов высшего уровня — ccTLD. Несмотря на то, что ccTLD считается более значимым для поисковых алгоритмов при определении геотаргетинга, многие ресурсы конкурентов получили нейтральные и даже отрицательные результаты после такого перехода. Предполагается, что пользователи вероятнее выберут результат с локальным доменом. Количество кликов должно увеличиваться и в конечном итоге положительно влиять на рейтинг сайта в поисковой выдаче. Мы решили протестировать локальные домены, чтобы наглядно убедиться, как они будут работать для Pinterest с его разнообразием контента.

Больше, чем просто редирект: проблемы междоменного переключения

Изначально проект выглядел достаточно простым — нужно всего лишь создать новые ccTLD и перенаправить на них трафик. Однако в итоге стало понятно, что при смене домена верхнего уровня на основном сайте придется менять всю доменную структуру.

Междоменная аутентификация

На сайте Pinterest пользователи проходят стандартную аутентификацию. Наш сервис обрабатывает регистрацию пользователя с определенной комбинацией имени (логина) и пароля. Открытый стандарт OAuth позволяет проходить аутентификацию через сторонние сервисы, такие как Facebook. При каждом посещении www.pinterest.com бэкенд возвращает токен доступа, полученный при аутентификации.

После введения ccTLD нужно было предоставить возможность единой аутентификации независимо от выбранного локального домена сайта. Для этого мы создали отдельный центральный домен accounts.pinterest.com, который стал единым источником достоверных данных.

Создание центрального домена accounts.pinterest.com

Так мы обеспечили связь локальных версий Pinterest с центральным доменом. На нем определяется статус аутентификации, а со стороны клиента настраивается файл cookie для его зеркального отображения. Дальше мы подробно опишем процесс, который был назван auth-хендшейк.

Auth-хендшейк

Последовательность аутентификации выглядит следующим образом:

1. Во время регистрации или входа в систему вызывается API c локального домена, например www.pinterest.abc, на центральный домен accounts.pinterest.com, чтобы определить статус аутентификации.
2. Если пользователь залогинился на account.pinterest.com, он автоматически будет перенаправлен на локальный сайт www.pinterest.abc.
3. Если пользователь не входит в список учетных записей account.pinterest.com, мы генерируем токен доступа и добавляем в cookie обоих доменов. Центральный домен будет запущен для всех последующих посещений и в дальнейшем вход будет осуществляться сразу.

На первом этапе есть проблема: политика предполагает, что сценарий веб-страницы может получить доступ к данным на второй странице только в случае, если обе страницы одного происхождения. Это правило является основой безопасности в Интернете, и именно оно препятствует доступу вредоносных сайтов к личным или конфиденциальным данным. А auth-хэндшейк предотвращает возможность установки связи локального домена Pinterest с центральным аккаунтом из-за несоответствий в доменном имени.

Чтобы решить проблему, мы использовали перекрестный источник обмена ресурсами (CORS). Веб-серверы контролируют междоменный доступ для безопасной передачи данных между центральным и локальным сайтом. Для этого мы добавили HTTP-запросы и ответы при передаче данных CORS-заголовков.

Как мы использовали CORS

Мы опишем процесс на примере упрощенной регистрации в Pinterest на домене www.pinterest.de с использованием auth-хэндшейка.

Сначала пользователь сам указывает, что хочет совершить междоменный запрос к центральному аккаунту accounts.pinterest.com, используя свои учетные данные. На этом этапе в запрос браузера автоматически будет добавлен заголовок Origin с указанием текущего домена.

Когда запрос доходит на сервер, создается токен доступа и пользователь авторизуется на account.pinterest.com. После входа в систему токен отправляется обратно клиенту. Его можно обменять на токен доступа для авторизации на локальном сайте www.pinterest.de.

Сервер отслеживает все ccTLD, включенные в белый список для аутентификации. Прежде чем совершать обратную отправку ответа, происходит проверка наличия заголовка запроса Origin в этом списке. Если он присутствует, сервер добавляет в ответ специальный заголовок CORS. Самый важный заголовок — Access-Control-Allow-Origin — указывает клиенту на разрешение междоменной передачи данных.

Когда пользователь получает ответ, он видит заголовок Access-Control-Allow-Origin со значением «https://www.pinterest.de», который соответствует его локации, и продолжает обрабатывать ответ. Токен пользователя при этом извлекается для получения токена доступа и входа в систему с локального домена.

Больше о CORS и полном списке заголовков, связанных с такими запросами, можно прочесть в официальной документации Mozilla.

Улучшение позиций в выдаче с помощью SEO

После настройки новых локальных доменов мы улучшили их доступность для обнаружения поисковыми системами. Чтобы привлечь трафик, мы перенаправляли его на новые домены.

Мы использовали 301 редирект со старых локальных поддоменов на новые ccTLD (например, e.pinterest.com → www.pinterest.de). Это помогло перенести большую часть PageRank и позиций страниц со старых доменов на новые.

Для повышения качества трафика мы использовали атрибуты Hreflang на новых доменах ccTLD. Атрибуты включаются в разметку веб-страницы, а поисковые роботы понимают, что у страницы есть несколько языковых версий. Работы отображают нужную локальную страницу, ориентируясь на местоположение пользователя.

Мы также использовали файлы формата Sitemap, чтобы повысить эффективность и скорость сканирования ресурса поисковыми алгоритмами. Карта сайта (Sitemap) — это набор файлов, в которых перечислены все страницы вашего ресурса. Он показывает поисковым системам принцип организации вашего контента. Если вы предоставите такие файлы поисковым алгоритмам, они легче найдут новый контент для сканирования и включают его в ранжирование.

Полученные результаты

Благодаря изменениям доменной структуры мы добились положительной динамики трафика, количества кликов и просмотров в тех странах, где работает Pinterest. Одним из наиболее значимых инсайтов стал тот факт, что большая часть наших страниц может быть проиндексирована — каждый домен верхнего уровня открывает отдельный вход для поисковых роботов.

В дальнейшем мы планируем развивать ccTLD для международного контента и сделать accounts.pinterest.com глобальным центром аутентификации Pinterest.

Если вам нужно заказать SEO продвижение, чтобы выйти на международные рынки или локализовать международный проект на локальных рынках, обратитесь к нам за услугами и получите профессиональные консультации от опытных специалистов.