Как остановить плагины ChatGPT от парсинга содержимого вашего сайта

Chat Generative Pre-trained Transformer (ChatGPT) стал широко известен в интернет-пространстве с момента своего запуска в ноябре 2022 года. ChatGPT, созданный OpenAI, представляет собой языковую модель, использующую методы глубокого обучения для естественного реагирования на пользовательский ввод. Внедрение ChatGPT и подобных технологий искусственного интеллекта вызвало смешанные чувства в интернет-пространстве. С одной стороны, есть пользователи, которые глубоко ценят эту технологию и используют ее для повышения продуктивности и выполнения различных задач.

С другой стороны, группа людей чувствует угрозу, что ChatGPT лишит их работы. Однако мы сосредоточимся не на двух вышеупомянутых группах, а на создателях контента/владельцах сайтов. В этой статье мы обсудим, почему стоит отказаться от предоставления ChatGPT доступа к своему сайту, представим плагины ChatGPT, а также расскажем, как запретить этим плагинам доступ к сайту.

Какие плагины ChatGPT?

Когда ChatGPT был впервые представлен, создатели контента быстро создали множество материалов, объясняющих, как использовать эту новую технологию. Интернет и социальные сети заполнены контентом о том, как использовать ChatGPT. С другой стороны, разработчики из OpenAI и частные лица также неустанно работают над совершенствованием этой технологии. ChatGPT имеет различные версии; на момент написания этой статьи ChatGPT-4 является самой последней. Одним из последних улучшений стало введение поддержки плагинов.

Плагины ChatGPT — это инструменты или пользовательские модули, которые могут быть интегрированы в эту языковую модель для улучшения ее функциональности и повышения удобства работы. Плагины предназначены для работы с ChatGPT, предлагают более персонализированные результаты и улучшают функциональность. На данный момент OpenAI создал два плагина, веб-браузер и интерпретатор кода. Однако он также позволил разработчикам создавать сторонние плагины на основе своей документации.

Как плагины ChatGPT влияют на SEO и владельцев сайтов?

Вопрос о «честном» использовании содержимого сайта стал предметом жарких дебатов с момента появления ChatGPT в конце 2022 года. Эти дебаты не новы, так как существуют с момента изобретения интернета. Некоторые владельцы сайтов считают, что ChatGPT «убивает» все их SEO-усилия. У нас есть плагины ChatGPT, которые собирают контент в интернете и дают ответ на основе собранных данных. Текущий браузерный плагин ChatGPT использует Bing API для поиска в интернете, обобщения ответов и предоставления ссылок на источники.

Если пользователь удовлетворен ответом, он может не увидеть необходимости посещать ваш сайт, что означает, что кто-то использовал ваш контент, но вы не получаете прибыли от рекламы или даже комиссионных от партнерских ссылок. Если пользователю нужно узнать больше, он всегда может посетить ваш сайт по указанной ссылке. Печально, правда? Обычно, если другой сайт использует ваш контент в исследовательских целях, он должен указать это на своей платформе и дать обратную ссылку на ваш сайт.

Как использовать robots.txt, чтобы не давать контенту сайта доступ к ChatGPT

Плагины ChatGPT используют бота ChatGPT-User. Если нет иных указаний, бот ChatGPT-User будет предполагать разрешение на парсинг контента с вашего сайта. Стоит отметить, что бот не предназначен для автоматического перебора контента. Однако он предназначен для выполнения прямых действий от имени пользователей ChatGPT. В официальной документации OpenAI владельцы сайтов могут узнать, как запретить плагинам ChatGPT ползать по их контенту. Единственные изменения, которые вам нужно внести, это изменения в вашем файле robots.txt. Чтобы проверить, есть ли файл robots.txt на вашем сайте, добавьте /robots.txt к вашему домену.

Например, файл robots.txt для www.example.com можно найти как www.example.com/robots.txt.

Как открыть файл robots.txt для редактирования

Подход, который вы будете использовать, зависит от характера вашего сайта. Мы рассмотрим, как редактировать сайты на базе WordPress, сайты, размещенные на пользовательском хостинге, и сайты с веб-потоком:

Веб-сайт на базе WordPress

Вы можете использовать плагин, такой как Yoast SEO. Выполните следующие действия:

• Войдя на свой сайт WordPress, нажмите «Yoast SEO» в левом меню.
• Нажмите на «Инструменты» в выпадающем меню.
• Нажмите на «Редактор файлов».
• Если у вас уже есть robots.txt, вы увидите его там, нажмите на него, и вы будете готовы к его редактированию.

Веб-сайт, размещенный на собственном хостинге

Если у вас есть сайт, созданный с нуля, вы также можете отредактировать его файл robots.txt. Выполните следующие действия:

• Зайдите в менеджер файлов сайта через веб-интерфейс, например FTP, Plesk или cPanel.
• Перейдите в корневую папку.
• Создайте или откройте файл robots.txt, чтобы подготовиться к следующим шагам.

Веб-сайт на основе веб-потока

Выполните следующие шаги:

• Войдите на свой веб-сайт Webflow
• Перейдите в раздел «Настройки»
• Перейдите на вкладку «SEO», а затем «Индексирование».
• Откройте файл robots.txt, чтобы подготовиться к следующему шагу.

Как только вы найдете этот файл, вы сможете заблокировать плагины ChatGPT. Вы можете использовать два подхода:

• Заблокировать весь сайт: Это дает указание ChatGPT-User не ползать по всему вашему сайту. Откройте файл robots.txt и добавьте следующие две строки кода:

User-agent: ChatGPT-User

Disallow: /

• Блокировать разделы вашего сайта: Если на вашем сайте есть несколько страниц, вы можете разрешить плагинам ChatGPT доступ только к определенным разделам. Вы можете реализовать это, следуя данному примеру:

User-agent: ChatGPT-User

Disallow:

Allow: /directory-1/

Allow: /directory-2/

В приведенном выше примере плагины ChatGPT, использующие ChatGPT-User, могут просматривать каталог-1 и каталог-2. Однако все остальные разделы вашего сайта не будут просмотрены плагинами ChatGPT. Примечание: Когда вы открываете robots.txt, не удаляйте его содержимое, а добавьте предоставленные строки кода в конце.

Должны ли вы блокировать доступ плагинов ChatGPT к вашему сайту?

Споры о плагиате и авторском праве никогда не закончатся. Поэтому разрешать ли боту OpenAI доступ к вашему сайту — это личный выбор. Люди всегда неоднозначно реагируют на появление новой технологии. С одной стороны, вам может казаться, что плагины чата лишают вас трафика, что означает уменьшение денег. С другой стороны, OpenAI заявляет на своем сайте, что будет ссылаться на все источники, когда его плагины берут данные со сторонних сайтов. Я набрал поисковый запрос «Что такое плагины ChatGPT» с помощью Microsoft New Bing и получил результаты, показанные на этом скриншоте:

Как видите, результаты обобщены и приводят пять источников.

Часто задаваемые вопросы

В чем разница между плагинами ChatGPT и сторонними плагинами?

ChatGPT поддерживает два типа плагинов, свои собственные плагины и плагины сторонних разработчиков. Как следует из названия, собственные плагины ChatGPT были созданы инженерами из OpenAI. На данный момент команда создала плагины для веб-браузеров и интерпретатора кода.
С другой стороны, сторонние плагины создаются сторонними разработчиками из разных компаний. Эти плагины были предварительно одобрены и предназначены для добавления дополнительных функций в ChatGPT.

Могу ли я получить доступ к плагинам ChatGPT на бесплатном тарифном плане?

Нет. Плагины ChatGPT доступны только подписчикам ChatGPT Plus. Помимо доступа к плагинам, платный пакет предлагает более высокую скорость ответа, доступность даже в часы пик и приоритетный доступ к новым функциям.

Что такое парсеры?

Парсеры — это скрипты/программы, автоматизирующие извлечение данных из Интернета. Также известные как веб-краулеры, веб-краулеры посещают веб-сайты, анализируют их данные и извлекают дополнительную информацию. Эти программы могут использоваться для исследования рынка, агрегации контента, поиска данных и сравнения цен.

Законен ли парсинг?

Законность парсинга — это часто горячо обсуждаемая тема, которая вызывает различные мнения. Как правило, парсинга общедоступной информации для личного пользования не является незаконным. Однако поиск информации с целью получения коммерческой выгоды или поиск контента, защищенного авторским правом, является незаконным. Законным или незаконным является парсинг содержимого сайта, зависит от характера содержимого, о котором идет речь.

Я отключил плагины ChatGPT от сканирования моего сайта. Повлияет ли это на SEO?

Нет. Однако вам следует убедиться, что вы не отключили ботов поисковых систем, таких как Bingbot и Googlebot, поскольку именно их используют поисковые системы для просмотра вашего контента. Вы также можете отключить другие нежелательные боты, чтобы увеличить скорость загрузки и предотвратить кражу вашего контента.

Кто может использовать ChatGPT?

На момент написания статьи нет никаких ограничений на то, кто может использовать ChatGPT. Вы можете зайти на сайт openai.com, создать бесплатный аккаунт и начать использовать площадку. Вы можете использовать эту технологию для написания кода, интерпретации кода, создания копий для веб-сайтов и страниц в социальных сетях, а также для написания стихов, песен и речей. Однако характер выходных данных будет зависеть от того, какие входные данные вы предоставите этой языковой модели.

Заключение

Мы надеемся, что теперь вы понимаете, что такое плагины ChatGPT, как они работают, как предотвратить их проникновение на ваш сайт и каковы последствия. Изменения имеют далеко идущие последствия и всегда делят пользователей на группы — сторонников и противников. Искусственный интеллект уже давно с нами. Однако большинство людей никогда не осознавали этого.

Примерами программ, использующих искусственный интеллект, являются Siri, доступная на устройствах Apple, и Grammarly, помощник по написанию текстов, который проверяет грамматические ошибки и плагиат. Правда в том, что ChatGPT, Bard и другие подобные искусственные интеллекты не исчезнут в ближайшее время. Судя по нашим тестам, ChatGPT-4 можно использовать в различных случаях. Однако вы должны знать, как управлять такими технологиями, чтобы получить желаемые результаты при правильных входных данных.