Правовые аспекты парсинга сайтов и открытых данных в России, Европе и США

Введение

В эпоху цифровых технологий информация стала одним из самых ценных ресурсов. Сбор и анализ данных, в том числе и с помощью парсинга веб-сайтов, приобрели огромное значение для бизнеса, науки, государственного управления и других сфер. Однако правовые аспекты этой деятельности остаются сложными и неоднозначными, различаясь в разных странах.

Цель данной статьи — рассмотреть правовое регулирование парсинга сайтов и сбора открытых данных в России, Европе и США, выявить основные правовые риски и предложить рекомендации по их минимизации.

1. Парсинг: определение и область применения

1.1 Что такое парсинг?

Парсинг (от англ. «parsing») — это автоматизированный процесс извлечения информации из веб-страниц с помощью специальных программ (парсеров). Парсеры сканируют HTML-код страницы, идентифицируют нужные данные (текст, изображения, ссылки и т.д.) и сохраняют их в структурированном виде для дальнейшего анализа.

1.2 Области применения парсинга

Парсинг широко используется в различных областях, включая:

• Маркетинг и аналитика: мониторинг цен конкурентов, анализ рыночных трендов, сбор отзывов о продуктах и услугах.
• Финансовый сектор: сбор данных о котировках акций, курсах валют, кредитных рейтингах.
• Журналистика и исследования: сбор данных из новостных источников, социальных сетей, научных публикаций.
• Электронная коммерция: автоматическое заполнение каталогов товаров, отслеживание наличия товаров на складе.
• Государственное управление: мониторинг общедоступной информации на сайтах органов власти, сбор статистических данных.

2. Правовые аспекты парсинга: общие положения

2.1 Основные правовые риски

При осуществлении парсинга веб-сайтов необходимо учитывать ряд правовых рисков, которые могут привести к судебным искам и штрафам:

• Нарушение авторских прав: несанкционированное копирование и распространение контента, защищенного авторским правом.
• Нарушение прав на товарные знаки: неправомерное использование товарных знаков, размещенных на веб-сайте.
• Нарушение условий использования веб-сайта: несоблюдение правил, установленных владельцем сайта, которые могут запрещать или ограничивать парсинг.
• Недобросовестная конкуренция: получение несправедливого конкурентного преимущества за счет неправомерного сбора и использования данных.
• Вторжение в частную жизнь: сбор и обработка персональных данных без согласия субъектов данных.
• Нарушение законодательства о защите информации: несанкционированный доступ к информации, составляющей коммерческую, государственную или иную охраняемую законом тайну.
• Создание чрезмерной нагрузки на сервер: интенсивный парсинг может привести к замедлению работы сайта или его недоступности для других пользователей.

2.2 Правомерность парсинга

Вопрос о правомерности парсинга не имеет однозначного ответа и зависит от множества факторов, включая:

• Цель парсинга: сбор данных для личного использования, коммерческих целей, научных исследований и т.д.
• Характер собираемых данных: общедоступные данные, данные, защищенные авторским правом, персональные данные и т.д.
• Способ парсинга: соблюдение условий использования сайта, интенсивность запросов, использование обходных путей для доступа к закрытой информации.
• Законодательство конкретной страны: наличие специальных норм, регулирующих парсинг.

3. Правовое регулирование парсинга в России

3.1 Законодательство

В России отсутствует специальный закон, регулирующий парсинг веб-сайтов. Однако к этой деятельности применяются общие нормы законодательства, в том числе:

• Гражданский кодекс РФ (ГК РФ): регулирует отношения, связанные с авторским правом, товарными знаками, недобросовестной конкуренцией.
  • Статья 1270 ГК РФ https://www.consultant.ru/document/cons_doc_LAW_64629/2825110bc799877b61594965b2c349157774e42f/
  • Статья 1474 ГК РФ https://www.consultant.ru/document/cons_doc_LAW_64629/358c5c278465c646c92280a6c7a24844b548723e/
  • Статья 14.33 ГК РФ https://www.consultant.ru/document/cons_doc_LAW_34661/465f77190a77f081010f7657c476147463349fe4/
• Федеральный закон «Об информации, информационных технологиях и о защите информации» (149-ФЗ): устанавливает общие принципы оборота информации, в том числе порядок доступа к информации, ограничения доступа к информации, ответственность за нарушение законодательства об информации.
  • https://www.consultant.ru/document/cons_doc_LAW_61798/
• Федеральный закон «О персональных данных» (152-ФЗ): регулирует отношения, связанные с обработкой персональных данных.
  • https://www.consultant.ru/document/cons_doc_LAW_61801/
• Кодекс РФ об административных правонарушениях (КоАП РФ): устанавливает административную ответственность за правонарушения в сфере информации, персональных данных, авторских прав.
  • Статья 13.11 КоАП РФ https://www.consultant.ru/document/cons_doc_LAW_34661/a56791d59a8592b6d78873f46f2604c25d4d8f5b/
  • Статья 7.12 КоАП РФ https://www.consultant.ru/document/cons_doc_LAW_34661/77a349831461c5976310d7c397c5c4b377583775/
• Уголовный кодекс РФ (УК РФ): устанавливает уголовную ответственность за преступления в сфере компьютерной информации, нарушение авторских прав.
  • Глава 28 УК РФ https://www.consultant.ru/document/cons_doc_LAW_10699/8b8f2e80d9a9a49df674ddb554540d7768727227/
  • Статья 146 УК РФ https://www.consultant.ru/document/cons_doc_LAW_10699/2d9f4772eba844e054f6f7e97f8994a7c1849f49/

3.2 Судебная практика

Судебная практика по делам, связанным с парсингом, в России немногочисленна, но постепенно формируется.

• Дело «ВКонтакте» против «Дабл» (Double Data): социальная сеть «ВКонтакте» подала иск против компании «Дабл», которая занималась парсингом данных пользователей соцсети и продавала их банкам для оценки кредитоспособности. Суд признал действия «Дабл» незаконными, указав на нарушение условий использования сайта «ВКонтакте» и законодательства о персональных данных. https://kad.arbitr.ru/Document/Pdf/7e45f74b-4f04-4f46-90e2-d3c109d55c8f/28d46b8f-755a-4025-8543-841d6d6d21d4/A40-129190-2017_20180426_Reshenija_i_postanovlenija.pdf?isAddStamp=True
• Дело Avito против «Юлы»: сервис объявлений Avito обвинил конкурента «Юла» в незаконном парсинге объявлений и использовании их на своем сайте. Суд частично удовлетворил иск Avito, запретив «Юле» использовать данные, полученные путем парсинга. https://sudact.ru/arbitral/doc/t2N9z5hHhB4i/

3.3 Открытые данные

В России действует Федеральный закон от 9 февраля 2009 г. № 8-ФЗ «Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления», который обязывает органы власти публиковать информацию в форме открытых данных. https://www.consultant.ru/document/cons_doc_LAW_84602/

Открытые данные — это информация, размещенная в сети Интернет в формате, допускающем автоматическую обработку без предварительного изменения человеком, и доступная для свободного использования, в том числе для целей создания производных информационных продуктов.

Парсинг сайтов государственных органов и органов местного самоуправления для получения открытых данных является законным и не требует получения специального разрешения.

4. Правовое регулирование парсинга в Европе

4.1 Директива о базах данных

В Европейском Союзе действует Директива 96/9/ЕС о правовой охране баз данных, которая предоставляет защиту базам данных, в том числе созданным путем парсинга, если они являются результатом существенных инвестиций. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex%3A31996L0009

4.2 Общий регламент по защите данных (GDPR)

Общий регламент по защите данных (GDPR) https://gdpr-info.eu/ регулирует сбор и обработку персональных данных на территории ЕС. При парсинге веб-сайтов необходимо соблюдать требования GDPR, если в результате парсинга собираются персональные данные.

Основные принципы GDPR, которые необходимо учитывать при парсинге:

• Законность, справедливость и прозрачность: обработка персональных данных должна осуществляться на законных основаниях, справедливо и прозрачно для субъектов данных.
• Ограничение цели: персональные данные должны собираться для конкретных, явно определенных и законных целей и не должны в дальнейшем обрабатываться несовместимым с этими целями образом.
• Минимизация данных: персональные данные должны быть адекватными, актуальными и ограничиваться тем, что необходимо для достижения целей обработки.
• Точность: персональные данные должны быть точными и при необходимости обновляться.
• Ограничение хранения: персональные данные должны храниться в форме, позволяющей идентифицировать субъектов данных, не дольше, чем это необходимо для целей обработки.
• Целостность и конфиденциальность: персональные данные должны обрабатываться способом, обеспечивающим надлежащую безопасность, включая защиту от несанкционированной или незаконной обработки, а также от случайной потери, уничтожения или повреждения.

4.3 Директива о праве на едином цифровом рынке

Директива (ЕС) 2019/790 о праве на едином цифровом рынке вводит исключение из авторского права для целей интеллектуального анализа текста и данных (text and data mining — TDM). https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex%3A32019L0790

Это исключение позволяет осуществлять TDM, в том числе путем парсинга, без получения разрешения правообладателя, при соблюдении определенных условий:

• TDM осуществляется в научных целях.
• Исследователь имеет законный доступ к контенту.
• Правообладатель не заявил явный запрет на TDM в машиночитаемой форме.

4.4 Судебная практика

В Европе существует обширная судебная практика по делам, связанным с парсингом.

• Дело Ryanair против PR Aviation: Ryanair запретила парсинг своего сайта, а PR Aviation продолжала собирать данные о рейсах и ценах. Европейский суд постановил, что базы данных Ryanair не подлежат защите по Директиве о базах данных, но признал нарушение условий использования сайта. https://curia.europa.eu/juris/document/document.jsf?docid=161470&doclang=EN
• Дело Innoweb против Wegener: Innoweb занималась парсингом сайта объявлений Wegener. Европейский суд постановил, что база данных Wegener подлежит защите по Директиве о базах данных, а действия Innoweb являются нарушением. https://curia.europa.eu/juris/document/document.jsf?text=&docid=145781&doclang=EN

4.5. Рекомендации по парсингу в соответствии с GDPR

5. Правовое регулирование парсинга в США

5.1 Закон о компьютерном мошенничестве и злоупотреблении (CFAA)

В США основным законом, регулирующим доступ к компьютерным системам, является Закон о компьютерном мошенничестве и злоупотреблении (Computer Fraud and Abuse Act — CFAA) https://www.justice.gov/sites/default/files/ccl/legacy/2015/01/14/ccmanual.pdf.

CFAA запрещает несанкционированный доступ к «защищенным компьютерам» или превышение полномочий доступа. Изначально закон был принят для борьбы с хакерскими атаками, но его формулировки настолько широки, что позволяют применять его и к парсингу.

5.2 Закон об авторском праве

Закон об авторском праве США (Copyright Act) https://www.copyright.gov/title17/ защищает оригинальные авторские произведения, размещенные на веб-сайтах. Парсинг может нарушать авторские права, если в результате него происходит несанкционированное копирование и распространение защищенного контента.

5.3 Закон о недобросовестной конкуренции

В США действует ряд федеральных и штатных законов о недобросовестной конкуренции, которые могут применяться к парсингу, если он используется для получения несправедливого конкурентного преимущества.

5.4 Судебная практика

Судебная практика по делам, связанным с парсингом, в США противоречива.

• Дело hiQ Labs против LinkedIn: LinkedIn запретила компании hiQ Labs парсить данные профилей пользователей. Окружной суд вынес решение в пользу hiQ Labs, указав, что парсинг общедоступных данных не нарушает CFAA. Однако Апелляционный суд отменил это решение, направив дело на новое рассмотрение. Дело дошло до Верховного Суда, но после было возвращено в Апелляционный суд, который, в свою очередь, вынес решение в пользу hiQ. https://www.reuters.com/legal/litigation/linkedin-data-scraping-fight-with-hiq-revived-us-appeals-court-2022-04-18/
• Дело eBay против Bidder’s Edge: eBay запретила компании Bidder’s Edge парсить свой сайт. Суд вынес решение в пользу eBay, признав, что парсинг нарушает CFAA и право собственности на имущество (trespass to chattels). https://cyber.harvard.edu/property00/metatags/1ebay1.html

5.5. Доктрина «Справедливого использования»

В США существует доктрина «справедливого использования» (fair use), которая допускает ограниченное использование защищенных авторским правом материалов без разрешения правообладателя в определенных целях, таких как критика, комментарии, новостное освещение, обучение, исследования.

Применение доктрины «справедливого использования» к парсингу зависит от четырех факторов:

1. Цель и характер использования (коммерческий или некоммерческий).
2. Природа авторского произведения.
3. Объем и существенность использованной части по отношению ко всему произведению.
4. Влияние использования на потенциальный рынок или стоимость авторского произведения.

6. Сравнение правового регулирования парсинга в России, Европе и США

7. Советы и лучшие практики по парсингу

7.1 Общие рекомендации

• Изучите условия использования веб-сайта: перед началом парсинга внимательно ознакомьтесь с условиями использования сайта, обращая внимание на разделы, касающиеся сбора данных, использования роботов и автоматизированных средств.
• Соблюдайте файл robots.txt: файл robots.txt https://ru.wikipedia.org/wiki/Robots.txt содержит инструкции для поисковых роботов и других автоматизированных систем, указывая, какие разделы сайта разрешено или запрещено сканировать.
• Ограничьте частоту запросов: не создавайте чрезмерную нагрузку на сервер, делая паузы между запросами. Имитируйте поведение реального пользователя.
• Используйте User-Agent: User-Agent https://developer.mozilla.org/ru/docs/Web/HTTP/Headers/User-Agent — это строка, идентифицирующая ваш браузер или программу. Используйте реалистичные User-Agent, чтобы не вызывать подозрений.
• Будьте этичны: не используйте парсинг для незаконных целей, не нарушайте права других лиц, не собирайте конфиденциальную информацию без разрешения.
• Проконсультируйтесь с юристом: если вы планируете использовать парсинг в коммерческих целях или для сбора больших объемов данных, рекомендуется проконсультироваться с юристом, специализирующимся на информационном праве.

7.2 Рекомендации по минимизации правовых рисков

• Избегайте парсинга сайтов, явно запрещающих его: если сайт прямо запрещает парсинг в своих условиях использования или файле robots.txt, лучше отказаться от сбора данных с этого сайта.
• Не копируйте контент, защищенный авторским правом: ограничивайтесь сбором общедоступных данных, не копируйте тексты, изображения, видео и другие материалы, защищенные авторским правом, без разрешения правообладателя.
• Соблюдайте законодательство о персональных данных: при сборе персональных данных получайте согласие субъектов данных, соблюдайте принципы обработки персональных данных, обеспечивайте безопасность данных.
• Не используйте парсинг для недобросовестной конкуренции: не используйте собранные данные для демпинга, копирования бизнес-моделей, создания клонов сайтов и других недобросовестных практик.
• Используйте прокси-серверы и VPN: это поможет скрыть ваш IP-адрес и снизить риск блокировки.
• Мониторьте изменения в законодательстве и судебной практике: правовое регулирование парсинга постоянно развивается, поэтому важно следить за изменениями в законодательстве и судебной практике, чтобы своевременно адаптировать свою деятельность.

8. Заключение

Парсинг веб-сайтов и сбор открытых данных — это мощные инструменты, которые могут принести большую пользу в различных сферах. Однако их использование сопряжено с рядом правовых рисков, которые необходимо учитывать.

Законодательство, регулирующее парсинг, различается в разных странах и не всегда четко определяет границы дозволенного. В России отсутствует специальный закон о парсинге, поэтому необходимо руководствоваться общими нормами законодательства об информации, авторском праве, персональных данных и недобросовестной конкуренции. В Европе действует Директива о базах данных и GDPR, которые устанавливают более четкие правила сбора и обработки данных. В США основным законом, регулирующим доступ к компьютерным системам, является CFAA, а судебная практика по делам о парсинге противоречива.

Чтобы минимизировать правовые риски, необходимо соблюдать условия использования веб-сайтов, ограничивать частоту запросов, не копировать защищенный авторским правом контент, соблюдать законодательство о персональных данных и не использовать парсинг для недобросовестной конкуренции.

9. Вопросы для проверки усвоения материала

1. Что такое парсинг и в каких областях он применяется?
2. Какие основные правовые риски связаны с парсингом веб-сайтов?
3. Какие нормативные акты регулируют парсинг в России?
4. Какое дело о парсинге стало прецедентным в российской судебной практике?
5. Какие основные принципы GDPR необходимо учитывать при парсинге?
6. Что такое Директива о праве на едином цифровом рынке и как она регулирует парсинг?
7. Какой закон регулирует доступ к компьютерным системам в США?
8. Что такое доктрина «справедливого использования» и как она применяется к парсингу?
9. Какие основные рекомендации по минимизации правовых рисков при парсинге?
10. Что такое файл robots.txt и как его использовать при парсинге?
11. Какие существуют исключения из авторского права, позволяющие осуществлять парсинг в научных целях?
12. Какие меры предосторожности следует соблюдать при парсинге, чтобы не нарушать законодательство о персональных данных?
13. Какие действия при парсинге могут быть квалифицированы как недобросовестная конкуренция?
14. Какие технические средства могут быть использованы для минимизации рисков при парсинге?
15. Как часто следует обновлять свои знания о правовом регулировании парсинга?

10. Термины

1. Парсинг — автоматизированный процесс извлечения информации из веб-страниц.
2. Авторское право — исключительное право автора на использование своего произведения.
3. Товарный знак — обозначение, служащее для индивидуализации товаров и услуг.
4. Недобросовестная конкуренция — действия, направленные на получение преимуществ при осуществлении предпринимательской деятельности, которые противоречат законодательству, обычаям делового оборота, требованиям добропорядочности, разумности и справедливости.
5. Персональные данные — любая информация, относящаяся к прямо или косвенно определенному или определяемому физическому лицу.
6. GDPR (General Data Protection Regulation) — Общий регламент по защите данных, действующий в ЕС.
7. CFAA (Computer Fraud and Abuse Act) — Закон о компьютерном мошенничестве и злоупотреблении, действующий в США.
8. Robots.txt — файл, содержащий инструкции для поисковых роботов и других автоматизированных систем.
9. User-Agent — строка, идентифицирующая браузер или программу пользователя.
10. Открытые данные — информация, размещенная в сети Интернет в формате, допускающем автоматическую обработку без предварительного изменения человеком, и доступная для свободного использования.

ПОХОЖИЕ ПУБЛИКАЦИИ:

Парсинг открытых данных: правовое обоснование и судебные решения в США и Европе Законность парсинга открытых данных в России: подробный анализ с ссылками на законодательство и судебную практику Руководство для защиты сайтов от парсинга данных Как победить капчу на сайте: глубокое погружение в технические аспекты Законно ли заниматься парсингом сайтов в России? Парсинг сайтов и закон в России, часть 2 Парсинг сайтов в России абсолютно законен (или нет? Продажи со смартфонов — основной канал продаж в ecommerce к 2021 году на рынке США Лучшие сервисы предоставления виртуальных почтовых адресов в США Общие подходы и решения для парсинга сайтов: лучшие практики, библиотеки, опыт и выводы