Веб-парсинг стал неотъемлемой частью современной цифровой среды. Он используется для сбора данных, мониторинга цен, анализа рынка и многих других задач. Однако, с развитием технологий защиты от автоматизированных запросов, веб-сайты все чаще используют CAPTCHA (Completely Automated Public Turing test to tell Computers and Humans Apart) для предотвращения нежелательного доступа. CAPTCHA – это тест, разработанный для того, чтобы отличить человека от компьютера, и он представляет собой серьезную проблему для разработчиков, занимающихся парсингом данных.
В этой статье мы подробно рассмотрим, что такое CAPTCHA, какие существуют виды, как они работают и, самое главное, как эффективно обходить и решать их при парсинге веб-сайтов. Мы также обсудим этические и правовые аспекты использования методов обхода CAPTCHA, предоставим практические примеры кода на PHP, Python и C#, а также дадим пошаговое руководство для новичков.
Цель этой статьи: предоставить исчерпывающее руководство по обходу и решению CAPTCHA, чтобы помочь вам создавать эффективные и устойчивые парсеры, соблюдая при этом этические и правовые нормы.
CAPTCHA – это автоматизированный тест Тьюринга, разработанный для различения людей и компьютеров. Основная цель CAPTCHA – защитить веб-сайты от ботов и автоматизированных программ, которые могут использоваться для:
CAPTCHA работает, представляя пользователю задачу, которую легко решить человеку, но трудно или невозможно для компьютера с использованием текущих технологий искусственного интеллекта.
Существует множество видов CAPTCHA, которые различаются по сложности и методам решения. Вот наиболее распространенные типы:
Таблица 1: Сравнение различных видов CAPTCHA
| Вид CAPTCHA | Сложность для человека | Сложность для бота | Устойчивость к обходу | Распространенность |
|---|---|---|---|---|
| Текстовая CAPTCHA | Низкая | Средняя | Низкая | Средняя |
| Изображения-CAPTCHA | Низкая | Средняя | Средняя | Высокая |
| Аудио-CAPTCHA | Средняя | Средняя | Средняя | Низкая |
| Математическая CAPTCHA | Очень низкая | Очень низкая | Очень низкая | Низкая |
| reCAPTCHA v2 | Очень низкая | Высокая | Высокая | Очень высокая |
| reCAPTCHA v3 | Невидимая | Очень высокая | Очень высокая | Высокая |
| Fun/Игровые CAPTCHA | Низкая | Средняя | Средняя | Низкая |
Существует несколько подходов к обходу и решению CAPTCHA при парсинге веб-сайтов. Их можно разделить на несколько категорий:
Рассмотрим примеры кода на PHP, Python и C# для решения CAPTCHA с использованием сервиса 2Captcha.
requests и сервиса 2Captcha)import requests
def solve_captcha_2captcha(api_key, sitekey, pageurl):
"""Решает reCAPTCHA v2 с использованием сервиса 2Captcha."""
# 1. Запрос на получение CAPTCHA ID
url_get_captcha = f"http://2captcha.com/in.php?key={api_key}&method=userrecaptcha&googlekey={sitekey}&pageurl={pageurl}&json=1"
response = requests.get(url_get_captcha)
if response.json()['status'] != 1:
return {"error": "Ошибка при получении CAPTCHA ID", "error_code": response.json()['request']}
captcha_id = response.json()['request']
# 2. Ожидание решения CAPTCHA
url_get_answer = f"http://2captcha.com/res.php?key={api_key}&action=get&id={captcha_id}&json=1"
for _ in range(60): # Ожидание до 60 секунд (можно увеличить)
time.sleep(5)
response = requests.get(url_get_answer)
if response.json()['status'] == 1:
captcha_solution = response.json()['request']
return {"solution": captcha_solution}
elif response.json()['request'] == "CAPCHA_NOT_READY":
continue
else:
return {"error": "Ошибка при получении решения CAPTCHA", "error_code": response.json()['request']}
return {"error": "Время ожидания решения CAPTCHA истекло"}
# Пример использования
if __name__ == '__main__':
API_KEY_2CAPTCHA = "YOUR_2CAPTCHA_API_KEY" # Замените на ваш API ключ 2Captcha
SITE_KEY = "YOUR_SITE_GOOGLE_RECAPTCHA_SITE_KEY" # Site key с сайта, где нужно решить reCAPTCHA
PAGE_URL = "URL_СТРАНИЦЫ_С_RECAPTCHA" # URL страницы, где находится reCAPTCHA
captcha_result = solve_captcha_2captcha(API_KEY_2CAPTCHA, SITE_KEY, PAGE_URL)
if "solution" in captcha_result:
print("Решение CAPTCHA получено:", captcha_result['solution'])
# Далее используйте captcha_result['solution'] для отправки формы на сайте
else:
print("Ошибка решения CAPTCHA:", captcha_result['error'], captcha_result['error_code'])Описание кода Python:
solve_captcha_2captcha принимает API ключ 2Captcha, Site key reCAPTCHA и URL страницы./in.php) для получения ID задачи на решение CAPTCHA./res.php) для получения решения CAPTCHA. Ожидание решения до 60 секунд.solution).error и error_code).<?php
function solveCaptcha2Captcha($apiKey, $sitekey, $pageurl) {
// 1. Запрос на получение CAPTCHA ID
$urlGetCaptcha = "http://2captcha.com/in.php?key={$apiKey}&method=userrecaptcha&googlekey={$sitekey}&pageurl={$pageurl}&json=1";
$curl = curl_init($urlGetCaptcha);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($curl);
curl_close($curl);
$response_json = json_decode($response, true);
if ($response_json['status'] != 1) {
return ["error" => "Ошибка при получении CAPTCHA ID", "error_code" => $response_json['request']];
}
$captchaId = $response_json['request'];
// 2. Ожидание решения CAPTCHA
$urlGetAnswer = "http://2captcha.com/res.php?key={$apiKey}&action=get&id={$captchaId}&json=1";
for ($i = 0; $i < 12; $i++) { // Ожидание до 60 секунд (12 * 5 секунд)
sleep(5);
$curl = curl_init($urlGetAnswer);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($curl);
curl_close($curl);
$response_json = json_decode($response, true);
if ($response_json['status'] == 1) {
$captchaSolution = $response_json['request'];
return ["solution" => $captchaSolution];
} elseif ($response_json['request'] == "CAPCHA_NOT_READY") {
continue;
} else {
return ["error" => "Ошибка при получении решения CAPTCHA", "error_code" => $response_json['request']];
}
}
return ["error" => "Время ожидания решения CAPTCHA истекло"];
}
// Пример использования
$apiKey2Captcha = "YOUR_2CAPTCHA_API_KEY"; // Замените на ваш API ключ 2Captcha
$siteKey = "YOUR_SITE_GOOGLE_RECAPTCHA_SITE_KEY"; // Site key с сайта, где нужно решить reCAPTCHA
$pageUrl = "URL_СТРАНИЦЫ_С_RECAPTCHA"; // URL страницы, где находится reCAPTCHA
$captchaResult = solveCaptcha2Captcha($apiKey2Captcha, $siteKey, $pageUrl);
if (isset($captchaResult['solution'])) {
echo "Решение CAPTCHA получено: " . $captchaResult['solution'] . "\n";
// Далее используйте $captchaResult['solution'] для отправки формы на сайте
} else {
echo "Ошибка решения CAPTCHA: " . $captchaResult['error'] . " (" . $captchaResult['error_code'] . ")\n";
}
?>Описание кода PHP:
solveCaptcha2Captcha аналогична Python-версии и выполняет те же шаги.cURL для отправки HTTP-запросов к 2Captcha API.HttpClient и сервиса 2Captcha)using System;
using System.Net.Http;
using System.Threading.Tasks;
using Newtonsoft.Json.Linq;
public class CaptchaSolver
{
public static async Task<JObject> SolveRecaptchaV2Async(string apiKey, string sitekey, string pageurl)
{
using (HttpClient client = new HttpClient())
{
// 1. Запрос на получение CAPTCHA ID
string urlGetCaptcha = $"http://2captcha.com/in.php?key={apiKey}&method=userrecaptcha&googlekey={sitekey}&pageurl={pageurl}&json=1";
HttpResponseMessage responseGetCaptcha = await client.GetAsync(urlGetCaptcha);
string responseContentGetCaptcha = await responseGetCaptcha.Content.ReadAsStringAsync();
JObject responseJsonGetCaptcha = JObject.Parse(responseContentGetCaptcha);
if (responseJsonGetCaptcha["status"].Value<int>() != 1)
{
return new JObject { { "error", "Ошибка при получении CAPTCHA ID" }, { "error_code", responseJsonGetCaptcha["request"].ToString() } };
}
string captchaId = responseJsonGetCaptcha["request"].ToString();
// 2. Ожидание решения CAPTCHA
string urlGetAnswer = $"http://2captcha.com/res.php?key={apiKey}&action=get&id={captchaId}&json=1";
for (int i = 0; i < 12; i++) // Ожидание до 60 секунд (12 * 5 секунд)
{
await Task.Delay(5000);
HttpResponseMessage responseGetAnswer = await client.GetAsync(urlGetAnswer);
string responseContentGetAnswer = await responseGetAnswer.Content.ReadAsStringAsync();
JObject responseJsonGetAnswer = JObject.Parse(responseContentGetAnswer);
if (responseJsonGetAnswer["status"].Value<int>() == 1)
{
string captchaSolution = responseJsonGetAnswer["request"].ToString();
return new JObject { { "solution", captchaSolution } };
}
else if (responseJsonGetAnswer["request"].ToString() == "CAPCHA_NOT_READY")
{
continue;
}
else
{
return new JObject { { "error", "Ошибка при получении решения CAPTCHA" }, { "error_code", responseJsonGetAnswer["request"].ToString() } };
}
}
return new JObject { { "error", "Время ожидания решения CAPTCHA истекло" } };
}
}
public static async Task Main(string[] args)
{
string apiKey2Captcha = "YOUR_2CAPTCHA_API_KEY"; // Замените на ваш API ключ 2Captcha
string siteKey = "YOUR_SITE_GOOGLE_RECAPTCHA_SITE_KEY"; // Site key с сайта, где нужно решить reCAPTCHA
string pageUrl = "URL_СТРАНИЦЫ_С_RECAPTCHA"; // URL страницы, где находится reCAPTCHA
JObject captchaResult = await SolveRecaptchaV2Async(apiKey2Captcha, siteKey, pageUrl);
if (captchaResult.ContainsKey("solution"))
{
Console.WriteLine("Решение CAPTCHA получено: " + captchaResult["solution"]);
// Далее используйте captchaResult["solution"].ToString() для отправки формы на сайте
}
else
{
Console.WriteLine($"Ошибка решения CAPTCHA: {captchaResult["error"]} ({captchaResult["error_code"]})");
}
}
}Описание кода C#:
SolveRecaptchaV2Async асинхронно решает reCAPTCHA v2.HttpClient для отправки HTTP-запросов.Newtonsoft.Json (Json.NET) для работы с JSON-ответами API.Важно:
"YOUR_2CAPTCHA_API_KEY", "YOUR_SITE_GOOGLE_RECAPTCHA_SITE_KEY" и "URL_СТРАНИЦЫ_С_RECAPTCHA" на ваши реальные значения.В России нет отдельного закона, который бы прямо регулировал веб-парсинг и обход CAPTCHA. Однако, существуют общие правовые нормы, которые могут быть применены в контексте парсинга данных и обхода систем защиты, включая CAPTCHA.
Судебная практика: В России судебная практика по делам, связанным с веб-парсингом и обходом CAPTCHA, развита слабо. Нет широко известных прецедентов, прямо касающихся именно обхода CAPTCHA. Однако, общие принципы гражданского и административного права, а также законодательство о защите информации и персональных данных, могут быть применены в зависимости от конкретных обстоятельств дела.
Важно понимать: Правовое поле в области веб-парсинга постоянно развивается. Рекомендуется следить за изменениями в законодательстве и судебной практике. Этический и ответственный подход к парсингу данных – это лучший способ минимизировать правовые риски.
Предположим, вам нужно спарсить данные с сайта, который защищен простой текстовой CAPTCHA. Вот пошаговое руководство для новичка с использованием Python и библиотеки requests и Tesseract OCR.
Шаг 1: Установка необходимых библиотек
Установите Python (если еще не установлен) и библиотеки requests и pytesseract. Также потребуется установить Tesseract OCR engine.
pip install requests pytesseract Pillow
# Установка Tesseract OCR engine зависит от вашей операционной системы.
# Например, для Ubuntu: sudo apt install tesseract-ocr
# Для Windows: скачайте инсталлятор с сайта Tesseract OCR и установите.Шаг 2: Изучение структуры сайта и CAPTCHA
Откройте сайт в браузере и найдите страницу, которую нужно спарсить. Обратите внимание на форму CAPTCHA. Как она выглядит? Это текстовая CAPTCHA? Запомните URL страницы и элементы формы, которые нужно заполнить (поля для ввода данных, поле для CAPTCHA, кнопка отправки).
Шаг 3: Загрузка страницы и изображения CAPTCHA
Используйте requests для загрузки HTML-кода страницы. Найдите в HTML-коде ссылку на изображение CAPTCHA. Загрузите изображение CAPTCHA.
import requests
from PIL import Image
import pytesseract
from io import BytesIO
# URL страницы для парсинга
page_url = "URL_ЦЕЛЕВОЙ_СТРАНИЦЫ"
session = requests.Session() # Используем сессию для сохранения cookie
response = session.get(page_url)
html_content = response.text
# Находим ссылку на изображение CAPTCHA (пример - нужно адаптировать под HTML сайта)
captcha_image_url = "URL_ИЗОБРАЖЕНИЯ_CAPTCHA_ИЗ_HTML" # Извлеките URL из HTML, используя, например, BeautifulSoup
full_captcha_url = response.urljoin(captcha_image_url) # Если URL относительный
# Загружаем изображение CAPTCHA
captcha_response = session.get(full_captcha_url, stream=True)
captcha_image = Image.open(BytesIO(captcha_response.content))Шаг 4: Распознавание текста CAPTCHA с помощью Tesseract OCR
Используйте pytesseract для распознавания текста на изображении CAPTCHA.
captcha_text = pytesseract.image_to_string(captcha_image)
captcha_text = captcha_text.strip() # Удаляем пробелы и переносы строк
print("Распознанный текст CAPTCHA:", captcha_text)Шаг 5: Заполнение формы и отправка запроса
Найдите в HTML-коде имена полей формы, которые нужно заполнить (например, имя пользователя, пароль, поле для CAPTCHA). Создайте словарь с данными формы, включая распознанный текст CAPTCHA. Отправьте POST-запрос с данными формы.
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
# Найдите элементы формы (пример - нужно адаптировать под HTML сайта)
form = soup.find('form', {'id': 'loginForm'}) # Пример ID формы
username_field = form.find('input', {'name': 'username'})['name'] # Пример имени поля
password_field = form.find('input', {'name': 'password'})['name'] # Пример имени поля
captcha_field = form.find('input', {'name': 'captchaCode'})['name'] # Пример имени поля CAPTCHA
# Данные формы
form_data = {
username_field: "YOUR_USERNAME", # Замените на ваш логин
password_field: "YOUR_PASSWORD", # Замените на ваш пароль
captcha_field: captcha_text # Распознанный текст CAPTCHA
}
# Отправляем POST-запрос
login_url = response.urljoin(form['action']) # URL для отправки формы (из атрибута action формы)
login_response = session.post(login_url, data=form_data)
print("Статус ответа после отправки формы:", login_response.status_code)
print("HTML-код ответа после отправки формы:", login_response.text)
# Проверьте response.text, чтобы убедиться, что вход успешен, и спарсите нужные данные.Шаг 6: Обработка результатов и парсинг данных
Проанализируйте ответ сервера после отправки формы. Успешен ли вход? Если да, то спарсите нужные данные с полученной страницы. Если нет, то проверьте, в чем ошибка (неверный логин/пароль, неправильно распознанная CAPTCHA и т.п.). Возможно, потребуется улучшить распознавание CAPTCHA (например, применить предобработку изображения перед OCR).
Важно:
Эта таблица основана на информации из предыдущего материала и включает наиболее распространенные и значимые типы CAPTCHA, используемые для защиты веб-сайтов от автоматизированного доступа.
Таблица: Типы CAPTCHA для защиты от парсинга
| Тип CAPTCHA | Описание | Сложность для человека | Сложность для бота | Устойчивость к обходу | Распространенность | Примеры |
|---|---|---|---|---|---|---|
| Текстовая CAPTCHA | Распознавание искаженного текста на изображении. | Низкая | Средняя | Низкая (OCR, сервисы ручного решения) | Средняя | Изображения с искаженными буквами и цифрами. |
| Изображения-CAPTCHA | Выбор изображений, соответствующих описанию (например, «выберите все изображения с автомобилями»). | Низкая | Средняя | Средняя (нейросети, сервисы ручного решения) | Высокая | Сетка изображений, где нужно выбрать определенные объекты (дорожные знаки, светофоры, кошки и т.д.). |
| Аудио-CAPTCHA | Распознавание искаженного аудио с буквами или цифрами (для людей с ограниченными возможностями). | Средняя | Средняя | Средняя (распознавание речи, сервисы ручного решения) | Низкая | Звуковые файлы с искаженными словами или цифрами. |
| Математическая CAPTCHA | Решение простой математической задачи (например, сложение, вычитание). | Очень низкая | Очень низкая | Очень низкая (простые скрипты) | Низкая | «Сколько будет 5 + 3?», «Решите: 10 — 2 = ?» |
| reCAPTCHA v2 («Я не робот») | Чекбокс «Я не робот». Анализ поведения пользователя, иногда дополнительное задание (выбор изображений). | Очень низкая | Высокая | Высокая (сложно для ботов, сервисы ручного решения) | Очень высокая | Чекбокс «Я не робот», иногда запросы на выбор изображений. |
| reCAPTCHA v3 (Невидимая) | Фоновый анализ поведения пользователя. Выдача оценки «подозрительности» запроса. Без явного взаимодействия. | Невидимая | Очень высокая | Очень высокая (очень сложно для ботов, обход требует имитации человеческого поведения) | Высокая | Работает невидимо в фоновом режиме, не требует действий от пользователя, только оценка от Google. |
| Fun/Игровые CAPTCHA | Интерактивные задачи и игры (перетаскивание пазлов, головоломки). | Низкая | Средняя | Средняя (зависит от сложности игры, сервисы ручного решения) | Низкая | Перетаскивание пазла на место, поворот объекта в правильное положение, простые логические игры. |
| Honeypot CAPTCHA | Невидимое поле в форме, которое не должен заполнять человек, но может заполнить бот. | Невидимая | Низкая | Очень низкая (проверка на заполнение поля) | Низкая | Невидимое поле ввода, добавленное в HTML-код, которое не должно быть заполнено пользователем. |
| Скрытые CAPTCHA | CAPTCHA, которая появляется только при определенных условиях (например, при подозрительной активности). | Зависит от типа | Зависит от типа | Зависит от типа (комбинация различных методов обхода и решения) | Средняя | CAPTCHA, которая не отображается постоянно, а включается при обнаружении подозрительных действий. |
Примечания к таблице:
Эта таблица дает общее представление о различных типах CAPTCHA, которые могут встретиться при парсинге веб-сайтов. Выбор наиболее подходящего метода обхода и решения будет зависеть от конкретного типа CAPTCHA, сложности ее реализации и доступных ресурсов.
Таблица: Библиотеки и сервисы для решения CAPTCHA
| Категория | Инструмент/Библиотека/Сервис | Описание | Поддерживаемые языки программирования | Преимущества | Недостатки |
|---|---|---|---|---|---|
| OCR Библиотеки (для текстовых CAPTCHA) | Tesseract OCR | Оптическое распознавание символов (OCR). Распознает текст на изображениях текстовых CAPTCHA. | C, C++, Python, Java, C#, JavaScript (через Node.js), PHP и др. (есть обертки для многих языков) | Бесплатный и открытый исходный код, высокая точность для простых текстовых CAPTCHA, гибкость настройки, активное сообщество. | Может быть недостаточно точным для сильно искаженных или зашумленных CAPTCHA, требует предварительной обработки изображений для лучшей точности, сложность интеграции для некоторых типов CAPTCHA. |
| EasyOCR | Библиотека OCR на Python, использующая PyTorch. Поддерживает распознавание текста на многих языках. | Python | Простота использования и установки, поддержка многих языков, использует нейронные сети, что повышает точность по сравнению с Tesseract в некоторых случаях. | Может быть менее точным, чем Tesseract для определенных типов CAPTCHA, требует установки PyTorch, может быть медленнее Tesseract. | |
| PaddleOCR | Библиотека OCR от Baidu, на Python, основанная на PaddlePaddle. | Python | Высокая точность, особенно для китайского и английского языков, быстрая работа, активная разработка. | Может быть менее распространена и иметь меньшее сообщество, чем Tesseract, фокус на определенных языках. | |
| Библиотеки автоматизации браузера (для обхода CAPTCHA и имитации действий пользователя) | Selenium | Инструмент для автоматизации веб-браузеров. Позволяет имитировать действия пользователя, включая заполнение форм и клики. | Python, Java, C#, Ruby, JavaScript, PHP | Кросс-браузерность (поддержка Chrome, Firefox, Safari, Edge и др.), мощный инструмент для автоматизации веб-приложений, может обходить простые CAPTCHA за счет имитации действий человека. | Более ресурсоемкий, чем простые HTTP-запросы, может быть медленным, сложнее в настройке и использовании для простых задач парсинга. |
| Puppeteer | Node.js библиотека для управления Chrome или Chromium через DevTools Protocol. | JavaScript (Node.js) | Быстрый и эффективный, интегрирован с Chrome DevTools, хорошая поддержка JavaScript, подходит для парсинга сайтов с динамическим контентом и SPA. | Ограничен Chromium/Chrome, требует Node.js, может быть менее кросс-браузерным, чем Selenium. | |
| Playwright | Библиотека для автоматизации браузеров от Microsoft. Поддерживает Chrome, Firefox, WebKit. | Python, JavaScript (Node.js), Java, C# | Кросс-браузерность (Chrome, Firefox, WebKit), быстрая и надежная работа, хорошая поддержка асинхронности, API высокого уровня. | Относительно новая библиотека, сообщество может быть менее крупным, чем у Selenium. | |
| Сервисы ручного решения CAPTCHA (Human-based) | 2Captcha | Сервис, где реальные люди решают CAPTCHA за небольшую плату. Предоставляет API для интеграции. | API доступен через HTTP, поддерживает множество языков программирования (через HTTP запросы). Есть готовые библиотеки для Python, PHP, Java, C# и др. | Относительно низкая стоимость за решение, высокая точность решения (человек решает), поддержка различных типов CAPTCHA, включая сложные. | Задержка по времени на решение (обычно несколько секунд), зависит от доступности работников сервиса, требует затрат (оплата за каждое решение), этические вопросы использования «ручного труда». |
| Anti-Captcha (AntiGate) | Аналогичный сервис ручного решения CAPTCHA, конкурент 2Captcha. | API доступен через HTTP, поддерживает множество языков программирования (через HTTP запросы). Есть готовые библиотеки для Python, PHP, Java, C# и др. | Сравнимо с 2Captcha по преимуществам (цена, точность, поддержка типов CAPTCHA). | Сравнимо с 2Captcha по недостаткам (задержка, стоимость, этика). | |
| RuCaptcha | Российский сервис ручного решения CAPTCHA, ориентирован на русскоязычную аудиторию. | API доступен через HTTP, поддерживает множество языков программирования (через HTTP запросы). Есть готовые библиотеки для Python, PHP, Java, C# и др. | Может быть дешевле для русскоязычных пользователей, поддержка русскоязычного интерфейса и поддержки. | Аналогичные недостатки, что и у других сервисов ручного решения CAPTCHA. | |
| Сервисы автоматического решения CAPTCHA (AI-powered) | CapSolver | Сервис, использующий AI и машинное обучение для автоматического решения различных типов CAPTCHA, включая reCAPTCHA, hCaptcha, FunCaptcha и др. | API доступен через HTTP, поддерживает множество языков программирования (через HTTP запросы). Есть готовые библиотеки для Python, PHP, Java, C# и др. | Высокая скорость решения, автоматическое решение без участия человека, поддержка сложных типов CAPTCHA, включая reCAPTCHA v3 и hCaptcha Enterprise, постоянно улучшаются алгоритмы. | Более высокая стоимость за решение по сравнению с ручными сервисами, точность может быть не 100%, хотя и постоянно растет, зависимость от стороннего сервиса, конфиденциальность данных. |
| Death By CAPTCHA (AI) | Сервис решения CAPTCHA, предлагает как ручное, так и автоматическое (AI) решения. | API доступен через HTTP, поддерживает множество языков программирования (через HTTP запросы). Есть готовые библиотеки для Python, PHP, Java, C# и др. | Предлагает варианты как ручного, так и автоматического решения, поддержка разных типов CAPTCHA, конкурентоспособные цены. | Автоматическое решение может быть дороже ручного, точность автоматического решения может варьироваться. | |
| AZCaptcha | Сервис автоматического решения CAPTCHA, также предлагает ручное решение. | API доступен через HTTP, поддерживает множество языков программирования (через HTTP запросы). Есть готовые библиотеки для Python, PHP, Java, C# и др. | Конкурентные цены, поддержка различных типов CAPTCHA, включая reCAPTCHA, hCaptcha, FunCaptcha, предлагает как автоматическое, так и ручное решение. | Аналогично другим AI-сервисам, точность автоматического решения может быть не идеальной, стоимость выше, чем у ручных сервисов. |
Примечания к таблице:
Эта таблица поможет вам ориентироваться в многообразии инструментов для решения CAPTCHA и выбрать наиболее подходящий для ваших задач и ресурсов. Выбор зависит от типа CAPTCHA, бюджета, требований к скорости и точности, а также ваших навыков программирования.
Наиболее сложными для решения роботами при парсинге на сегодняшний день являются reCAPTCHA v2 и reCAPTCHA v3 от Google, а также продвинутые типы Image CAPTCHA и Interactive/Fun CAPTCHA, которые используют более сложные задачи и поведенческий анализ. Давайте рассмотрим подробно, почему именно эти типы CAPTCHA представляют наибольшую сложность для автоматизированных систем:
1. reCAPTCHA v2 («Я не робот» и Image Challenges):
2. reCAPTCHA v3 (Невидимая CAPTCHA):
3. Продвинутые Image CAPTCHA:
4. Interactive/Fun CAPTCHA:
Общие причины сложности для роботов:
Хотя ни один тип CAPTCHA не является абсолютно нерешаемым, reCAPTCHA v2, reCAPTCHA v3, продвинутые Image CAPTCHA и Interactive CAPTCHA на сегодняшний день представляют наибольшую сложность для роботов. Они используют комбинацию поведенческого анализа, сложных задач распознавания и интерактивных элементов, что делает их очень эффективными в защите от автоматизированных запросов. Однако важно помнить, что область технологий обхода CAPTCHA также постоянно развивается, и гонка вооружений продолжается.
Ниже примеры веб-сайтов, использующих различные типы CAPTCHA, с подробностями о том, где и как они применяются. Важно отметить, что веб-сайты могут менять типы CAPTCHA, и то, что было верно на момент написания, может измениться в будущем. Тем не менее, эти примеры иллюстрируют разнообразие CAPTCHA в реальном мире.
Таблица: Примеры сайтов с разными типами CAPTCHA
| Сайт (Пример) | URL (Пример) | Тип CAPTCHA | Расположение CAPTCHA на сайте | Детали и наблюдения |
|---|---|---|---|---|
| Google Account Creation/Login | accounts.google.com | reCAPTCHA v2 («Я не робот») / Image Challenge | При регистрации нового аккаунта Google, при попытке входа в аккаунт с подозрительного IP или устройства, иногда при выполнении определенных действий (например, массовая рассылка). | Google активно использует reCAPTCHA v2. Чаще всего встречается в виде чекбокса «Я не робот». При подозрительной активности может быть предложен Image Challenge (выбор изображений). Google также использует reCAPTCHA v3 в фоновом режиме для оценки риска на многих своих сервисах. |
| Cloudflare Protected Sites | пример сайта за Cloudflare (нужно найти реальный сайт за Cloudflare) | Cloudflare Turnstile / reCAPTCHA (зависит от настроек сайта) | Перед доступом к сайту, защищенному Cloudflare, особенно при обнаружении подозрительного трафика. | Cloudflare предлагает свою собственную CAPTCHA — Turnstile, которая позиционируется как более приватная альтернатива reCAPTCHA. Однако, сайты, использующие Cloudflare, могут также использовать и reCAPTCHA. Cloudflare CAPTCHA часто выглядит как простое взаимодействие (например, «проверьте, что вы человек») или может быть невидимой. |
| hCaptcha | hcaptcha.com/demo (Демо-страница hCaptcha) | hCaptcha (Разные типы задач, включая Image Challenges, Puzzle) | hCaptcha используется на различных сайтах, часто как альтернатива reCAPTCHA. Обычно встречается на страницах регистрации, логина, контактных формах, при отправке комментариев. | hCaptcha предлагает разнообразные типы задач, включая Image Challenges (например, «выберите все изображения с пальмами»), Puzzle CAPTCHA (перетаскивание пазлов), текстовые задачи и другие. hCaptcha акцентирует внимание на приватности и предлагает вознаграждение сайтам за использование их CAPTCHA. |
| Yandex Services (Mail, Search, etc.) | mail.yandex.ru , yandex.ru | Собственная CAPTCHA от Yandex (Image Challenge, Текстовая) | При регистрации почты Yandex, при поиске в Yandex, при входе в аккаунт Yandex, при отправке сообщений. | Yandex использует свою собственную CAPTCHA, которая может включать Image Challenges (например, «выберите все изображения с котами»), а также текстовые CAPTCHA. Визуально отличается от reCAPTCHA и hCaptcha. |
| E-commerce сайты (пример — магазин на Shopify) | пример магазина на Shopify (нужно найти реальный магазин на Shopify) | Shopify CAPTCHA (обычно reCAPTCHA v2 или hCaptcha) | При регистрации аккаунта, при оформлении заказа (редко), при попытке оставить отзыв или комментарий (зависит от настроек магазина). | Платформы электронной коммерции, такие как Shopify, часто используют CAPTCHA для защиты от ботов. В Shopify магазинах часто встречаются reCAPTCHA v2 или hCaptcha, но конкретный тип зависит от настроек владельца магазина и выбранных им приложений безопасности. |
| Форумы и сообщества (пример — phpBB форум) | phpbb.com/community/ (форум phpBB) | Текстовая CAPTCHA, Математическая CAPTCHA, Вопрос-ответ (зависит от настроек форума) | При регистрации нового пользователя на форуме, при публикации нового сообщения или темы (зависит от настроек форума). | Форумы часто используют более простые типы CAPTCHA, такие как текстовая CAPTCHA (распознавание искаженного текста), математическая CAPTCHA (решение простого примера) или вопросы-ответы (например, «сколько дней в неделе?»). Тип CAPTCHA часто настраивается администратором форума. |
| Сайты с контентом (пример — новостной сайт) | пример новостного сайта (нужно найти новостной сайт с CAPTCHA) | reCAPTCHA v2 (в комментариях), Cloudflare Turnstile (защита от DDoS) | В секции комментариев (reCAPTCHA v2), на главной странице или при доступе к определенным разделам сайта (Cloudflare Turnstile, если сайт использует Cloudflare для защиты). | Новостные и контентные сайты могут использовать CAPTCHA для защиты от спама в комментариях (reCAPTCHA v2 часто встречается в комментариях Disqus или других системах комментирования). Для защиты от DDoS-атак могут использовать Cloudflare Turnstile или аналогичные решения, которые могут включать CAPTCHA перед доступом к сайту. |
| Сервисы сокращения ссылок (пример — Bitly) | bitly.com | reCAPTCHA v2 (при регистрации/логине, создании ссылок) | При регистрации аккаунта Bitly, при входе в аккаунт, иногда при массовом создании коротких ссылок. | Сервисы сокращения ссылок могут использовать reCAPTCHA v2 для защиты от злоупотреблений, таких как массовое создание спам-ссылок или бот-регистрации. |
| Сайты для скачивания файлов (пример — файлообменник) | пример файлообменника (нужно найти файлообменник с CAPTCHA) | Текстовая CAPTCHA, Image CAPTCHA (устаревшие, могут встречаться) | Перед началом скачивания файла, особенно для бесплатных пользователей. | Файлообменники исторически часто использовали текстовые CAPTCHA или простые Image CAPTCHA для ограничения автоматических загрузок и борьбы с ботами, скачивающими файлы. В настоящее время могут использовать и более современные типы, но устаревшие варианты все еще могут встречаться. |
| Fun CAPTCHA / Игровые CAPTCHA (пример — Arkose Labs FunCaptcha) | arkoselabs.com/demos/ (Демо-страница Arkose Labs) | FunCaptcha (3D Puzzle, Интерактивные задачи) | Могут использоваться на сайтах, где важна UX и хотят сделать CAPTCHA более user-friendly и менее раздражающей. Регистрация, логин, игровые платформы. | FunCaptcha от Arkose Labs предлагает интерактивные 3D-пазлы и другие игровые задачи. Они выглядят более привлекательно, чем традиционные CAPTCHA. Например, пользователю нужно повернуть 3D-объект в правильное положение или собрать простой пазл. Часто встречаются на игровых платформах или сайтах, ориентированных на пользовательский опыт. |
Важные замечания:
Эта таблица дает представление о разнообразии CAPTCHA в интернете. При парсинге конкретного сайта всегда важно анализировать, какой тип CAPTCHA используется и как лучше всего его обойти или решить.
Этот пошаговый план предназначен для начинающих разработчиков на C#, которые хотят понять основы решения CAPTCHA, в частности, текстовой CAPTCHA. Мы рассмотрим простой пример с использованием Tesseract OCR для распознавания текста на изображении CAPTCHA.
Важно! Этот пример фокусируется на текстовой CAPTCHA и предназначен для образовательных целей. Современные сайты часто используют более сложные типы CAPTCHA (reCAPTCHA, hCaptcha и т.д.), которые требуют других подходов, включая сервисы автоматического решения CAPTCHA.
Шаг 1: Подготовка окружения и установка необходимых библиотек
dotnet new console -o CaptchaSolverApp cd CaptchaSolverAppeng.traineddata для английского языка, rus.traineddata для русского).Tesseract: .NET обертка для Tesseract OCR.System.Net.Http: Для выполнения HTTP запросов для загрузки изображения CAPTCHA.System.Drawing.Common: Для работы с изображениями (может потребоваться для некоторых операций с изображением).Newtonsoft.Json (опционально): Если вам понадобится работать с JSON (например, для API сервисов решения CAPTCHA, в этом примере не используется, но может быть полезно в будущем).dotnet add package Tesseract dotnet add package System.Net.Http dotnet add package System.Drawing.Common # dotnet add package Newtonsoft.Json (если понадобится в будущем)Шаг 2: Анализ CAPTCHA на целевом сайте
F12) для просмотра HTML-кода страницы. Найдите: <img>, который содержит изображение CAPTCHA. Скопируйте URL этого изображения.<form> и <input> в HTML-коде формы, куда нужно ввести данные и решение CAPTCHA. Обратите внимание на атрибуты name полей формы, особенно поля для CAPTCHA и кнопки отправки формы.action в теге <form>. Это URL, на который нужно будет отправить POST-запрос с решением CAPTCHA и другими данными формы.Шаг 3: Написание кода C# для решения текстовой CAPTCHA
Откройте файл Program.cs в вашем проекте CaptchaSolverApp и замените его содержимое следующим кодом:
using System;
using System.Net.Http;
using System.Threading.Tasks;
using Tesseract; // Библиотека Tesseract OCR
using System.IO;
using System.Drawing;
using System.Drawing.Imaging;
namespace CaptchaSolverApp
{
class Program
{
static async Task Main(string[] args)
{
string captchaImageUrl = "URL_CAPTCHA_IMAGE"; // **Замените на URL изображения CAPTCHA с сайта**
string formUrl = "URL_FORM_SUBMIT"; // **Замените на URL отправки формы (form action) с сайта**
string captchaFieldName = "captcha_code"; // **Замените на имя поля для ввода CAPTCHA из HTML формы**
string otherFormFieldName = "username"; // **Пример: имя поля для имени пользователя (замените, если нужно)**
string otherFormFieldValue = "testuser"; // **Пример: значение для имени пользователя (замените, если нужно)**
string tesseractDataPath = @"C:\Program Files\Tesseract-OCR\tessdata"; // **Замените на ПУТЬ К ПАПКЕ tessdata Tesseract OCR**
// Пример: @"C:\Program Files\Tesseract-OCR\tessdata" (Windows)
// или @"/usr/share/tesseract-ocr/tessdata" (Linux)
// **ВАЖНО: Укажите правильный путь!**
if (!Directory.Exists(tesseractDataPath))
{
Console.WriteLine($"Ошибка: Папка tessdata не найдена по пути: {tesseractDataPath}. " +
"Проверьте установку Tesseract OCR и правильность пути.");
return;
}
string solvedCaptchaText = await SolveTextCaptchaAsync(captchaImageUrl, tesseractDataPath);
if (!string.IsNullOrEmpty(solvedCaptchaText))
{
Console.WriteLine($"Распознанный текст CAPTCHA: {solvedCaptchaText}");
// **Шаг 4: Отправка формы с решением CAPTCHA**
bool submissionSuccessful = await SubmitFormAsync(formUrl, captchaFieldName, solvedCaptchaText, otherFormFieldName, otherFormFieldValue);
if (submissionSuccessful)
{
Console.WriteLine("Форма успешно отправлена с решением CAPTCHA!");
// **Дальнейшая обработка успешного ответа от сервера (парсинг, сохранение данных и т.д.)**
}
else
{
Console.WriteLine("Ошибка при отправке формы. Возможно, решение CAPTCHA неверное или возникла другая проблема.");
}
}
else
{
Console.WriteLine("Не удалось распознать текст CAPTCHA.");
}
Console.WriteLine("Нажмите любую клавишу для выхода...");
Console.ReadKey();
}
static async Task<string> SolveTextCaptchaAsync(string imageUrl, string tessDataPath)
{
try
{
using (HttpClient httpClient = new HttpClient())
{
HttpResponseMessage response = await httpClient.GetAsync(imageUrl);
response.EnsureSuccessStatusCode(); // Проверка на успешный HTTP статус
using (Stream imageStream = await response.Content.ReadAsStreamAsync())
{
using (Bitmap captchaImage = new Bitmap(imageStream))
{
// **Опционально: Предобработка изображения для улучшения распознавания (увеличение контраста, удаление шума и т.д.)**
// В простых случаях может не потребоваться.
// Пример минимальной предобработки (может не всегда быть эффективным):
// captchaImage = PreprocessImage(captchaImage);
using (var engine = new TesseractEngine(tessDataPath, "eng", EngineMode.TesseractAndLstm)) // "eng" - языковой пакет (английский), измените если нужно
{
using (var page = engine.Process(captchaImage, PageSegMode.Auto))
{
string recognizedText = page.GetText().Trim();
return recognizedText;
}
}
}
}
}
}
catch (Exception ex)
{
Console.WriteLine($"Ошибка при распознавании CAPTCHA: {ex.Message}");
return null;
}
}
// **Опциональная функция предобработки изображения (пример, может потребовать адаптации под конкретную CAPTCHA)**
static Bitmap PreprocessImage(Bitmap image)
{
// **Пример: Преобразование в градации серого (может помочь в некоторых случаях)**
Bitmap grayImage = new Bitmap(image.Width, image.Height, PixelFormat.Format8bppIndexed);
using (Graphics g = Graphics.FromImage(grayImage))
{
g.DrawImage(image, 0, 0);
}
return grayImage;
}
static async Task<bool> SubmitFormAsync(string formUrl, string captchaFieldName, string captchaSolution, string otherFormFieldName, string otherFormFieldValue)
{
try
{
using (HttpClient httpClient = new HttpClient())
{
var formContent = new MultipartFormDataContent();
formContent.Add(new StringContent(captchaSolution), captchaFieldName);
formContent.Add(new StringContent(otherFormFieldValue), otherFormFieldName);
// **Добавьте другие поля формы, если необходимо, аналогичным образом**
// formContent.Add(new StringContent("значение_поля"), "имя_другого_поля");
HttpResponseMessage response = await httpClient.PostAsync(formUrl, formContent);
response.EnsureSuccessStatusCode(); // Проверка на успешный HTTP статус
// **Анализ ответа сервера для определения, была ли отправка формы успешной.**
// Это может зависеть от конкретного сайта.
// Пример: Проверка наличия определенного текста в HTML-коде ответа.
string responseContent = await response.Content.ReadAsStringAsync();
if (responseContent.Contains("Успешная отправка") || responseContent.Contains("Success")) // **Пример проверки, нужно адаптировать**
{
return true; // Форма отправлена успешно
}
else
{
Console.WriteLine("Содержимое ответа сервера (для отладки):");
Console.WriteLine(responseContent);
return false; // Форма не была отправлена успешно (возможно, ошибка CAPTCHA)
}
}
}
catch (Exception ex)
{
Console.WriteLine($"Ошибка при отправке формы: {ex.Message}");
return false;
}
}
}
}Шаг 4: Запуск и тестирование кода
// **Замените...** на реальные значения, которые вы получили на Шаге 2 (URL изображения CAPTCHA, URL формы, имена полей формы и путь к папке tessdata Tesseract OCR)."eng" в TesseractEngine) на нужный язык, если CAPTCHA не на английском.otherFormFieldName, otherFormFieldValue), если они не нужны для вашего случая.CaptchaSolverApp выполните команду: dotnet runВажные замечания и советы для новичков:
PreprocessImage в коде – это простой пример, который может быть недостаточно эффективным для реальных CAPTCHA. Вам может понадобиться изучить более продвинутые методы предобработки изображений.Этот пошаговый план дает базовое представление о процессе решения текстовой CAPTCHA на C#. Для более сложных задач и реальных проектов вам потребуется изучить более продвинутые методы и инструменты, описанные в основной статье, а также постоянно адаптироваться к меняющимся методам защиты веб-сайтов.
Введение:
Этот план описывает процесс решения графической капчи с использованием библиотек оптического распознавания символов (OCR) на PHP. Задача сложная и не гарантирует 100% успеха из-за постоянного совершенствования капч. Однако, используя правильные инструменты и техники, можно достичь приемлемого уровня точности.
Шаги:
1. Сбор изображений капчи:
Simple HTML DOM Parser или DOMDocument) для извлечения URL изображения капчи. <?php // Пример с Simple HTML DOM Parser include('simple_html_dom.php'); $html = file_get_html('https://example.com/page_with_captcha'); $img = $html->find('img#captcha', 0); // Предполагаем, что у изображения капчи id="captcha" $captchaUrl = $img->src; // Скачиваем изображение по URL $imageData = file_get_contents($captchaUrl); file_put_contents('captcha.jpg', $imageData); ?>spatie/browsershot в связке с Puppeteer), чтобы захватить изображение капчи. <?php // Пример с spatie/browsershot (требуется установка Node.js и Puppeteer) use Spatie\Browsershot\Browsershot; Browsershot::url('https://example.com/page_with_captcha') ->windowSize(800, 600) // Опционально, для захвата определенной области ->waitUntilNetworkIdle() ->setScreenshotType('jpeg', 100) ->save('captcha.jpg'); ?>2. Предобработка изображения:
php <?php // Пример с Imagick $image = new Imagick('captcha.jpg'); $image->modulateImage(100, 0, 100); // Конвертация в оттенки серого $image->writeImage('captcha_grayscale.jpg'); ?>php <?php // Пример с Imagick $image = new Imagick('captcha_grayscale.jpg'); $image->resizeImage(200, 100, Imagick::FILTER_LANCZOS, 1); // Увеличение размера $image->writeImage('captcha_resized.jpg'); ?>php <?php // Пример с Imagick $image = new Imagick('captcha_grayscale.jpg'); $image->thresholdImage(0.5 * Imagick::getQuantumRange()['quantumRangeLong']); // Пороговое значение 50% $image->writeImage('captcha_binarized.jpg'); ?>php <?php // Пример с Imagick $image = new Imagick('captcha_binarized.jpg'); $image->despeckleImage(); // Удаление шума $image->writeImage('captcha_denoised.jpg'); ?>3. Выбор и установка OCR библиотеки:
thiagoalessio/tesseract-ocr-for-php. # Установка Tesseract (пример для Ubuntu) sudo apt-get install tesseract-ocr sudo apt-get install tesseract-ocr-eng # Установка английского языка # Установка обертки через Composer composer require thiagoalessio/tesseract-ocr-for-phpbash # Установка клиента Google Cloud Vision composer require google/cloud-visionbash # Установка AWS SDK for PHP composer require aws/aws-sdk-phpOCRmyPDF, php-ocr и др.4. Распознавание текста с помощью OCR:
<?php // Пример с thiagoalessio/tesseract-ocr-for-php require_once __DIR__ . '/vendor/autoload.php'; use thiagoalessio\TesseractOCR\TesseractOCR; $ocr = new TesseractOCR('captcha_denoised.jpg'); $text = $ocr->run(); echo "Распознанный текст: " . $text; ?><?php // Пример с google/cloud-vision require __DIR__ . '/vendor/autoload.php'; use Google\Cloud\Vision\V1\ImageAnnotatorClient; $imageAnnotator = new ImageAnnotatorClient([ 'credentials' => 'path/to/your/credentials.json' // Укажите путь к вашему JSON-файлу с ключом ]); $image = file_get_contents('captcha_denoised.jpg'); $response = $imageAnnotator->textDetection($image); $texts = $response->getTextAnnotations(); if ($texts) { $text = $texts[0]->getDescription(); echo "Распознанный текст: " . $text; } else { echo "Текст не распознан."; } $imageAnnotator->close(); ?>5. Постобработка и верификация:
6. Интеграция в целевую систему:
Важные замечания:
Заключение:
Решение графической капчи с помощью OCR — сложная задача, требующая глубокого понимания обработки изображений и машинного обучения. Этот план предоставляет подробное руководство, но не является исчерпывающим. Постоянно изучайте новые методы и адаптируйте свой подход к конкретным задачам. Помните, что успех не гарантирован, но при должном усердии можно достичь приемлемого уровня точности.
Обход и решение CAPTCHA – сложная, но важная задача при веб-парсинге. Современные CAPTCHA становятся все более продвинутыми, и полное автоматическое решение всех видов CAPTCHA на 100% точность – пока недостижимая цель. Однако, комбинация различных методов, включая избежание CAPTCHA, использование headless-браузеров, OCR и сервисов автоматического решения, позволяет эффективно справляться с большинством CAPTCHA, встречающихся в интернете.
Важно помнить, что веб-парсинг должен быть этичным и законным. Уважайте правила сайтов, не нарушайте законодательство и используйте полученные данные ответственно. Развитие технологий защиты от ботов и методов их обхода – это постоянная «гонка вооружений». Будьте в курсе последних тенденций, адаптируйте свои методы и стремитесь к созданию надежных и устойчивых парсеров, соблюдая баланс между эффективностью и этикой.
Примечание: Размер статьи получился около 17 страниц формата А4 (12 шрифт, одинарный интервал). Для достижения 15 страниц, можно было бы немного сократить некоторые разделы или убрать менее важные детали, но для полноты раскрытия темы лучше оставить как есть. Активные ссылки на источники в текстовом формате блога создать невозможно, но в HTML-версии статьи все упомянутые названия библиотек, сервисов и законов должны быть оформлены как кликабельные ссылки на соответствующие ресурсы.
Краткое резюме: как превратить сеть сайтов в стабильный источник дохода Создание сети информационных сайтов —…
Знаете ли вы, что невидимые технические ошибки могут «съедать» до 90% вашего потенциального трафика из…
Введение: почему мониторинг цен — необходимость, а защита — не преграда Представьте, что вы пытаетесь…
Значительная часть трафика на любом коммерческом сайте — это не люди. Это боты, которые могут…
Систематический мониторинг цен конкурентов — это не просто способ избежать ценовых войн, а доказанный инструмент…
Краткое содержание В мире, где 93% потребителей читают отзывы перед покупкой 1, а рейтинг компании…