Первую капчу сделал Google, это был искаженный текст, который, тем не менее, читался людьми. Потом Google представил reCaptcha с использованием изображений, таких как светофоры, пожарные гидранты, пешеходные переходы, лестницы и дымоходы. ReCaptcha V1 исчерапала свой ресурс и была закрыта, зато в 2018 году заработали ReCaptcha V2 и V3. Сейчас различные типы ReCaptcha имеют свои специфические […]
Парсинг сайтов – автоматизированный процесс извлечения данных или информации с веб-страниц. После извлечения необходимых данных по ним можно осуществлять поиск, переформатировать их, копировать и т.д. Программное обеспечение для парсинга веб-страниц используется большинством компаний, занимаются они маркетингом, исследованиями или анализом данных. Парсинг полезен для сравнения продуктов и цен, поиска отзывов о товарах ваших конкурентов, поиска информации […]
В этой статье я расскажу вам о более чем 50 инструментах для специалистов по данным. Эти программы, платформы и библиотеки рекомендуют отраслевые эксперты. Перечень может показаться большим, но ниже я сразу привожу полный список, и вы можете прочитать непосредственно о том или ином инструменте, просто перейдя по ссылке. Востребованность науки о данных Если между стартапами, […]
“Более 40% продавцов говорят, что поиск клиентов – самая сложная часть процесса продаж, за которой следуют закрытие сделок (36%) и их оценка (22%). Если вам кажется, что поиск – самая трудная часть вашей работы, вы не одиноки”. Найти потенциальных клиентов, вырастить их и, наконец, убедить купить ваш продукт – непростая задача. Работая в сфере продаж, […]
Мониторинг цен – это давно известный бизнес-процесс. Раньше сотрудники розничных компаний заходили в магазины конкурентов и проверяли цены на продукты на каждой полке. Пользуясь своей фотографической памятью (поскольку блокнот и ручка были бы слишком подозрительны), они запоминали цены и отчитывались о них перед своим начальством. Цель такого мониторинга состоит в том, чтобы компании (относительно) своевременно […]
Можно ли защититься от парсинга своего сайта? Короткий ответ — нет. Никакой внятной защиты от получения открытых на сайте данных не существует. За последние годы мы в компании реализовали множество проектов, связанных с получением данных крупнейших сайтов. Это, например, HeadHunter, «Яндекс.Еда», Beru.ru, «Ламода». И сегодня спрашиваем сами себя — можно ли защититься от этого? Скрапинг, […]
По сути, защита от парсинга подразумевает, что скриптам и ботам будет максимально сложно получить данные с вашего сайта (Интернет- магазина), при этом не будет нарушен доступ к сайту для реальных пользователей и поисковых систем. К сожалению, это довольно трудная задача, т.к. необходимо найти компромисс между защитой от парсеров и сложностью доступа для реальных пользователей и […]
Веб-парсинг (или краулинг) — это извлечение данных со стороннего веб-сайта путем загрузки HTML-кода сайта и его анализа для получения необходимых данных. Но ведь для этого следует использовать API! Не каждый веб-сайт предлагает API, и API не всегда предоставляет всю необходимую информацию. Так что часто парсинг — это единственный способ для получения данных с сайта. Существует […]
Наша компания занимается парсингом сайтов в России уже более трёх лет, ежедневно мы парсим около 400 крупнейших сайтов в РФ. На выходе мы просто отдаем данные в формате Excel/CSV. Но существуют и другие решения — готовые сервисы для парсинга без программирования. Ниже их список и краткая аннотация к каждому. Сегодня интернет-краулинг (также известный как парсинг или […]
Все, что вам нужно знать при выборе прокси-серверов для проекта! Если вы когда-нибудь всерьез занимались парсингом, вы быстро осознавали, что прокси-сервера являются одним из ключевых компонентов любого веб-парсинга. В парсинг-проекте с серьезными объемами данных прокси-сервер — это не рекомендация, а необходимость. Тем не менее иногда, на настройку и устранение возникающих c сервером неполадок уходит больше времени, […]