Обзор прокси-сервиса Bright Data

Bright Data работает в юрисдикции Израиля, но есть офисы и в других странах: США, Украине, Великобритании. Плюс, точки продаж разбросаны по всему миру, есть представительства даже в Китае, Индии, Бразилии. Долгое время компания активно продвигалась и на российском рынке, здесь даже был свой штат сотрудников.

Изначальная сеть прокси была выстроена на базе Luminati SDK, которое встраивалось в мобильные и десктопные приложения, обеспечивая создание связной инфраструктуры с централизованным управлением. Основой для внедрения SDK были бесплатные VPN-клиенты, известные многим как Hola VPN. Запуск такого приложения на устройстве пользователя – это разрешение использования устройства в качестве прокси-сервера.

Технология официально запатентована. Пользователи тоже выигрывают от такого подхода – они получают не только бесплатный VPN, но и гарантированный доступ к любым web-ресурсам в сети, в любой точке мира, где есть другие клиенты Hola, ведь распределённая сеть может работать по принципам пиринга: ты мне, я тебе.

Компания Luminati существовала с 2014 года, а в 2021 году провела ребрендинг, получив новое название – Bright Data. Оно лучше подчёркивает новое направление деятельности и ориентацию ниши – большие данные и аналитика запросов потенциальных бизнес-клиентов.

Сейчас в ассортименте продуктов Bright Data:

• Аренда серверных (1,6+ млн. IP) и ISP-прокси (выделенные прокси в сетях провайдеров домашнего интернета, более 700 тыс. IP-адресов).
• Аренда мобильных (7+ млн. IP) и резидентных прокси (72+ млн. IP).
• Web-парсер собственной разработки и IDE для конструирования запросов.
• Инструменты для работы с прокси (прокси-менеджер, браузерные расширения, web-анлокер и т.п.).
• Готовые дата-сеты и сбор аналитики на заказ.
• Собственный VPN-сервис (Bright VPN, прямой наследник принципов Hola VPN, тоже с бесплатным доступом).

Конечно, наиболее важные и приоритетные услуги для компании – это те, что связаны с продажей прокси.

Ниже разберём особенности ключевых услуг и продуктов Bright Data.

Функциональность Bright Data

У Bright Data есть очень интересная особенность – управлять трафиком и загрузкой своих прокси-серверов, настраивать правила разделения и доступа, а также мониторить состояние выстроенной сети можно не только с помощью готовой панели управления, но и в специальном ПО – LPM (Luminati Proxy Manager). Софт имеет открытый исходный код и может быть запущен на вашем собственном сервере или в готовом облаке от Bright Data (услуга платная). Для установки есть готовые образы Docker, NPM-пакеты, приложения для Windows и Bash-скрипты для Linux-систем.

Удобство панели управления

При регистрации в сервисе вам обязательно нужно будет указать имя и фамилию, а также размер и сферу деятельности вашей компании. По желанию можно указать номер мобильного телефона.

Вместо регистрации по email можно воспользоваться авторизацией с помощью аккаунтов Google или Okta.

По умолчанию активна система двухфакторной авторизации – вам на email будет отправлен специальный токен, без ввода которого в систему не войти.

Интерфейс личного кабинета переведён на 6 языков, включая русский. Перевод не полный, но пользоваться сайтом вполне удобно.

В боковой панели можно найти следующие разделы, страницы и ссылки:

• Дашборд (общий сводный интерфейс с самой важной информацией обо всех ваших активных услугах, «Личный кабинет»).
• Прокси (раздел для получения и управления прокси).
• Data collection Platform (платформа Data Collector – для работы с дата-сетами).
• API и интеграции.
• Прокси Менеджер (ссылки на скачивание и установку).
• Расширение для браузера Chrome.
• Центр поддержки клиентов (Support center, «Служба поддержки»).
• Уведомления (Notification center).
• Ссылка на получение дополнительного кредита в 250 USD (грант предоставляется только один раз при условии пополнения счёта на 500 USD).
• Помощь и инструкции (ссылка на справочный раздел).
• Ссылка «Связаться с техподдержкой».

В нижней части вынесены элементы для просмотра текущего статуса системы (можно отслеживать глобальные инциденты), для чтения сообщений, а также ссылки на настройки (управление аккаунтом, смена языка, пароля, выход из системы) и биллинг (управление балансом и платежами).

Получение мобильных, резидентных или серверных прокси

В разделе с прокси (My proxies) расположены инструменты управления основными услугами. Здесь можно приобрести новые прокси, посмотреть подробную статистику по каждой отдельной услуге (ISP, mobile, residential, data_center, serp, unlocker), настроить параметры выдачи IP-адресов, условия доступа, лимиты трафика и т.п.

Тут же можно посмотреть текущие пароли, цены и другую информацию по активным услугам.

Внешний вид колонок можно настроить под себя, есть гибкая система фильтров и сквозной поиск. Таблицу с услугами можно выгрузить в CSV-формате.

Процесс получения новых прокси выглядит следующим образом:

• Вы пополняете свой счёт клиента.
• В списке доступных услуг включаете ту, что вам необходима (например, ISP, серверные, мобильные или резидентные прокси).
• В параметрах услуги настраиваете тип адресов. Например, резидентные и мобильные прокси могут быть общими (ротируемыми) или выделенными (без ротации, на фиксированных адресах), серверные – общие с оплатой за трафик, общие с оплатой за количество адресов и выделенные (по количеству IP).
• В расширенных параметрах настраиваете работу портов (если они нужны).
• Выбираете нужную вам геолокацию (если требуется привязка).
• Сохраняете и активируете услугу.
• Теперь в параметрах доступа можно скопировать необходимые данные: хост, имя пользователя и пароль.
• При желании можно настроить черные и белые списки IP устройств, с которых вы будете подключаться, и объекты таргетинга (отдельный черный и белый список доменов).

Парсинг и дата-сеты

Платформа Data Collector представляет собой web-IDE, в которой можно скачать готовые дата-сеты, либо сформировать новый запрос по нужным вам критериям. Для облегчения процесса написания кода для парсинга можно начать с одного из предложенных шаблонов.

Если у вас проблемы с написанием кода, можно обратиться в техподдержку. Специалист создаст дата-коллектор под ваши требования. Это будет услуга по модели с полным управлением – managed collector.

Таргетинг и локации

Так как у Bright Data сразу несколько основных услуг, то стоит рассмотреть возможности таргетинга применительно к каждой из них.

Самый большой пул адресов числится за резидентными прокси. Bright Data заявляет о сети из более чем 72 млн. IP. Клиенты могут выбрать любую из 195 стран мира. Точность настройки местоположения – до уровня города и оператора Интернета (ISP). Вы можете остановиться на любом уровне: страна –> штат/область/край –> город (населённый пункт).

У мобильных прокси пул меньше, но тоже впечатляет – более 7 млн. IP-адресов в сети. Точность и правила таргетинга такие же, как и у резидентных прокси – до уровня города и провайдера связи.

Что немаловажно, в один фильтр для мобильных и для резидентных прокси можно добавить любое количество локаций.

Серверные (датацентровые) прокси насчитывают более 1,6 млн. IP. Географический охват такой же большой (195 стран), но детальное таргетирование есть не во всех подвидах услуги. Например, если вы выбираете обще прокси с оплатой за трафик, то возможности настроить локацию нет.

С общими серверными прокси и с выделенными (персональными) IP всё в порядке – есть возможность тонкой настройки локации.

ISP-адреса, это так называемые статичные резидентные прокси. Работают по тем же принципам, что и серверные прокси, но на IP-адресах, которые числятся за локальными провайдерами интернета (ISP-провайдерами).

В сети ISP-прокси у Bright Data более 600 тыс. IP-адресов. Географический охват – всё те же 195 стран (до уровня города).

Автоматическая ротация

По умолчанию серверы, которые предполагают ротацию (не относятся к выделенным/индивидуальным), ротируются автоматически после 50 запросов.

Установить свои параметры ротации можно только при использовании Прокси Менеджера или API. За это отвечает атрибут «--max_requests Requests per session».

Экспорт прокси-листа и API

Это одна из самых интересных особенностей системы. У Bright Data вся работа производится через так называемые супер-прокси. Это централизованные узлы сети, которые одновременно служат балансировщиками и своего рода файрволлами, не пуская в сеть никого постороннего. Плюс, клиенты не видят реальных IP-адресов, они только вводят в настройках нужные параметры, а всё остальное реализует система.

По этой причине у Bright Data нет экспорта списков прокси. Чтобы подключить профильный софт или программы к сети, нужно указать адрес супер-прокси, а также специальный логин и пароль для идентификации клиента.

Запрос от ПО пробрасывается на супер-прокси, который в свою очередь переадресовывает его внутри своей сети до конечных узлов.

API представляет собой готовые блоки кода для подключения к супер-прокси. Плюс, вы можете более тонко настроить некоторые другие параметры: название зоны, страну выхода, user-agent, сайт назначения и т.п.

Лучшим способом проброса прокси от софта на рабочих станциях к супер-прокси будет установка локального сервера вместе с Прокси Менеджером (LPM). Его же можно установить на выделенном или виртуальном сервере (предполагается аренда хостинга).

Возможности BrightVPN

BrightVPN – это полностью бесплатный и безлимитный VPN-сервис, который используется с целью создания масштабной сети резидентных и/или мобильных прокси. Иными словами, прокси сервер и специальные скрипты для управления встроены в этот VPN-клиент. И пока он работает, вы можете пользоваться VPN-туннелями совершенно бесплатно.

Ключевые особенности решения от Bright Data:

• Более 120 стран (150 локаций), в которых можно выбрать VPN-сервер.
• Масштабная сеть серверов – более 1500 единиц.
• Возможность парсинга сайтов и web-сервисов со стороны Bright Data явно оговорена в пользовательском соглашении. Этой опцией даже можно управлять с помощью расписания доступа.
• Для подключения не нужен email-адрес или любые другие персональные данные.
• До 10 одновременных подключений на одного пользователя.
• Надёжное шифрование и поддержка популярного протокола IKEv2.
• Встроенная функция Kill Switch (для экстренного разрыва соединения, если отсутствует VPN-подключение).
• Есть расширения для браузеров (без приложения для ПК не работают).
• Торрент-трафик запрещён и блокируется (скачивать и раздавать торренты через BrightVPN не получится).
• Трафик без каких-либо строгих лимитов.
• Пока клиенты реализованы только для ОС Windows (приложения для Mac и для мобильных ОС в процессе разработки).

Производительность

Сеть прокси Bright Data имеет очень большую пропускную способность. Гарантированный уровень SLA – минимум 99,9%. В реальности доступность даже выше.

Если при аренде выделенных прокси вы активируете безлимитный трафик, то предполагается, что по итогам месяца вы израсходуете не более 100 Гб. Этот лимит плавающий и может быть пересмотрен в любую сторону, исходя из легитимности действий клиента – основная задача, чтобы ваша нагрузка не создавала проблем другим клиентам.

Остальные моменты будут напрямую зависеть от типа прокси: мобильные медленнее (из-за 3/4G-соединений), могут быть произвольные отключения отдельных узлов и т.п. Всё эти проблемы легко решаются оперативной ротацией, которая производится автоматически.

У VPN от Bright Data ограничений на трафик и на скорость нет.

Безопасность (анонимность)

В случае с Bright Data, безопасность – это самый сложный вопрос. Если говорить непосредственно о технической безопасности соединений, то здесь всё работает на отлично. Мало того, что подключения к прокси защищены паролем, вам будет предоставлен специальный SSL-сертификат, для шифрования трафика от Прокси Менеджера.

Но если говорить о конфиденциальности запросов, то тут наоборот собирается огромный пул данных. Всё это хранится на специальных серверах и может быть выдано в одном из дата-сетов.

Но все эти данные обезличенные. Максимум есть привязка к типу устройств и к общему расположению (до уровня города).

Примерно так же ситуация обстоит и с бесплатным VPN-клиентом. Встроенный прокси-модуль работает самостоятельно. Бизнес-клиенты, которые используют его для своих задач, ничего не знают и не могут узнать о пользователе.

За легитимностью действий клиентов компания строго следит. Именно поэтому работа осуществляется только с юридическими лицами и после проверки персональных данных плательщиков.

Для того, чтобы стал доступен весь функционал сервиса, нужно пройти не только KYC-верификацию, но и “живое” собеседование, где менеджер будет интересоваться, для каких целей будут использоваться прокси от Bright Data. При этом собеседование будет основательным, простыми общими фразами вида "маркетинговое исследование" отделаться не получится. нужно будет предоставить максимально развёрнутые ответы: на какие сайты будут осуществляться запросы, с какой целью и т.д.

Существует высокая вероятность того, что собеседование получится пройти не с первого раза. Может потребоваться несколько попыток.

Результаты собеседования будут иметь соответствующие последствия. Если вы попытаетесь использовать сервис для неоговоренных функций, то вам может поступить запрос для пояснений по каждому факту.

В соответствии с договором обслуживания Bright Data будет отслеживать весь ваш трафик, чтобы исключить неправомерное использование и злоупотребление.

Техническая поддержка

Несмотря на то, что офисы компании расположены за рубежом, клиентам из России предоставляется поддержка на русском языке. Более того, сразу после регистрации вам будет назначен личный менеджер, с которым вы сможете обсудить любые детали по телефону (нужно только выбрать дату и время звонка).

Например, специалисту можно заказать создание выборки данных по определённым сайтам и web-сервисам.

Обратиться с вопросами по обслуживанию можно в популярных мессенджерах (WhatsApp, Telegram и др.), по электронной почте или в системе тикетов (через панель управления или на специальной странице справочного раздела).

Bright Data предоставляет огромный объём информации по настройке своих продуктов и сервисов. Есть вебинары и готовые учебные программы, документация для разработчиков, FAQ-раздел, блог и т.п.

Плюс, Bright Data активно участвует в обсуждениях и решает вопросы на социальных платформах: Twitter, Facebook, Instagram, YouTube и LinkedIn.

Все технические консультации бесплатные. Но если вы требуете определённую услугу из ассортимента, то за неё уже будет списываться официальная плата.

Стоимость мобильных и резидентных прокси – тарифы Bright Data

Расчёт тарифов и услуг осуществляется исключительно в долларах США (все другие валюты будут конвертированы по курсам, которые используются в выбранных платёжных средствах).

Среди доступных способов оплаты числятся: международные банковские карты, PayPal, Payoneer и AliPay. Для тех, кто уже пополнил счёт свыше чем на 5000 долларов США, становится доступен ещё один метод – WIRETRANSFER.

Цены на трафик не зависят от региона клиента. На стоимость влияет объём предоплаты, тип услуги и тарифный план.

Основные тарифные планы Bright Data (при условии оплаты сразу на год):

• Pay as you go (Оплата по потреблению) – нет требований по минимальной оплате и сгорающих остатков. Резидентные прокси – 15 $/Гб, мобильные – 40 $/Гб, ISP – 0,5 $/IP+15 $/Гб, серверные –0,80 $/IP+0,11 $/Гб.
• Starter – 500 $/месяц, резидентные прокси – 11,25 $/Гб, мобильные – 30 $/Гб, ISP – 0,5 $/IP+11,25 $/Гб, серверные –0,60 $/IP+0,083 $/Гб.
• Advanced – 1000 $/месяц, резидентные прокси – 10,05 $/Гб, мобильные – 28 $/Гб, ISP – 0,5 $/IP+10,05 $/Гб, серверные –0,56 $/IP+0,077 $/Гб.
• Advanced+ – 2000 $/месяц, резидентные прокси – 9,75 $/Гб, мобильные – 26 $/Гб, ISP – 0,5 $/IP+9,75 $/Гб, серверные –0,52 $/IP+0,072 $/Гб.

Есть возможность запросить триал-тест на 7 дней, но только для компаний (после подтверждения адреса и статуса работы).

Тарифы на web-анлокер и на SEPR API – от1,95 до 3 $/тыс. запросов.

Web-парсер – 5 $/тыс. страниц или подписки от 500 $/месяц.

Готовые дата-сеты – от 1500 $ за единоразовый проект или от 1000 $/месяц при оформлении подписки.

Плюсы Bright Data

Минусы Bright Data

Аналоги и альтернативы Bright Data

Полных аналогов сервису Bright Data практически нет. Мало кто может предложить такой ассортимент услуг и производительность. Наиболее близким по возможностям можно назвать следующий сервис (касаются в первую очередь работы с прокси):

ASocks – самый недорогой провайдер резидентных прокси на рынке, тариф един для всех – 3 $/Гб. При этом нет требований по минимальному платежу или по сгоранию остатка, можно потреблять столько трафика, сколько вам нужно. Есть API и техподдержка на русском. Возможна оплата из РФ. Параметры таргетинга – до города и номера ASN-сети (как у Bright Data). Около 7-8 млн. IP-адресов в сети.

С одной стороны хорошо, что все услуги можно получить в одном месте – через Bright Data. Плюс, всё официально. Но, с другой стороны, другие провайдеры, которые специализируются на меньшем объёме услуг, обходятся заметно дешевле. А это весомый аргумент при выборе.

Итоги

Единственный стоящий плюс Bright Data – полная официальность сервиса, так как он учитывает юридические требования всех европейских стран. Но на этом, собственно, можно и закончить. Остальное сделано так, чтобы отсечь любое желание пользоваться сервисом. Чтобы пройти KYC-верификацию аккаунта, скорее всего потребуется несколько попыток: с личным общением, каверзными вопросами и т.п. Нельзя будет просто отделаться общими фразами. Все целевые домены будут вноситься в специальный список. Любая попытка посетить другие сайты и отклониться от стандартных маршрутов может привести к полной блокировке. Естественно, денег с баланса вам никто не вернёт.

И несмотря на то, что в сети более 72 млн. IP, прокси-сервис часто остаётся недоступным. Время отклика реально зашкаливает. И всё из-за того, что буквально все запросы всех клиентов пропускаются через один единственный супер-прокси. Он просто не справляется с нагрузкой.

На этом фоне менее крупные конкуренты выглядят заметно выгоднее. Тот же Asocks не имеет привязки ни к каким сгорающим пакетам, а цены здесь едины на любые типы прокси. Даже при малом объёме потребления цена за гигабайт трафика выходит в разы дешевле, чем у Bright Data при максимальной предоплате. Подбор и ротация – такие же, зоны покрытия где-то даже больше (несмотря на общий пул адресов 72 млн. против 7,5 млн.). Запросы обрабатываются практически мгновенно. Никаких KYC-верификаций – сразу после регистрации аккаунта можно работать: арендовать порты, выгружать списки прямых IP и задействовать API. Для работы не нужные никакие программы посредники, как Proxy Manager у Bright Data.

Мы не рекомендуем Bright Data ни для каких задач.