Интеграция резидентских прокси в Curl с помощью API Tools

Curl — командная утилита и библиотека libcurl для передачи данных с использованием различных протоколов, таких как HTTP, HTTPS, FTP. Инструмент широко используется разработчиками для тестирования веб-API, загрузки файлов и многих других задач, связанных с передачей данных через интернет.

Curl поддерживает большое количество функций, включая аутентификацию, подключение через прокси, SSL-соединения и многое другое, что делает его неотъемлемым инструментом для веб-разработки и системного администрирования.

Что касается резидентских прокси, то они идеально подходят для скрапинга данных с веб-сайтов, которые имеют защиту от ботов или ограничения по количеству запросов с одного айпи-адреса. Для удобства работы со списками прокси существует API для их интеграции. С помощью API можно легко подключать прокси к сторонним сервисам или программам, обеспечивая динамическую смену адресов, что минимизирует риск блокировки и упрощает управление прокси.

В данной статье мы подробно рассмотрим процесс создания листа резидентских прокси и его дальнейшую интеграцию в Curl с помощью API инструмента.

Создание листа резидентских прокси

После приобретения резидентские прокси находятся в личном кабинете в разделе «Мои заказы» в подпункте «Resident». Для создания списка резидентских прокси и настройки их использования через API необходимо выполнить несколько действий:

1. Задайте название списку. Выберите тип ротации: «Sticky» позволяет удерживать IP-адрес максимально возможное время, а «Динамические» активируют автоматическую ротацию резидентских прокси. Тип авторизации можно выбрать как по логину и паролю, так и по основному IP.

   

2. В разделе «Фильтр» устанавливаем страну, регион, город и провайдера, если необходима максимально точная выборка. Последняя строка отвечает за количество портов, которое будет сгенерировано, что соответствует количеству прокси-серверов. Формат выгрузки оставляем по умолчанию и нажимаем «Создать API-tools».

   

3. Созданный ключ API отобразиться в разделе «Список прокси». Здесь можно скопировать строку для интеграции в Curl, а также наблюдать авторизационные данные.

   

Последний этап перед интеграцией непосредственно с самим Curl заключается в подготовке API ключа. Скопируйте его и вставьте в любой текстовый редактор, затем замените символы после -x на логин и пароль от прокси. Выглядеть это в конечном итоге будет так:

curl -v -x api6e6b32948d213850:RNW78Fm5@res.proxy-seller.com:10000 https://www.google.com

Сохраните эту строку, и теперь перейдем непосредственно к установке Curl на систему.

Установка Curl

В данной статье для наглядного примера будет использоваться Windows 11, где Curl предустановлен, однако в качестве демонстрации рассмотрим, как это сделать для каждой OS в ручном режиме.

Windows

Несмотря на то, что в Windows 11 Curl входит в стандартный набор программ, на более ранних версиях, например Windows 10, он недоступен. Чтобы открыть командную строку, нажмите сочетание клавиш Win+R и введите cmd. Установить Curl можно с помощью менеджера пакетов WinGet командой:

winget install curl.curl

Linux

В большинстве дистрибутивов Linux Curl доступен через стандартные менеджеры пакетов. Для установки в Ubuntu или Debian используйте:

apt-get install curl

Для систем на базе Red Hat, таких как RHEL, CentOS или Fedora, используйте Yellowdog Updater Modified (YUM):

yum install curl

Пользователи OpenSUSE могут установить Curl через zypper:

zypper install curl

В Arch Linux Curl устанавливается через pacman:

pacman -Sy curl

macOS

На macOS Curl лучше всего установить через менеджер пакетов Homebrew. После установки Homebrew выполните команду:

brew install curl

Теперь, когда Curl установлен на операционной системе, можно приступить к интеграции резидентских прокси с помощью API.

Интеграция резидентских прокси в Curl и отправка запроса

Для проверки, что запросы действительно отправляются через прокси, можно использовать несколько методов. Один из самых простых — тестовый сервис, который отображает информацию о вашем IP-адресе и другие детали запроса. Сервисы, такие как httpbin.org, предоставляют такую возможность.

Запустите командную строку, введите API, который сохранили ранее, и добавьте в конце тестовый сайт httpbin.org. Выглядеть это будет вот таким образом:

curl -v -x api6e6b32948d213850:RNW78Fm5@res.proxy-seller.com:10000 http://httpbin.org/ip

Эта команда отправит запрос на httpbin.org через прокси. Сервис вернет JSON-объект, содержащий IP-адрес, с которого он получил запрос и другие данные. В случае успешного соединения ответ будет следующим:

"origin": "90.199.172.229": В теле ответа указан IP-адрес, который виден как исходящий IP для httpbin.org. Этот IP должен соответствовать IP-адресу прокси.

Примеры использования флагов

В дополнение к практической части статьи добавим немного полезной информации касательно отправки данных с помощью Curl с использованием различных флагов.

Особое внимание уделим флагам -d, -F, и --json, каждый из которых служит определенной цели.

Отправка JSON данных через резидентский прокси с использованием -d

Флаг -d или --data позволяет отправить данные в теле POST-запроса, часто используется для отправки форм или JSON. Этот пример демонстрирует, как отправить данные аутентификации в формате JSON через API с резидентским прокси:

curl -v -x api6e6b32948d213850:RNW78Fm5@res.proxy-seller.com:10000 -H "Content-Type: application/json" -d '{"username":"admin","password":"password123"}' http://httpbin.org/ip

Здесь -x используется для настройки прокси с аутентификационными данными, а -d отправляет информацию пользователя на сервер.

Отправка файла через резидентский прокси с использованием -F

Флаг -F используется для отправки файлов в формате multipart/form-data. Этот метод идеален для API, которые требуют загрузки файлов через прокси.

curl -v -x api6e6b32948d213850:RNW78Fm5@res.proxy-seller.com:10000 -F "file=@path_to_your_file.txt" http://httpbin.org/ip

Флаг -F указывает путь к файлу, который должен быть отправлен, а -x настраивает прокси для маршрутизации запроса.

Упрощённая отправка JSON с использованием --json

Флаг --json предназначен для упрощения отправки JSON данных, автоматически устанавливая нужные заголовки.

Пример отправки JSON через резидентский прокси с использованием --json:

curl -v -x api6e6b32948d213850:RNW78Fm5@res.proxy-seller.com:10000 --json '{"key":"value"}' http://httpbin.org/ip

Здесь --json автоматически устанавливает необходимые заголовки для JSON, и запрос отправляется через настроенный прокси на httpbin.org, который отобразит IP-адрес и другие данные запроса.

Интеграция API резидентских прокси с Curl значительно расширяет возможности работы с сетевыми запросами. Она обеспечивает гибкость управления прокси-серверами, позволяя оперативно изменять IP-адреса и настройки без ручного ввода. Это не только упрощает автоматизацию повседневных задач, но и повышает анонимность и безопасность интернет-операций, делая их менее уязвимыми для внешних угроз.