Что такое прокси, использование proxy, где взять базу

Каждый компьютер имеет свой уникальный IP-адрес, в котором зашифрована информация о стране проживания пользователя и о его интернет-провайдере. Прокси-сервер тоже имеет свой IP-адрес. Если пользователь выходит в сеть через прокси, то фигурировать будет IP прокси, в то время как сам пользователь сможет сохранить инкогнито.

Для того чтобы иметь возможность выходить в сеть через прокси необходимо установить соответствующие настройки в своем браузере. И тогда все подключения в сети будут проводиться через IP-адрес прокси-сервера.

Веб-прокси или VPN

Серверы веб-прокси отличаются от VPN тем, что отправляемые запросы не шифруются, и, таким образом, подслушивающий, если сможет перехватить ваш трафик. сможет прочесть всю передающуюся информацию. В случае VPN все запросы шифруются.

Очень важно понимать, что прокси-серверы работают на уровне браузера, а некоторые работают на уровне вкладки браузера, но VPN работает на системном уровне и защищает все запросы, исходящие от компьютера. VPN, однако, медленнее, чем прокси.

Использование и настройка прокси на примере программы Key collector

Одной из самых функциональных программ для сбора семантики на сегодняшний день является Key collector. Эта программа принадлежит к числу обязательного софта любого SEO специалиста практика. С помощью программы можно быстро и качественно собрать базу ключевых слов для семантического ядра сайта, или рекламной кампании. Полученные данные можно проанализировать на уровень конкуренции, частотность, сезонность. Это очень удобно при выполнении работы по оптимизации сайта.

Но для эффективной работы программы, просто обязательно применение нескольких прокси-серверов, в противном случае скорость парсинга будет на порядок ниже, количество каптч гораздо выше, а риск получения бана вашего IP при парсинге крайне велик.

Где взять?

И так, для того чтобы настроить в Кей колекторе список прокси серверов нам их нужно их где-то взять. В сети на самом деле полно мест где предлагают как платные, так и бесплатные прокси сервера в аренду. Но я бы крайне не рекомендовал использовать бесплатные прокси, так как такой вид прокси-серверов имеет ряд недостатков: ограниченные настройки, низкая скорость, плохая стабильность, а также, отсутствие гарантии безопасности. Особенно опасно их использовать, если пользуетесь сайтами, где нужно вводить личные данные. Например, социальными сетями. Использование бесплатных прокси может спровоцировать утрату паролей и логинов, в результате их кражи злоумышленниками. Для Кей коллектора, как я сказал выше, использование бесплатных прокси крайне не рекомендовано.

Среди платных прокси предложений на рынке тоже хоть отбавляй. Кому интересно изучить рынок предложений этого вида услуг — Гугл как говорится в помощь. Я же в последнее покупаю прокси на сайте https://proxy-sale.com. Там можно выбирать прокси с большого списка стран, а также самому строить свой тарифный план, выбирая нужное количество IP адресов на нужный срок. Так, если вам нет необходимости в постоянном использовании прокси, вы можете купить 5-10 IP (такого количества прокси в большинстве задач достаточно) сроком на неделю (минимальный период) всего по 55 руб/ шт.

Настройка прокси в Key collector

После того как мы купили нужное количество прокси на нужный нам период, нам придет список доступных к использованию IP, логин и пароль, а также данные по их настройке. Например:

• Логин: login
• Пароль: 123uf45k
• сервер: 188.97.243.155
• порт: http/https 65233
• порт: socks5 65234

Имея полученные данные, переходим в программу Кей колектор, идем в настройки (шестеренка в верхнем меню), выбираем пункт меню «Сеть», и там ставим галочку «Использовать прокси серверы». Протокол можно оставлять HTTP. Далее в самом нижнем поле добавляем список наших купленных IP адресов.

Отмечаем галочкой те строки, которые будем использовать. Строка должна быть зеленой. Количество потоков ставьте из расчета 1 поток на один IP адрес (на скрине дефолтное значение). Сохраняемся, пользуемся.

Обзор

Zabbix прокси может собирать данные о производительности и доступности от имени Zabbix сервера. Таким образом, прокси может взять на себя некоторую часть нагрузки по сбору данных и разгрузить Zabbix сервер.

Кроме того, использование прокси это самый простой способ осуществления централизованного и распределенного мониторинга, когда все агенты и прокси отчитываются перед одним Zabbix сервером и все данные собираются в централизованном порядке.

Zabbix прокси можно использовать для:

Прокси требует только одно TCP соединение к Zabbix серверу. Таким образом, будет проще настроить обход брандмауэра, вам потребуется настроить только одно правило в брандмауэре.

Все данные собранные прокси, перед отправкой их серверу, хранятся локально. Таким образом, данные не теряются из-за временных проблем со связью с сервером. Параметры ProxyLocalBuffer и ProxyOfflineBuffer в файле конфигурации прокси управляют как долго данные будут храниться локально.

Zabbix прокси — коллектор данных. Он не вычисляет триггеры, не обрабатывает события и не отправляет оповещения. Для обзора возможностей прокси, просмотрите следующую таблицу:

Функция		Поддержка прокси
Элементы данных
Проверки через Zabbix агент	Да
Проверки через Zabbix агент (активный)	Да 1
Простые проверки	Да
Элементы данных траппера	Да
SNMP проверки	Да
SNMP трапы	Да
IPMI проверки	Да
JMX проверки	Да
Мониторинг файлов журналов	Да
Внутренние проверки	Да
Проверки через SSH	Да
Проверки через Telnet	Да
Внешние проверки	Да
Зависимые элементы данных	Да 2
Встроенный веб-мониторинг		Да
Обнаружение сети		Да
Низкоуровневое обнаружение		Да
Удаленные команды		Да
Вычисление триггеров		Нет
Обработка событий		Нет
Корреляция событий		Нет
Отправка оповещений		Нет
Предобработка значений элементов данных		Нет

Настройка

Если у вас есть установленный и настроенный прокси, то самое время настроить его в веб-интерфейсе Zabbix.

Добавление прокси

Для настройки прокси в веб-интерфейсе Zabbix:

Параметр		Описание
Имя прокси		Введите имя прокси. Оно должно совпадать с именем параметра Hostname в файле конфигурации прокси.
Режим прокси		Выберите режим прокси. Активный — прокси будет подключаться к Zabbix серверу и запрашивать данные конфигурации Пассивный — к прокси будет подключаться Zabbix сервер Обратите внимание, что (деликатные) данные конфигурации могут стать доступны лицам, имеющим доступ к порту траппера Zabbix сервера, при использовании активного прокси. Такое возможно потому что, кто угодно может представиться активным прокси и запросить данные конфигурации, если аутентификация не выполняется или адреса прокси не ограничены в поле Адрес прокси.
Адрес прокси		Если задано значение, тогда запросы активного прокси принимаются только из этого списка разделенных запятыми IP адресов, опционально в CIDR нотации, или DNS имён активного Zabbix прокси. Это поле доступно только, если выбран активный прокси в поле Режим прокси. Макросы не поддерживаются. Эта опция поддерживается начиная с Zabbix 4.0.0.
Интерфейс		Укажите детали интерфейса пассивному прокси. Это поле доступно только, если в поле Режим прокси выбран пассивный прокси.
IP адрес	IP адрес пассивного прокси (опционально).
DNS имя	DNS имя пассивного прокси (опционально).
Подключение через	Нажав соответствующую кнопку, вы сообщите Zabbix серверу что использовать для получения данных с прокси: IP — Подключение к прокси по IP адресу (рекомендуется) DNS — Подключение к прокси по DNS имени
Порт	Номер TCP/UDP порта пассивного прокси (по умолчанию 10051).
Описание		Введите описание прокси.

Вкладка Шифрование позволяет вам требовать шифрованных соединений с прокси.

Параметр	Описание
Подключения к прокси	Каким образом сервер подключается к пассивному прокси: без шифрования (по умолчанию), используя PSK (pre-shared key) или сертификат.
Соединения с прокси	Выберите какой тип подключений разрешен с активного прокси. Можно выбрать несколько типов соединений одновременно (полезно при тестировании и переключении на другой тип соединения). По умолчанию — “Без шифрования”.
Издатель	Разрешенный эмитент сертификата. Сертификат сначала подтверждается CA (центром сертификации). Если он действительный, подписан с помощью CA, тогда можно использовать поле Издатель для более строго ограничения разрешенных CA. Это поле опционально, предназначено для использования, если ваша Zabbix инсталляция использует сертификаты от нескольких CA.
Тема	Разрешенная тема сертификата. Сертификат сначала подтверждается CA. Если он действительный, подписан с помощью CA, тогда можно использовать поле Тема, чтобы разрешить только одно значение строки Тема. Если поле пустое, тогда принимается любой сертификат, подписанный настроенным CA.
Идентификатор PSK	Строка идентификации pre-shared key. Не помещайте конфиденциальную информацию в идентификатор PSK, этот идентификатор передаётся по сети незашифрованным, чтобы уведомить получателя какой PSK необходимо использовать.
PSK	Pre-shared key (строка в шестнадцатеричном формате). Максимальная длина: 512 шестнадцатеричных цифр (256-байт PSK), если Zabbix использует библиотеки GnuTLS или OpenSSL, 64 шестнадцатеричных цифр (32-байт PSK), если Zabbix использует библиотеку mbed TLS (PolarSSL). Пример: 1f87b595725ac58dd977beef14b97461a7c1045b9a1c963065002c5473194952

Настройка узлов сети

Вы можете указать какие конкретно узлы сети должны наблюдаться через прокси в диалоге настройки узла сети, используя поле Наблюдение через прокси.

Массовое обновление узлов сети является еще одним способом, указать, что узлы сети должны наблюдаться через прокси.

Механизмы реализации проксирования [ править ]

Получили распространения два механизма проскирования.

Web-прокси [ править ]

Достаточно редко-встречающийся механизм, реализуемый такими продуктами как EZproxy (для библиотек) и Cisco WebVPN (в корпоративном секторе). Внешне выглядит так: пользователь ничего не настраивает, а заходит на сайт, вводит в нем логин и пароль и переходит на страницу, на которой указан список ресурсов. При клике по ресурсу прокси-сервер запрашивает страницу, но возвращая ее пользователю переписывает имя удаленного сайта на свое собственное, т.е. если у удаленного сайта запрашивается страница http://www.scopus.com/page.html, а у прокси-сервера сайт http://proxy.example.com, то пользователю возвращается страница якобы находящаяся по адресу http://proxy.example.com/page.html.

Веб-прокси не является общепринятым названием такого вида проксирования, но отражает суть, что работает в браузере в виде веб-сервиса.

Плюсы Web-прокси [ править ]

Работает прямо в браузере, пользователю на своей стороне не требуется ничего устанавливать или настраивать.

Недостатки Web-прокси [ править ]

Основные проблемы связаны с тем, что ни удаленный ресурс ни браузер не подозревают о проксировании, а сам прокси-сервер фактически использует хакерский метод. В начале 2000-ых годов, когда JavaScript активно не применялся в целях навигации и управления интерфейсом, этот метод не доставлял существенных проблем. Но чем новее сайт, тем больше шансов, что средствами JavaScript сайт решит подгрузить какой-то ресурс обратившись напрямую на себя (а не через прокси) и этот запрос завершится ошибкой из-за ограничений безопасности браузера.

Были проверены несколько электронных библиотек, из которых КиберЛенинка, IPRBooks, Национальная электронная библиотека, ELiS WebApps, SCOPUS и даже Google оказались несовместимы с Cisco WebVPN. В Лань, Книгафонд, Университетская библиотека онлайн книги напротив, открыть удалось.

Ниже приводится открытие IPRBooks через Cisco WebVPN и ошибка Flash Player при попытке открыть книгу. Ошибка связана с тем, что прокси подменил название сайта и работает по адресу vpn.psu.ru, в то время как Flash Player пытается загрузить книгу с www.iprbookshop.ru и у него срабатывает защита от загрузки контента с постороннего домена.

HTTP-прокси [ править ]

Проксирование веб-трафика уже давно встроено в браузеры и если в настройках браузера задать прокси-сервер, он сам будет отправлять все (или некоторые) запросы на загрузку страницы через прокси-сервер.

В отличие от предыдущего варианта, этот активно использовался еще в 90-ых годах, хорошо совместим с большинством информационных систем, да и сегодня часто встречается как способ раздачи интернета в организациях.

Плюсы HTTP-прокси [ править ]

Это встроенный механизм в браузеры с хорошей совместимость с удаленными ресурсами.

Недостатки HTTP-прокси [ править ]

1. Настройка прокси-сервера в браузере для пользователя заметно более обременительна.
2. Если не принять специальных мер, через прокси-сервер пойдет трафик всех браузеров, но проксирование всего трафика пользователя может быть слишком затратной для организации в плане закупки интернет-канала.

При этом надо иметь в виду, что если в Windows установить прокси-сервер в системе (через настройки Internet Explorer), то этот прокси-сервер подхватится такими браузерами как Google Chrome и Mozilla Firefox.

Настройка Zabbix Proxy на CentOS 7

Переходим к настройке только что установленного нами прокси. Открываем файл конфигурации zabbix proxy для настройки:

Изменим самые важные параметры:

Добавляем proxy в автозагрузку и запускаем:

Прокси запустился, но он еще ничего не выполняет и не мониторит. Для того, чтобы он начала работать, нам необходимо зайти в основной сервер и настроить там Proxy. Для этого идем в web панель zabbix, переходим в раздел Administration -> Proxies (Администрирование -> Прокси) и справа нажимаем на кнопку Create proxy (Создать прокси):

Заполняете необходимые поля. В данном случае обязательное только одно поле Proxy name.

Имя прокси — Имя прокси сервера, должно соответствовать параметру hostname в файле конфигурации прокси
Режим прокси — Режим работы: Активный — прокси всегда сам обращается к основному серверу и отправляет данные, Пассивный — команды на получение данных каждый раз инициирует основной сервер
Узлы сети — Хосты, которые будут мониториться через этот прокси. Если у Вас есть хосты, которые Вы уже готовы мониторить через прокси, переносим их в левый столбец
Описание — Произвольное описание сервера

Ниже приведу пример того, как у меня работает Proxy:

Как видите, у меня мониторится 258 узлов и VPS 561, справляется на базе SQLite3 без проблем

Теперь давайте добавим в мониторинг сам же Zabbix Proxy.

Для начала нам необходимо настроить и запустить агента на прокси. для этого идем в настройки агента и указываем ему IP, какой слушать и его имя хоста:

Не забывайте указывать именно Ваши IP и Hostname

Теперь сохраняем файл и запускаем Агента:

Теперь добавим его в панель Zabbix. Для этого создаем новый узел сети Настройка -> Узлы сети -> Создать узел сети

Вводим локальный IP вашего zabbix proxy и выбираем «Наблюдение через прокси» Ваше имя хоста zabbix proxy (в моем случае он называется «zproxy3-pro»)

После того, как добавите новый хост на основном сервере, он добавится к конфигурацию прокси через 60 секунд (по умолчанию, в настройках прокси можно изменить период получения конфигурации от основного сервера). Если Вы не хотите ждать, то можно перезапустить Zabbix Proxy для немедленного получения конфигурации:

Зачем нужны прокси для ботов

Социальные сети – рабочий инструмент SMM-специалистов. Им приходится сталкиваться с различными ограничениями – на количество отправляемых сообщений с одного аккаунта, число лайков, приглашений в друзья и подписок. При превышении лимитов можно столкнуться с временной или вечной блокировки аккаунта.

Использование ботов для автоматизации вышеописанных действий позволяет упростить рабочие процессы, затрачивать на них меньшее количество времени. Вследствие этого повышается вероятность получения бана.

Для ВКонтакте могут использоваться следующие программы, через которые работают боты:

• SocialKit — сбор (парсинг) и фильрация базы по любым критериям.

Для Одноклассников нередко применяется BroBot, позволяющий выполнять те же действия, что и в социальной сети VK.com. Он же используется для Instagram (лайки, подписки/отписки), Facebook. Не менее интересен бот при использовании на платформе Мамба или LovePlanet. Возможно автоматическое ведение множества анкет из-под различных прокси-серверов. Полезно при арбитраже трафика в дейтинг и адалт направлениях.

Весь функционалов ботов сводится к автоматизации рутинных действий – от подписки до рассылки сообщений. И чтобы минимизировать вероятность блокировки всего пула аккаунтов, важно применять различные прокси для каждого.

Прежде всего советуем Вам использовать наиболее быстрые, утойчивые и безопасные последние версии браузеров Chrome, Safari, Firefox.

1. Основные параметры

• Адрес сервера: lidia.econ.msu.ru или 93.180.40.7
• Порт прокси сервера: 3128 или 8080
• Адрес для полуавтоматической настройки прокси: https://www.econ.msu.ru/proxy.pac

2. Настройка дополнения «Proxy Switcher & Manager» для переключения режима прокси в браузере Chrome

1. Запустите Chrome
2. Откройте ссылку https://chrome.google.com/webstore/detail/proxy-switcher-manager/onnfghpihccifgojkpnnncpagjcdbjod в Chrome.
3. Нажмите кнопку ADD TO CHROME
   
4. по завршении процесса установки дополнения в панели инструментов (верхний правый край экрана) появится иконка дополнения «Proxy Switcher & Manager» , нажмите на неё.
5. В появившемся окне выберите последнюю вкладку — PAC Script — автоматическая настройка прокси сервера:
   укажите опцию URL, введите адрес автоматической настройки https://www.econ.msu.ru/proxy.pac и нажмите зеленую кнопку подтверждения
6. Готово! Вы подключили прокси. У вас будет запрошен логин и пароль:
   
   введите ваш логин и пароль от on.econ и нажмите кнопку «Log In»
7. Теперь Ваш браузер работает через факультетский прокси сервер.
8. Для отключения режима прокси нажмите на иконку дополнения «Proxy Switcher & Manager» в панели инструментов Chrome
9. Выберите первую вкладку — Direct. Теперь Ваш браузер работает в обычном режиме.

3. Как настроить использование прокси-сервера в операционной системе Mac OS X

1. Перейдите в раздел «Системные настройки»/«System Preferences» > «Сеть»/«Network»,
2. Нажмите на раскрывающееся меню «Расположение»/«Location»,
3. Выберите «Изменить места»/«Edit Locations»,
4. Нажмите кнопку «Добавить»/«Add» и укажите имя. Лучше дать имя, связанное с прокси-сервером,
5. Теперь, когда вы настроили новое местоположение, перейдите в сетевую конфигурацию, установив соответствующие параметры прокси на вкладке «Прокси», которую можно найти в настройках адаптера Ethernet / WiFi > Дополнительно.

Повторите шаги 1-5 для каждого прокси.

Как только вы закончите, вы можете быстро переключаться между каждым прокси, нажав на значок Apple (расположенный в левом верхнем углу экрана) и перейдя в «Местоположение». После того, как меню Location будет расширено, вы должны увидеть все свои разные местоположения, в которых есть соответствующие настройки прокси.

При нажатии на места будут изменены настройки прокси-сервера, которые использует ваш Mac.

Как автоматизировать получение IP-адреса, порта прокси-сервера и запуск необходимых настроек с помощью пакета getProxy

Код из предыдущего пункта — рабочий, он полезен для понимания, как использовать любое API, с помощью которого можно получить IP и порт прокси-сервера.

Чтобы упростить работу с бесплатными сервисами, предоставляющими IP и порт прокси-серверов, я написал пакет getProxy. С его помощью вы в одной строке кода можете автоматически запрашивать IP-адрес и порт прокси, применять к запросу фильтры по порту, странам и типу прокси-сервера, а также сразу внедрять полученные настройки.

На данный момент пакет содержит всего одну функцию getProxy. Функция использует два бесплатных API-сервиса: gimmeproxy.com и getproxylist.com, обращаясь к ним за IP и портом публично доступных и бесплатных прокси-серверов.

Установка пакета getProxy

Установите пакет из репозитория GitHub:

Аргументы функции getProxy

• country — код страны в формате ISO 3166-1 alpha-2. Коды всех стран можно найти здесь.
• notCountry — код страны, по которой не надо запрашивать настройки прокси-сервера, в формате ISO 3166-1 alpha-2.
• supportsHttps — логическое значение TRUE или FALSE, используется для фильтрации прокси-серверов по поддержке протокола https.
• port — номер порта для фильтрации прокси-серверов.
• type — тип протокола прокси-сервера, поддерживает возможные значения «http», «socks4», «socks5».
• action — действие, которое необходимо выполнить: start, чтобы получить и сразу направить интернет-соединение через прокси-сервер, get — если хотите получить IP-адрес и порт прокси-сервера, но не применять эти настройки, stop — если хотите отключиться от прокси-сервера.

Пример использования функции getProxy

Чтобы автоматизировать процесс получения IP-адреса и порта прокси-сервера и сохранения его в объект без перенаправления интернет-соединения, достаточно в аргументе action установить значение get.

Если хотите получить IP-адрес и порт прокси-сервера, а также одновременно применить полученные настройки, в аргумент action передайте значение start.

Если необходимо отключиться от прокси-сервера, достаточно передать в аргумент action значение stop.

Пример обращения к API Яндекс.Директ через прокси-сервер с помощью пакета getProxy

Перед запуском приведенного ниже кода у вас уже должны быть установлены пакеты ryandexdirect и getProxy.

Этот код при каждом запуске будет автоматически запрашивать настройки доступного прокси-сервера и применять их.