ProxyBroker

.. image:: https://img.shields.io/pypi/v/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/ .. image:: https://img.shields.io/travis/constverum/ProxyBroker.svg?style=flat-square :target: https://travis-ci.org/constverum/ProxyBroker .. image:: https://img.shields.io/pypi/wheel/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/ .. image:: https://img.shields.io/pypi/pyversions/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/ .. image:: https://img.shields.io/pypi/l/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/

ProxyBroker est un outil open source qui trouve de manière asynchrone des proxys publics à partir de multiples sources et les vérifie simultanément.

.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/index_find_example.gif

Fonctionnalités

• Trouve plus de 7 000 proxys fonctionnels provenant d'environ 50 sources.
• Protocoles supportés : HTTP(S), SOCKS4/5. Également la méthode CONNECT pour les ports 80 et 23 (SMTP).
• Les proxys peuvent être filtrés par type, niveau d'anonymat, temps de réponse, pays et statut dans DNSBL.
• Fonctionne comme un serveur proxy qui distribue les requêtes entrantes vers des proxys externes. Avec rotation automatique des proxys.
• Tous les proxys sont vérifiés pour le support des Cookies et Referer (et des requêtes POST si nécessaire).
• Supprime automatiquement les proxys en double.
• Est asynchrone.

.. * Enregistrer les proxys trouvés dans un fichier au format personnalisé.

Prérequis

• Python 3.5 ou supérieur
• aiohttp <https://pypi.python.org/pypi/aiohttp>_
• aiodns <https://pypi.python.org/pypi/aiodns>_
• maxminddb <https://pypi.python.org/pypi/maxminddb>_

Installation

Pour installer la dernière version stable depuis pypi :

.. code-block:: bash

$ pip install proxybroker

La dernière version de développement peut être installée directement depuis GitHub :

.. code-block:: bash

$ pip install -U git+https://github.com/constverum/ProxyBroker.git

Utilisation

Exemples CLI

Trouver
"""""""

Trouver et afficher 10 proxys HTTP(S) des États-Unis avec un niveau d'anonymat élevé :

.. code-block:: bash

    $ proxybroker find --types HTTP HTTPS --lvl High --countries US --strict -l 10

.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/cli_find_example.gif


Récupérer
"""""""""

Trouver et enregistrer dans un fichier 10 proxys US (sans vérification) :

.. code-block:: bash

    $ proxybroker grab --countries US --limit 10 --outfile ./proxies.txt

.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/cli_grab_example.gif


Servir
""""""

Exécuter un serveur proxy local qui distribue les requêtes entrantes vers un pool
de proxys HTTP(S) trouvés avec un niveau d'anonymat élevé :

.. code-block:: bash

    $ proxybroker serve --host 127.0.0.1 --port 8888 --types HTTP HTTPS --lvl High


.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/cli_serve_example.gif

| Exécutez ``proxybroker --help`` pour plus d'informations sur les options disponibles.
| Exécutez ``proxybroker <commande> --help`` pour plus d'informations sur une commande.


Exemple de code de base

Trouver et afficher 10 proxys HTTP(S) fonctionnels :

.. code-block:: python

import asyncio
from proxybroker import Broker

async def show(proxies):
    while True:
        proxy = await proxies.get()
        if proxy is None: break
        print('Found proxy: %s' % proxy)

proxies = asyncio.Queue()
broker = Broker(proxies)
tasks = asyncio.gather(
    broker.find(types=['HTTP', 'HTTPS'], limit=10),
    show(proxies))

loop = asyncio.get_event_loop()
loop.run_until_complete(tasks)

Plus d'exemples <https://proxybroker.readthedocs.io/en/latest/examples.html>_.

Documentation

https://proxybroker.readthedocs.io/

À FAIRE

• Vérifier le ping, le temps de réponse et la vitesse de transfert des données
• Vérifier l'accès aux sites (Google, Twitter, etc.) et même vos propres URL personnalisées
• Informations sur la disponibilité
• Somme de contrôle des données retournées
• Support de l'authentification proxy
• Trouver l'IP sortante pour le proxy en cascade
• La possibilité de spécifier l'adresse du proxy sans port (essayer de se connecter sur les ports par défaut)

Contribuer

• Forkez-le : https://github.com/constverum/ProxyBroker/fork
• Créez votre branche de fonctionnalité : git checkout -b my-new-feature
• Commitez vos modifications : git commit -am 'Ajouter une fonctionnalité'
• Poussez vers la branche : git push origin my-new-feature
• Soumettez une pull request !

Licence

Sous licence Apache License, Version 2.0

Ce produit inclut des données GeoLite2 créées par MaxMind, disponibles sur http://www.maxmind.com <http://www.maxmind.com>_.