ProxyBroker

.. image:: https://img.shields.io/pypi/v/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/ .. image:: https://img.shields.io/travis/constverum/ProxyBroker.svg?style=flat-square :target: https://travis-ci.org/constverum/ProxyBroker .. image:: https://img.shields.io/pypi/wheel/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/ .. image:: https://img.shields.io/pypi/pyversions/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/ .. image:: https://img.shields.io/pypi/l/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/

ProxyBroker ist ein Open-Source-Tool, das asynchron öffentliche Proxys aus mehreren Quellen findet und sie gleichzeitig überprüft.

.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/index_find_example.gif

Funktionen

• Findet mehr als 7000 funktionierende Proxys aus ~50 Quellen.
• Unterstützt Protokolle: HTTP(S), SOCKS4/5. Auch CONNECT-Methode für Ports 80 und 23 (SMTP).
• Proxys können nach Typ, Anonymitätsstufe, Antwortzeit, Land und Status in DNSBL gefiltert werden.
• Arbeitet als Proxyserver, der eingehende Anfragen an externe Proxys verteilt. Mit automatischer Proxy-Rotation.
• Alle Proxys werden auf Unterstützung von Cookies und Referer (und ggf. POST-Anfragen) überprüft.
• Entfernt automatisch doppelte Proxys.
• Ist asynchron.

.. * Save found proxies to a file in custom format.

Anforderungen

• Python 3.5 oder höher
• aiohttp <https://pypi.python.org/pypi/aiohttp>_
• aiodns <https://pypi.python.org/pypi/aiodns>_
• maxminddb <https://pypi.python.org/pypi/maxminddb>_

Installation

Um die letzte stabile Version von pypi zu installieren:

.. code-block:: bash

$ pip install proxybroker

Die neueste Entwicklungsversion kann direkt von GitHub installiert werden:

.. code-block:: bash

$ pip install -U git+https://github.com/constverum/ProxyBroker.git

Verwendung

CLI-Beispiele

Suchen
""""""

Finde und zeige 10 HTTP(S)-Proxys aus den USA mit hoher Anonymitätsstufe an:

.. code-block:: bash

    $ proxybroker find --types HTTP HTTPS --lvl High --countries US --strict -l 10

.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/cli_find_example.gif


Sammeln
"""""""

Finde und speichere 10 US-Proxys in einer Datei (ohne Überprüfung):

.. code-block:: bash

    $ proxybroker grab --countries US --limit 10 --outfile ./proxies.txt

.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/cli_grab_example.gif


Bereitstellen
"""""""""""""

Führe einen lokalen Proxyserver aus, der eingehende Anfragen an einen Pool von gefundenen HTTP(S)-Proxys mit hoher Anonymitätsstufe verteilt:

.. code-block:: bash

    $ proxybroker serve --host 127.0.0.1 --port 8888 --types HTTP HTTPS --lvl High


.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/cli_serve_example.gif

| Führe ``proxybroker --help`` aus, um weitere Informationen zu den verfügbaren Optionen zu erhalten.
| Führe ``proxybroker <Befehl> --help`` aus, um weitere Informationen zu einem Befehl zu erhalten.


Grundlegendes Codebeispiel

Finde und zeige 10 funktionierende HTTP(S)-Proxys an:

.. code-block:: python

import asyncio
from proxybroker import Broker

async def show(proxies):
    while True:
        proxy = await proxies.get()
        if proxy is None: break
        print('Found proxy: %s' % proxy)

proxies = asyncio.Queue()
broker = Broker(proxies)
tasks = asyncio.gather(
    broker.find(types=['HTTP', 'HTTPS'], limit=10),
    show(proxies))

loop = asyncio.get_event_loop()
loop.run_until_complete(tasks)

Weitere Beispiele <https://proxybroker.readthedocs.io/en/latest/examples.html>_.

Dokumentation

https://proxybroker.readthedocs.io/

TODO

• Überprüfen von Ping, Antwortzeit und Geschwindigkeit der Datenübertragung
• Überprüfen des Zugriffs auf Websites (Google, Twitter usw.) und sogar auf eigene benutzerdefinierte URLs
• Informationen zur Betriebszeit
• Prüfsumme der zurückgegebenen Daten
• Unterstützung für Proxy-Authentifizierung
• Ermitteln der ausgehenden IP für kaskadierende Proxys
• Die Möglichkeit, die Adresse des Proxys ohne Port anzugeben (versuchen, auf Standardports zu verbinden)

Mitwirken

• Forke es: https://github.com/constverum/ProxyBroker/fork
• Erstelle einen Feature-Branch: git checkout -b my-new-feature
• Commite deine Änderungen: git commit -am 'Add some feature'
• Pushe zum Branch: git push origin my-new-feature
• Reiche einen Pull-Request ein!

Lizenz

Lizenziert unter der Apache License, Version 2.0

Dieses Produkt enthält GeoLite2-Daten, die von MaxMind erstellt wurden und unter http://www.maxmind.com <http://www.maxmind.com>_ verfügbar sind.