ProxyBroker

.. image:: https://img.shields.io/pypi/v/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/ .. image:: https://img.shields.io/travis/constverum/ProxyBroker.svg?style=flat-square :target: https://travis-ci.org/constverum/ProxyBroker .. image:: https://img.shields.io/pypi/wheel/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/ .. image:: https://img.shields.io/pypi/pyversions/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/ .. image:: https://img.shields.io/pypi/l/proxybroker.svg?style=flat-square :target: https://pypi.python.org/pypi/proxybroker/

ProxyBroker é uma ferramenta de código aberto que encontra de forma assíncrona proxies públicos de várias fontes e os verifica simultaneamente.

.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/index_find_example.gif

Funcionalidades

• Encontra mais de 7000 proxies funcionais de ~50 fontes.
• Protocolos suportados: HTTP(S), SOCKS4/5. Também o método CONNECT para as portas 80 e 23 (SMTP).
• Os proxies podem ser filtrados por tipo, nível de anonimato, tempo de resposta, país e status em DNSBL.
• Funciona como um servidor proxy que distribui requisições recebidas para proxies externos. Com rotação automática de proxies.
• Todos os proxies são verificados para suportar Cookies e Referer (e requisições POST, se necessário).
• Remove automaticamente proxies duplicados.
• É assíncrono.

.. * Salva proxies encontrados em um arquivo em formato personalizado.

Requisitos

• Python 3.5 ou superior
• aiohttp <https://pypi.python.org/pypi/aiohttp>_
• aiodns <https://pypi.python.org/pypi/aiodns>_
• maxminddb <https://pypi.python.org/pypi/maxminddb>_

Instalação

Para instalar a última versão estável do pypi:

.. code-block:: bash

$ pip install proxybroker

A versão de desenvolvimento mais recente pode ser instalada diretamente do GitHub:

.. code-block:: bash

$ pip install -U git+https://github.com/constverum/ProxyBroker.git

Uso

Exemplos de CLI

Encontrar
"""""""""

Encontra e mostra 10 proxies HTTP(S) dos Estados Unidos com alto nível de anonimato:

.. code-block:: bash

    $ proxybroker find --types HTTP HTTPS --lvl High --countries US --strict -l 10

.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/cli_find_example.gif


Capturar
""""""""

Encontra e salva em um arquivo 10 proxies dos EUA (sem verificação):

.. code-block:: bash

    $ proxybroker grab --countries US --limit 10 --outfile ./proxies.txt

.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/cli_grab_example.gif


Servir
""""""

Executa um servidor proxy local que distribui requisições recebidas para um pool
de proxies HTTP(S) encontrados com alto nível de anonimato:

.. code-block:: bash

    $ proxybroker serve --host 127.0.0.1 --port 8888 --types HTTP HTTPS --lvl High


.. image:: https://raw.githubusercontent.com/constverum/ProxyBroker/master/docs/source/_static/cli_serve_example.gif

| Execute ``proxybroker --help`` para mais informações sobre as opções disponíveis.
| Execute ``proxybroker <comando> --help`` para mais informações sobre um comando.


Exemplo básico de código

Encontra e mostra 10 proxies HTTP(S) funcionando:

.. code-block:: python

import asyncio
from proxybroker import Broker

async def show(proxies):
    while True:
        proxy = await proxies.get()
        if proxy is None: break
        print('Found proxy: %s' % proxy)

proxies = asyncio.Queue()
broker = Broker(proxies)
tasks = asyncio.gather(
    broker.find(types=['HTTP', 'HTTPS'], limit=10),
    show(proxies))

loop = asyncio.get_event_loop()
loop.run_until_complete(tasks)

Mais exemplos <https://proxybroker.readthedocs.io/en/latest/examples.html>_.

Documentação

https://proxybroker.readthedocs.io/

TODO

• Verificar o ping, tempo de resposta e velocidade de transferência de dados
• Verificar acesso a sites (Google, Twitter, etc) e até mesmo URLs personalizados
• Informações sobre tempo de atividade
• Checksum dos dados retornados
• Suporte para autenticação de proxy
• Encontrar IP de saída para proxy em cascata
• A capacidade de especificar o endereço do proxy sem porta (tentar conectar nas portas padrão)

Contribuindo

• Faça um fork: https://github.com/constverum/ProxyBroker/fork
• Crie seu branch de funcionalidade: git checkout -b my-new-feature
• Commit suas alterações: git commit -am 'Add some feature'
• Envie para o branch: git push origin my-new-feature
• Envie um pull request!

Licença

Licenciado sob a Apache License, Version 2.0

Este produto inclui dados GeoLite2 criados pela MaxMind, disponíveis em http://www.maxmind.com <http://www.maxmind.com>_.