river

River é uma biblioteca Python para aprendizado de máquina online. Seu objetivo é ser a biblioteca mais amigável para realizar aprendizado de máquina em dados de streaming. River é o resultado da fusão entre creme e scikit-multiflow.

⚡️ Início rápido

Como exemplo rápido, vamos treinar uma regressão logística para classificar o conjunto de dados de phishing de sites. Veja a primeira observação do conjunto de dados.

>>> from pprint import pprint
>>> from river import datasets

>>> dataset = datasets.Phishing()

>>> for x, y in dataset:
...     pprint(x)
...     print(y)
...     break
{'age_of_domain': 1,
 'anchor_from_other_domain': 0.0,
 'empty_server_form_handler': 0.0,
 'https': 0.0,
 'ip_in_url': 1,
 'is_popular': 0.5,
 'long_url': 1.0,
 'popup_window': 0.0,
 'request_from_other_domain': 0.0}
True

Agora vamos executar o modelo no conjunto de dados de forma streaming. Intercalamos sequencialmente as previsões e as atualizações do modelo. Enquanto isso, atualizamos uma métrica de desempenho para ver como o modelo está se saindo.

>>> from river import compose
>>> from river import linear_model
>>> from river import metrics
>>> from river import preprocessing

>>> model = compose.Pipeline(
...     preprocessing.StandardScaler(),
...     linear_model.LogisticRegression()
... )

>>> metric = metrics.Accuracy()

>>> for x, y in dataset:
...     y_pred = model.predict_one(x)      # make a prediction
...     metric.update(y, y_pred)           # update the metric
...     model.learn_one(x, y)              # make the model learn

>>> metric
Accuracy: 89.28%

Claro, este é apenas um exemplo artificial. Convidamos você a conferir a seção de introdução da documentação para um tutorial mais completo.

🛠 Instalação

River foi projetado para funcionar com Python 3.11 e superior. A instalação pode ser feita com pip:

pip install river

Existem wheels disponíveis para Linux, MacOS e Windows. Isso significa que muito provavelmente você não precisará compilar o River a partir do código-fonte.

A interface online principal do River (learn_one / predict_one) não possui dependência de pandas. A interface de mini-batch (learn_many, predict_many, predict_proba_many, transform_many) é construída sobre pandas e é opcional:

pip install "river[pandas]"

Você pode instalar a versão de desenvolvimento mais recente do GitHub assim:

pip install git+https://github.com/online-ml/river --upgrade
pip install git+ssh://[email protected]/online-ml/river.git --upgrade  # using SSH

Este método requer ter Cython e Rust instalados na sua máquina.

🔮 Recursos

River fornece implementações online das seguintes famílias de algoritmos:

• Modelos lineares, com uma ampla variedade de otimizadores
• Árvores de decisão e florestas aleatórias
• Vizinhos mais próximos (aproximados)
• Detecção de anomalias
• Detecção de drift
• Sistemas de recomendação
• Previsão de séries temporais
• Bandits
• Máquinas de fatoração
• Aprendizado desbalanceado
• Agrupamento
• Bagging/boosting/stacking
• Aprendizado ativo

River também fornece outras utilidades online:

• Extração e seleção de características
• Estatísticas e métricas online
• Pré-processamento
• Conjuntos de dados integrados
• Validação progressiva de modelos
• Pipelines de modelos

Confira a API para uma visão geral abrangente

🤔 Devo usar o River?

Você deve se perguntar se precisa de aprendizado de máquina online. A resposta provavelmente é não. Na maioria das vezes, o aprendizado em lote faz o trabalho muito bem. Uma abordagem online pode ser adequada se:

• Você quer um modelo que possa aprender com novos dados sem precisar revisitar dados passados.
• Você quer um modelo que seja robusto a concept drift.
• Você quer desenvolver seu modelo de uma forma mais próxima do que ocorre em um contexto de produção, que geralmente é baseado em eventos.

Algumas especificidades do River são que:

• Ele foca em clareza e experiência do usuário, mais do que em desempenho.
• É muito rápido ao processar uma amostra por vez. Experimente, você verá.
• Ele se integra bem com o restante do ecossistema Python.

🔗 Links úteis

• Documentação
• Lançamentos do pacote
• awesome-online-machine-learning
• Apresentação de 2022 na GAIA
• Online Clustering: Algorithms, Evaluation, Metrics, Applications and Benchmarking da KDD'22.

👐 Contribuindo

Sinta-se à vontade para contribuir da forma que preferir, estamos sempre abertos a novas ideias e abordagens.

• Abra uma discussão se você tiver qualquer dúvida ou pergunta. É mais útil fazer sua pergunta em público do que nos enviar um e-mail privado. Também é encorajado abrir uma discussão antes de contribuir, para que todos estejam alinhados e trabalho desnecessário seja evitado.
• Sinta-se à vontade para abrir uma issue se você acha que encontrou um bug ou um problema de desempenho.
• Nosso roadmap é público. Sinta-se à vontade para trabalhar em qualquer coisa que chame sua atenção, ou para fazer sugestões.

Por favor, confira as diretrizes de contribuição se você quiser trazer modificações para a base de código.

🤝 Afiliações

💬 Citação