Skip to content
KitploitKITPLOIT
FerramentasBlog
Enviar
FerramentasBlog
Enviar

Ferramentas de Hacking, PenTest e Cibersegurança para o seu Arsenal de Segurança!

Kitploit é um diretório de ferramentas de hacking, cibersegurança e pentesting. Descubra as últimas atualizações de projetos para encontrar vulnerabilidades, analisar sistemas, automatizar testes e fortalecer sua segurança.

··Feeds·Contato·Privacidade·© 2026 Kitploit

Diretório de Ferramentas

Categorias

Ver todas as categorias
Loading categories
professional-services — Coleção de exemplos de soluções do Google Cloud e utilitários operacionais para monitoramento de logs de auditoria, desidentificação de DLP, gerenciamento de chaves de criptografia e padrões de IAM. | Kitploit
Ferramentas/GitHubGitHub/googlecloudplatform/professional-services
Utilitários de Propósito GeralCriptografiaSegurança na NuvemPrivacidadeGerenciamento de Identidade e Acesso (IAM)Detecção de AnomaliasAnálise de Logs
GitHubgooglecloudplatform/professional-services

Mais Populares

Ver todos →

Descubra as ferramentas mais usadas pela nossa comunidade.

Explore todas as ferramentas

Navegue pela nossa coleção de ferramentas

Ver todas as ferramentas →
Compartilhar

professional-services

Coleção de exemplos de soluções do Google Cloud e utilitários operacionais para monitoramento de logs de auditoria, desidentificação de DLP, gerenciamento de chaves de criptografia e padrões de IAM.

Ver Repositório
3.1k1.5khá 2 diasRevisado pelo Kitploit

Serviços Profissionais

Soluções e ferramentas comuns desenvolvidas pela equipe de Serviços Profissionais do Google Cloud.

Aviso Legal

Este repositório e seu conteúdo não são um produto do Google oficialmente suportado.

Licença

Todas as soluções neste repositório são fornecidas sob a licença Apache 2.0. Consulte o arquivo LICENSE para obter termos e condições mais detalhados.

Open in Cloud Shell

Exemplos

A pasta examples contém soluções de exemplo em uma variedade de produtos do Google Cloud Platform. Use essas soluções como referência para as suas próprias ou estenda-as para atender ao seu caso de uso específico.* Anthos Service Mesh Multi-Cluster - Solução para federar dois clusters privados do GKE usando o Anthos Service Mesh.

  • Anthos CICD with Gitlab - Um guia passo a passo para criar uma solução de CI/CD de exemplo usando Anthos e Gitlab.
  • Audio Content Profiling - Uma ferramenta que cria um pipeline para escalar o processo de moderação de arquivos de áudio com conteúdo inapropriado usando APIs de machine learning.
  • Bigdata generator - Solução que gera grandes quantidades de dados para teste de estresse em soluções de bigdata (ex.: BigQuery). Para cada campo que você deseja gerar, é possível especificar regras para gerar seus valores. Os dados gerados podem ser armazenados no BigQuery ou no GCS (Avro, CSV).
  • BigQuery Analyze Realtime Reddit Data - Solução para implantar uma arquitetura de coleta de dados de mídia social (reddit) no Google Cloud Platform. Analisa comentários do reddit em tempo real e fornece processamento de linguagem natural / análise de sentimento gratuito.
  • BigQuery Audit Log Dashboard - Solução para ajudar a auditar o uso do BigQuery usando o Data Studio para visualização e um script SQL de exemplo para consultar a fonte de dados de back-end composta por logs de auditoria.
  • BigQuery Audit Log Anomaly Detection - Exemplo de uso de logs de auditoria do BigQuery para detecção automatizada de anomalias e análise de outliers. Gera gráficos amigáveis para uma análise rápida do ambiente bq.
  • BigQuery Automated Email Exports - Solução serverless para automatizar o envio dos resultados de exportação do BigQuery por e-mail em um intervalo agendado. O e-mail conterá um link para uma URL assinada ou não assinada, permitindo que o destinatário visualize os resultados da consulta como um arquivo JSON, CSV ou Avro.
  • BigQuery Automated Schema Management - Utilitário de linha de comando para provisionamento e gerenciamento automatizados de datasets e tabelas do BigQuery.
  • BigQuery Billing Dashboard - Solução para ajudar a exibir informações de faturamento usando o Data Studio para visualização e um script SQL de exemplo para consultar a tabela de exportação de faturamento de back-end no BigQuery.
  • BigQuery Cross Project Slot Monitoring - Solução para ajudar a monitorar a utilização de slots em vários projetos, com detalhamento da alocação por projeto.
  • BigQuery Data Consolidator - Solução para consolidar dados dentro de uma organização, de vários projetos em um único Dataset/Tabela de destino, onde todas as tabelas de origem têm o mesmo esquema (como Exportações de Faturamento!); especificamente útil para consolidação de dados e relatórios adicionais em projetos de Cloud FinOps.
  • BigQuery DDL Validator - Um utilitário que lê o Legacy DDL e o compara com o DDL extraído anteriormente e produz uma saída com o nome dos objetos em que o DDL não é mais correspondente.
  • BigQuery Group Sync For Row Level Access - Código de exemplo para sincronizar a associação a grupos do G Suite/Cloud Identity no BigQuery e juntar isso aos seus dados para controlar o acesso no nível da linha.
  • BigQuery Long Running Optimization Utility - Um utilitário que lê todo o SQL e fornece uma lista de sugestões que ajudam a otimizar a consulta e evitar problemas de execução prolongada.
  • BigQuery Oracle DDL Migration Utility - Utilitário de migração de DDL do Oracle para migrar o esquema das tabelas (DDL) do Oracle DB para o BigQuery. O utilitário usa a BigQuery Translation API e oferece recursos adicionais, como adição de particionamento, clustering, colunas de metadados e prefixos aos nomes das tabelas.
  • BigQuery Pipeline Utility - Classe utilitária em Python para definir pipelines de dados no BigQuery.
  • BigQuery Remote Function - Permite que o usuário implemente serviços ou bibliotecas personalizados em linguagens diferentes de SQL ou Javascript que não fazem parte de UDFs. O utilitário contém código Java de exemplo em formato de string para implantar uma instância do Cloud Run gen2 e invocar o serviço a partir do BigQuery usando função remota.
  • BigQuery Amazon S3 Migration Tool - Ferramenta de migração do BigQuery para transferir dados de arquivos no Amazon S3 para Tabelas do BigQuery com base na configuração fornecida.
  • BigQuery Snowflake TabRle Migration Tool - A ferramenta de migração de tabelas do BigQuery Snowflake ajuda a migrar os DDLs das tabelas do Snowflake para o BigQuery. O utilitário usa a BigQuery Translation API e oferece recursos adicionais, como adição de particionamento, clustering, colunas de metadados e prefixos aos nomes das tabelas.
  • BigQuery Table Access Pattern Analysis - Código de exemplo para analisar pontos de otimização de pipelines de dados, identificando agendamentos de pipeline abaixo do ideal entre tabelas em um job de ELT de data warehouse.
  • BigQuery Tink Toolkit - Classe utilitária em Python para trabalhar com criptografia baseada em Tink em sistemas on-premise ou GCP de uma forma interoperável com a criptografia em nível de campo do BigQuery. Inclui um job PySpark de exemplo e um script para gerar e enviar keysets Tink criptografados com KMS para o BigQuery.
  • BigQuery to XML Export - Ferramenta Python que recebe uma consulta do BigQuery e retorna a saída como uma string XML.
  • BigQuery Translation Validator - Um utilitário Python para comparar 2 arquivos SQL e apontar diferenças básicas como nomes de colunas, nomes de tabelas, joins, nomes de funções, is-Null e sintaxe de consulta.
  • BigQuery Generic DDL Migration Utility - Utilitário genérico de migração de DDL para migrar o esquema das tabelas (DDL) de bancos de dados (Oracle, Snowflake, MSSQL, Vertica, Neteeza) para o BigQuery. O utilitário usa a BigQuery Translation API e oferece recursos adicionais, como adição de particionamento, clustering, colunas de metadados e prefixos aos nomes das tabelas.
  • Bigtable Dataflow Cryptocurrencies Exchange RealTime Example - Exemplo de Apache Beam que lê da WebSocket API das Exchanges de Criptomoedas como pipeline do Google Cloud Dataflow e salva o feed no Google Cloud Bigtable. Exemplos de visualização e consulta em tempo real do Bigtable do GCP executados no servidor Flask estão incluídos.
  • Bigtable Dataflow Update Table Key Pipeline - Pipeline do Dataflow com um exemplo de como atualizar a chave de uma tabela existente. Funciona com qualquer tabela, independentemente do esquema. Mostra como atualizar a chave de uma tabela com dados existentes para testar diferentes alternativas de melhoria de desempenho.
  • Carbon Footprint Reporting - Exemplo de uso do template pré-construído do Data Studio e Looker para analisar as Estimativas de Pegada de Carbono do GCP.
  • Cloud Audit Log Samples - Uma coleção de exemplo de Logs de Auditoria para Usuários e Clientes entenderem melhor a estrutura, o conteúdo e os valores contidos em vários eventos de log.
  • Cloud Build Application CICD Examples - Exemplos de CI/CD com Cloud Build para aplicações como conteinerização e implantação no Cloud Run.
  • Cloud Build with Proxy Running in Background - Exemplos de cloudbuild com docker-compose executando proxy tcp em segundo plano para todas as etapas de build.
  • Cloud Composer CI/CD - Exemplos de uso do Cloud Build para implantar DAGs do Airflow no Cloud Composer.
  • Cloud Composer Deployment in Shared VPC - Código Terraform para implantar o Cloud Composer em um ambiente de VPC compartilhada.
  • Cloud Composer Dependency Management - Exemplo de gerenciamento de dependências do Cloud Composer projetado para orquestrar dependências complexas de tarefas no Apache Airflow, o que aborda o desafio de gerenciar relacionamentos de DAGs pai-filho em diferentes frequências temporais (anual, mensal, semanal etc.)
  • Cloud Composer Examples - Exemplos de uso do Cloud Composer, o serviço gerenciado Apache Airflow do GCP.
  • Cloud Data Fusion Functions and Plugins - Exemplos de Funções e Plugins do Cloud Data Fusion.
  • Cloud DNS load balancing - Configuração de HA multi-região para VMs do GCE e aplicações baseadas em Cloud Run utilizando balanceamento de carga do Cloud DNS e vários tipos de balanceadores de carga do Google Cloud.
  • Cloud DNS public zone monitoring - Visualização de dados de consultas de zona pública do Cloud DNS usando métricas baseadas em logs e o Cloud Monitoring.
  • Cloud Function Act As - Exemplo de execução de uma Cloud Function em nome e com as permissões de IAM do chamador do GitHub Workload Identity.
  • Cloud Function VM Delete Event Handler Example - Solução para excluir automaticamente registros A no Cloud DNS quando uma VM é excluída. Esta solução implementa uma Google Cloud Function Background Function acionada por eventos compute.instances.delete publicados por meio do Stackdriver Logs Export.
  • Certificate Authority Service Hierarchy - Pools de CA e CAs do Certificate Authority Service, raiz e subordinada, com exemplos para validação de propriedade de domínio e script de exemplo para teste de carga.
  • Cloud Run to BQ - Solução para aceitar eventos/dados em um endpoint REST HTTP e inseri-los no BQ.
  • Cloud Run CRL Monitor - Solução baseada em Cloud Run para monitoramento contínuo de endpoints de distribuição de CRL, incluindo verificação de validade da CRL e alertas.
  • Cloud SQL Custom Metric - Um exemplo de criação de uma métrica personalizada do Stackdriver para monitorar o consumo de IP do Cloud SQL Private Services.
  • Cloud Support API - Código de exemplo usando a Cloud Support API
  • CloudML Bank Marketing - Notebook para criação de um modelo de classificação para marketing usando CloudML.
  • CloudML Bee Health Detection - Detecta se uma abelha está doente com base em uma imagem dela e de sua subespécie.
  • CloudML Churn Prediction - Prever a propensão dos usuários a churn usando Análise de Sobrevivência.
  • CloudML Customer Support and Complaint Handling - Pipeline BigQuery + AutoML que classifica reclamações de clientes com base na resolução esperada; adaptável a outros casos de uso de comunicações de suporte.
  • CloudML Deep Collaborative Filtering - Recomendar músicas com base em um usuário ou em uma música.
  • CloudML Energy Price Forecasting - Previsão do preço futuro de energia com base no preço histórico e no clima.
  • CloudML Fraud Detection - Modelo de detecção de fraudes para transações com cartões de crédito.
  • CloudML Scikit-learn Pipeline - Este é um exemplo de criação de um treinador de pipeline de machine learning baseado em scikit-learn que pode ser executado no AI Platform. O pipeline pode ser treinado localmente ou remotamente no AI Platform. O modelo treinado pode ser implantado no AI Platform para atender tráfego online.
  • CloudML Sentiment Analysis - Análise de sentimento para críticas de filmes usando TensorFlow RNNEstimator.
  • CloudML TensorFlow Profiling - Exemplos de profiling do TensorFlow para treinar modelos com CloudML
  • 🚀 Creative Studio - O Creative Studio é uma plataforma abrangente de IA Generativa, tudo-em-um, projetada como uma solução implantável para o seu próprio projeto do Google Cloud. Serve como uma implementação de referência poderosa e um conjunto criativo, exibindo todo o espectro dos modelos de IA generativa de última geração do Google no Vertex AI. Desenvolvido para criadores, profissionais de marketing e desenvolvedores, este aplicativo oferece uma experiência prática e interativa com recursos multimodais de ponta.
  • Data Generator - Gera dados aleatórios com um esquema personalizado em escala para testes de integração ou demonstrações.
  • Dataflow BigQuery Transpose Example - Um pipeline de exemplo para transpor/pivotar/girar uma tabela do BigQuery.
  • Dataflow Custom Templates Example - Um exemplo que demonstra como criar templates personalizados do Dataflow.
  • Dataflow Elasticsearch Indexer - Um pipeline de exemplo que demonstra o processo de leitura de documentos JSON do Cloud Pub/Sub, enriquecimento do documento usando metadados armazenados no Cloud Bigtable e indexação desses documentos no Elasticsearch.
  • Dataflow BigQuery to AlloyDB - Exemplo que mostra como mover dados do BigQuery para uma tabela AlloyDB usando Dataflow.
  • Dataflow Flex Template in Restricted Networking Env - Exemplo que implementa um flex template Python que pode ser executado em um ambiente onde os workers não podem baixar pacotes Python devido a restrições de tráfego de egress.
  • Dataflow Python Examples - Vários exemplos de ETL usando o SDK Python do Dataflow.
  • Dataflow Streaming Benchmark - Utilitário para publicar mensagens JSON falsas e aleatórias em um tópico do Cloud Pub/Sub a um QPS configurado.
  • Dataflow Streaming Schema Changes Handler - Exemplo de Dataflow para lidar com mudanças de esquema usando imposição de esquema e abordagem DLT
  • Dataflow Streaming XML to GCS - Exemplo de Dataflow para lidar com streaming de mensagens codificadas em XML e gravá-las no Google Cloud Storage
  • Dataflow – DLP Flex De-ID (CSV from GCS to BigQuery) - Flex Template do Dataflow que processa linhas de CSV em lote do Cloud Storage, desidentifica com a Sensitive Data Protection (DLP) e grava no BigQuery.
  • Dataflow DLP Hashpipeline - Corresponde os resultados de números de Seguro Social (SSN) da DLP a um dicionário com hash no Firestore. Use o Secret Manager para a chave de hash.
  • Dataflow Template Pipelines - Pipelines de template do Dataflow pré-implementados para resolver tarefas comuns de dados no Google Cloud Platform.
  • Dataflow Production Ready - Implementação de referência para boas práticas em torno de Beam, estruturação de pipelines, testes e implantação contínua.
  • Dataflow XML to BigQuery - Exemplo de carregamento de dados XML no BigQuery com Dataflow via XMLIO.
  • Data Loss Prevention hybrid inspection for MongoDB - Uma Cloud Function usando MongoDB Change Streams que utiliza a API de inspeção híbrida de Data Loss Prevention da Sensitive Data Protection em tempo quase real.
  • Dataproc Spanner - Cluster Dataproc gravando no Spanner usando Apache Spark em Scala.
  • Dataproc GCS Connector - Instale e teste recursos não lançados no GCS Connector para Dataproc.
  • Dataproc Job Optimization Guide - Guia passo a passo para otimizar um Job do Dataproc de exemplo.
  • Dataproc Persistent History Server for Ephemeral Clusters - Exemplo de gravação de logs de um cluster efêmero no GCS e uso de um cluster separado de nó único para visualizar as UIs de histórico do Spark e do YARN.
  • Dataproc Lifecycle Management via Composer - Gerenciamento de ciclo de vida do Dataproc efêmero e otimização de recursos via Composer, template Terraform para implantar o Composer e requisitos adicionais, DAGs gerados dinamicamente a partir de arquivos de configuração de jobs.
  • Dataproc Running Notebooks - Orquestração do workflow de execução de Jupyter Notebooks em um cluster Dataproc via job PySpark
  • dbt-on-cloud-composer - Exemplo de uso do dbt para gerenciar pipelines de dados do BigQuery, utilizando o Cloud Composer para executar e agendar as execuções do dbt.
  • Data Format Description Language (DFDL) Processesor with Firestore and Pubsub - Exemplo para processar um binário usando definição DFDL e bibliotecas Daffodil. A definição DFDL é armazenada no Firestore, a solicitação de processamento é feita por meio de uma assinatura do Pub/Sub e a saída é publicada em formato JSON em um tópico do Pub/Sub.
  • Data Format Description Language (DFDL) Processesor with Bigtable and Pubsub - Exemplo para processar um binário usando definição DFDL e bibliotecas Daffodil. A definição DFDL é armazenada no Bigtable, a solicitação de processamento é feita por meio de uma assinatura do Pub/Sub e a saída é publicada em formato JSON em um tópico do Pub/Sub.
  • Dialogflow Webhook Example - Exemplo de webhook para o Dialogflow em Python.
  • Dialogflow CX Private Webhook Example - Exemplo de webhook para o Dialogflow CX em Python.
  • Dialogflow Middleware Example - Exemplo de middleware Dialogflow em Java.
  • Dialogflow Entities Creation and Update - Criação e atualização de entidades para o Dialogflow em Python.
  • DLP API Examples - Exemplos de uso da API DLP.
  • Ephemeral Projects - Criação de projetos GCP de curta duração para fins de sandbox.
  • FinOps Agent - Um agente FinOps multiagente que traduz linguagem natural para SQL do BigQuery para analisar dados de faturamento em nuvem e aplicar governança corporativa.
  • GCE Access to Google AdminSDK - Exemplo para ajudar a gerenciar o acesso ao AdminSDK do Google usando a identidade da conta de serviço do GCE
  • GCS Client Side Encryption via Sidecar - Exemplo para mostrar como implementar criptografia do lado do cliente do GCS por meio de um sidecar
  • GCS Hive External Table File Optimization - Solução de exemplo para demonstrar o impacto do número de arquivos, do tamanho dos arquivos e do tipo de arquivo em tabelas externas do Hive e nas velocidades de consulta.
  • GCS to BQ using serverless services - Exemplo para ingerir dados do GCS no BigQuery usando serviços serverless como Cloud Function, Pub/Sub e Serverless Spark.
  • GDCE Terraform Example - Exemplo de provisionamento de recursos GDCE usando Terraform.
  • GKE Control Plane Authority - Exemplo para executar controles avançados com traga suas próprias chaves e autoridades de certificação e logs relacionados para funções do plano de controle
  • GKE HA setup using spot VMs - Exemplo para executar uma aplicação com requisitos de alta disponibilidade em nós spot do GKE usando nós on-demand como fallback
  • Grpc Server connected to Spanner Database - Exemplo básico de um servidor Grpc conectado a um banco de dados Spanner.
  • Grpc Server connected to Redis - Exemplo básico de um servidor Grpc conectado ao Redis.
  • Gitlab KAS agent for GKE - Solução Terraform para implantar um agente Gitlab KAS para sincronizar implantações de contêineres de repositórios Gitlab em um cluster GKE
  • Home Appliance Status Monitoring from Smart Power Readings - Um sistema de demonstração de ponta a ponta com um conjunto de produtos do Google Cloud Platform, como IoT Core, ML Engine, BigQuery, etc.
  • IAM Deny Policies with Terraform - Demonstra o uso de IAM Deny e Organization Policies para impor salvaguardas de segurança.
  • IAP User Profile - Um exemplo para recuperar o perfil do usuário de uma aplicação GAE habilitada para IAP.
  • IoT Nirvana - Uma arquitetura de Internet das Coisas de ponta a ponta executando no Google Cloud Platform.
  • Kubeflow Pipelines Sentiment Analysis - Crie um componente e pipelines do Kubeflow Pipelines para analisar o sentimento de manchetes da primeira página do New York Times usando Cloud Dataflow (Apache Beam Java) e a Cloud Natural Language API.
  • Kubeflow Fairing Example - Fornece três notebooks para demonstrar o uso do Kubeflow Fairing para treinar jobs de machine learning (Scikit-Learn, XGBoost, Tensorflow) localmente ou na nuvem (treinamento no AI Platform ou cluster Kubeflow).
  • Left-Shift Validation Pre-Commit Hook - Um exemplo que usa um conjunto de scripts Bash para configurar um hook de pre-commit que valida recursos Kubernetes com constraints do Gatekeeper e constraint templates de fontes de sua escolha.
  • Gemini Live Multimodal Avatar - Um blueprint empresarial para assistentes humanos digitais em tempo real e de baixa latência. Construído com a Gemini Live API (Multimodal Live), oferece avatares de vídeo sincronizados, streaming de áudio em tempo real e integração extensível de ferramentas usando o Model Context Protocol (MCP).
  • LookerStudio Cost Optimization Dashboard - Scripts SQL para ajudar a criar o dashboard de Otimização de Custos no LookerStudio.
  • Migrate Kafka to GMK using MM2 - Código Terraform para implantar recursos e migrar dados entre dois clusters do Google Managed Kafka usando MirrorMaker2
  • Personal Workbench Notebooks Deployer - Módulos de exemplo do Terraform para provisionar o Dataproc Hub usando clusters com autenticação pessoal e notebooks gerenciados do workbench para usuários analíticos individuais.
  • Project factory with Terragrunt - Implementa um padrão de project factory State-Scalable para criar projetos do Google Cloud Platform usando Terragrunt e módulos públicos do Terraform
  • Python CI/CD with Cloud Builder and CSR - Exemplo que usa Cloud Builder e Cloud Source Repositories para automatizar testes e linting.
  • Pub/Sub Client Batching Example - Batching na API de cliente Java do Pub/Sub.
  • QAOA - Exemplos de parsing de um problema max-SAT em um formato proprietário, para o Quantum Approximate Optimization Algorithm (QAOA)
  • React single-page app on Cloud Run + Cloud Storage - Exemplo de ponta a ponta de implantação de uma SPA React em serviços serverless do Google Cloud.
  • Redis Cluster on GKE Example - Implantando cluster Redis no GKE.
  • Risk Analysis Asset - Implantação da ferramenta de análise de risco de confiabilidade no Cloud Run.
  • slo-assistant - Consultor de SLO com IA para Site Reliability Engineering automatizada
  • Spanner Interleave Subquery - Código de exemplo para benchmark das subconsultas do Cloud Spanner para tabelas interleaved.
  • Spanner Change Stream to BigQuery using Dataflow - Código Terraform para implantar o change stream do Spanner e publicar alterações no BigQuery usando um Dataflow Streaming Job.
  • Spinnaker - Pipelines de exemplo para um processo de implantação Canary / Produção.
  • STS Metrics from STS Notification - Código de exemplo para gerar métricas personalizadas a partir da notificação do STS.
  • TensorFlow Serving on GKE and Load Testing - Exemplos de como implementar inferência de modelos TensorFlow no GKE e realizar teste de carga dessa solução.
  • TensorFlow Unit Testing - Exemplos de como escrever testes unitários para modelos de ML do TensorFlow.
  • Terraform Internal HTTP Load Balancer - Exemplo de Terraform mostrando como implantar um balanceador de carga HTTP interno.
  • Terraform NetApp CVS - Este exemplo mostra como implantar volumes NetApp CVS usando Terraform.
  • Terraform Resource Change Policy Library - Contém uma biblioteca de políticas escritas no OPA Constraint Framework para serem usadas pelo gcloud beta terraform vet para validar alterações de recursos do Terraform em um pipeline de CI/CD.
  • Uploading files directly to Google Cloud Storage by using Signed URL - Arquitetura de exemplo para permitir o upload de arquivos diretamente para o GCS usando Signed URL.
  • TSOP object transfer Log prosessor - Este exemplo mostra como registrar logs de transferência de objetos do TSOP no Cloud Logging.
  • GCS CSV files to BigQuery - Este exemplo mostra como carregar arquivos em formato CSV armazenados no GCS para tabelas do BigQuery. Os arquivos podem estar descompactados ou compactados em formatos como Bzip2, GZIP etc. Consulte https://beam.apache.org/releases/javadoc/current/org/apache/beam/sdk/io/Compression.html para obter a lista de métodos de compactação suportados.
  • MCP Toolbox & Claude Integration - Um agente GenAI especializado em reservas de hotel para Slack, construído com Spring Boot AI, BigQuery, CloudRun, MCP Toolbox e Claude LLM.## Tools

A pasta tools contém utilitários prontos que podem simplificar o uso do Google Cloud Platform.* agent-eval - Um passo a passo de CLI com acompanhamento próximo do Vertex AI Generative AI Evaluation Service para agentes ADK. Conduz todo o ciclo de avaliação — configura o GCP, estrutura métricas + dataset, coleta traces (UserSim multi-turn + DIY single-turn), pontua com o client.evals.evaluate() do Vertex e gera um relatório HTML autocontido com diagnóstico escrito pelo Gemini. Apresenta métricas determinísticas (tokens, custo, latência, cache hit, razão de raciocínio) juntamente com métricas de LLM-como-juiz, para que você veja qualidade de código e custo de execução na mesma página.

  • Agile Machine Learning API - Uma aplicação web que oferece a capacidade de treinar e implantar modelos de ML no Google Cloud Machine Learning Engine e visualizar os resultados previstos usando LIME por meio de uma simples requisição post.
  • Airflow DAG Metadata Generator - Use os modelos generativos do Google para analisar DAGs do Airflow e complementá-los com valores gerados de description, tags e doc_md.
  • Airflow States Collector - Uma ferramenta que cria e envia um dag do airflow para a pasta GCS de dags. O dag coleta incrementalmente os estados das tasks do airflow e os armazena no BQ. Ela também gera automaticamente um dashboard do LookerStudio que consulta a view do BQ.
  • Airpiler - Um script Python para converter arquivos JIL do Autosys para o formato dag-factory, para execução no Cloud Composer (ambiente gerenciado de airflow).
  • Ansible Module for Anthos on Bare Metal - Módulo Ansible para instalação do Anthos on Bare Metal
  • Anthos Bare Metal Installer - Um playbook ansible que pode ser usado para instalar o Anthos Bare Metal.
  • Apache Beam Client Throttling - Uma biblioteca que pode ser usada para limitar o número de requisições de um pipeline do Apache Beam a um serviço externo. Ela mantém requisições em buffer para não sobrecarregar o serviço externo e ativa o throttling no lado do cliente quando o serviço começa a rejeitar requisições devido a erros de cota excedida.

Veja as instruções de contribuição para começar a contribuir.

Contato

Perguntas, problemas e comentários devem ser direcionados para [email protected].

Baixar ferramenta
  • API Key Rotation Checker - Uma ferramenta que verifica sua organização GCP em busca de chaves de API e as compara com um período de rotação personalizável. Rotacionar chaves de API regularmente é uma prática recomendada padrão do Google e do setor.
  • AssetInventory - Importa recursos do Cloud Asset Inventory para o BigQuery.
  • BigQuery Discount Per-Project Attribution - Uma ferramenta que automatiza a geração de uma tabela do BigQuery que usa dados de faturamento exportados existentes, atribuindo cobranças de CUD e SUD por projeto.
  • BigQuery Policy Tag Utility - Classe utilitária para marcar schemas de tabelas do BQ com Policy Tags do Data Catalog Taxonomy. Cria BQ Authorized Views usando Policy Tags. Utilitário auxiliar para provisionar BigQuery Dataset, Data Catalog Taxonomy e Policy Tags.
  • BigQuery Query Plan Exporter - Utilitário de linha de comando para exportar planos de consulta do BigQuery em um intervalo de datas específico.
  • BigQuery Query Plan Visualizer - Uma aplicação web que oferece a capacidade de visualizar os estágios de execução dos planos de consulta do BigQuery para auxiliar na otimização das consultas.
  • BigQuery z/OS Mainframe Connector - Um utilitário usado para carregar conjuntos de dados COBOL MVS no BigQuery e executar jobs de consulta e carga a partir do IBM z/OS Mainframe.
  • Boolean Organization Policy Enforcer - Uma ferramenta para encontrar os projetos que não definem uma política de organização booleana no estado esperado e, em seguida, definir a política de organização no estado esperado.
  • Capacity Planner CLI - Uma ferramenta autônoma para extrair valores de pico de uso de recursos e os respectivos timestamps para um projeto GCP, intervalo de tempo e fuso horário específicos.
  • Capacity Planner Sheets Extension - Uma extensão do Google Sheets para extrair valores de pico de uso de recursos e os respectivos timestamps para um projeto GCP, intervalo de tempo e fuso horário específicos.
  • CloudConnect - Um pacote que automatiza a configuração de túneis VPN duplos entre AWS e GCP.
  • Cloudera Parcel GCS Connector - Este script ajuda você a criar uma parcel Cloudera que inclui o conector do Google Cloud Storage. A parcel pode ser implantada em um cluster gerenciado pela Cloudera. Este script ajuda você a criar uma parcel Cloudera que inclui o conector do Google Cloud Storage. A parcel pode ser implantada em um cluster gerenciado pela Cloudera.
  • Cloud AI Vision Utilities - Este é um pacote Python instalável que fornece ferramentas de suporte para o Cloud AI Vision. Atualmente, há alguns scripts para gerar um arquivo CSV de dataset do AutoML Vision a partir de imagens brutas ou de arquivos de anotação de imagens no formato PASCAL VOC.
  • Cloud Composer Backup and Recovery - Uma ferramenta de linha de comando para aplicar operações de backup e recuperação em ambientes Cloud Composer Airflow.
  • Cloud Composer DAG Validation - Um processo automatizado para executar validação e testes em DAGs no Composer.
  • Cloud Composer Migration Complexity Assessment - Um DAG do Airflow que usa uma variedade de ferramentas para analisar um ambiente Cloud Composer 1, determinar uma estimativa de trabalho e acelerar a conversão de dags do airflow 1 para dags do airflow 2.
  • Cloud Composer Migration Terraform Generator - Analisa um ambiente existente do Cloud Composer 1 / Airflow 1 e gera terraform. Configura um novo ambiente Cloud Composer 2 para atender às demandas da sua carga de trabalho.
  • ComfyUI Custom Nodes for VertexAI - Uma coleção de nós personalizados para o ComfyUI que permite usar modelos VertexAI em workflows do ComfyUI.
  • CUD Prioritized Attribution - Uma ferramenta que permite que clientes GCP que compraram Committed Use Discounts (CUDs) priorizem um escopo específico (por exemplo, projeto ou pasta) para atribuir os CUDs primeiro, antes de deixar qualquer desconto não consumido fluir para outras partes da organização.
  • Custom Module for Security Health Analytics Library - Uma biblioteca de módulos personalizados para o SCC Security Health Analytics. Inclui ferramentas para gerar facilmente módulos personalizados e provisioná-los na sua organização. Esta biblioteca ajuda a organização a detectar desvios de configuração e conformidade.
  • Custom Organization Policy Library - Uma biblioteca de constraints e amostras de políticas de organização personalizadas. Inclui ferramentas para gerar facilmente políticas para provisionamento em toda a sua organização usando o Google Cloud (gcloud) ou o Terraform.
  • Custom Role Analyzer - Esta ferramenta fornecerá insights úteis em relação a papéis personalizados, tanto no nível da organização quanto no nível do projeto, para encontrar os papéis predefinidos a partir dos quais o papel personalizado é construído.
  • Custom Role Manager - Gerencia papéis personalizados no nível da organização ou do projeto, combinando papéis predefinidos e incluindo e removendo permissões com curingas. Pode ser executado como Cloud Function ou gerar recursos Terraform.
  • Dataproc Event Driven Spark Recommendations - Use o Google Cloud Functions para analisar clusters do Cloud Dataproc e recomendar práticas recomendadas para jobs do Apache Spark. Também registra configurações de cluster para referência futura.
  • Dataproc Scheduled Cluster Sizing - Use o Google Cloud Scheduler e o Google Cloud Functions para agendar o redimensionamento de um cluster do Dataproc. Altera a contagem de workers primários e secundários.
  • DataStream Deployment Automation - Script Python para automatizar a implantação do Google Cloud DataStream. Este script criará perfis de conexão, criará o stream e iniciará o stream.
  • DLP to Data Catalog - Inspecione suas tabelas usando a Data Loss Prevention em busca de dados PII e marque-os automaticamente no Data Catalog usando Python.
  • DNS Sync - Sincroniza uma zona do Cloud DNS com recursos GCE. Instâncias e load balancers são adicionados à zona do cloud DNS quando são iniciados, a partir de eventos de log compute_engine_activity enviados por uma assinatura de push do pub/sub. Pode sincronizar vários projetos em uma única zona do Cloud DNS.
  • DynamoDB to Bigtable Migration - A ferramenta DynamoDB to Bigtable Migration é uma solução poderosa projetada para simplificar a transferência de dados do DynamoDB para o Cloud Bigtable. Esta ferramenta automatiza a tradução de schema, garantindo que sua estrutura de dados seja mapeada para o Bigtable. Ela também oferece opções para acelerar e escalar a transferência de dados com eficiência usando dataflow, minimizando o tempo de inatividade e maximizando o desempenho.
  • Firewall Enforcer - Observa e remove automaticamente regras de firewall ilegais em toda a organização. As regras de firewall são monitoradas por um Cloud Asset Inventory Feed, que aciona uma Cloud Function que inspeciona a regra e a exclui se ela falhar em um teste.
  • GCE Disk Encryption Converter - Uma ferramenta que converte discos anexados a uma instância de VM GCE de chaves gerenciadas pelo Google para uma chave gerenciada pelo cliente armazenada no Cloud KMS.
  • GCE switch disk-type - Uma ferramenta que altera o tipo dos discos anexados a uma instância GCE.
  • GCE Quota Sync - Uma ferramenta que busca o uso de cotas de recursos da API GCE e o sincroniza com o Stackdriver como uma métrica personalizada, onde pode ser usado para definir alertas automatizados.
  • GCE Usage Log - Coleta eventos de instâncias GCE em um dataset do BigQuery, expondo seus vCPUs, RAM e Persistent Disk, segmentados por projeto, zona e labels.
  • GCP Architecture Visualizer - Uma ferramenta que recebe a saída CSV de uma varredura do Forseti Inventory e desenha um diagrama hierárquico em árvore e dinâmico de org -> folders -> projects -> gcp_resources usando a biblioteca JavaScript D3.js.
  • GCP AWS HA VPN Connection terraform - Script Terraform para configurar HA VPN entre GCP e AWS.
  • GCP Azure HA VPN Connection Terraform - Código Terraform para configurar HA VPN entre GCP e Microsoft Azure.
  • GCP Organization Hierarchy Viewer - Um utilitário CLI para visualizar sua hierarquia de organização no terminal.
  • GCPViz - uma ferramenta de visualização que recebe entrada do Cloud Asset Inventory, cria relações entre os ativos e gera uma saída compatível com graphviz.
  • GCS Bucket Mover - Uma ferramenta para mover o bucket do usuário, incluindo objetos, metadados e ACL, de um projeto para outro.
  • GCS to BigQuery - Uma ferramenta que busca metadados de objetos de todos os buckets do Google Cloud Storage e os exporta em um formato que pode ser importado para o BigQuery para análise posterior.
  • GCS Usage Recommender - Uma ferramenta que gera inteligência em nível de bucket e padrões de acesso em todos os projetos de um projeto GCP para gerar gerenciamento recomendado do ciclo de vida de objetos.
  • GCVE2BQ - Uma ferramenta para exportações agendadas de dados de utilização de VM, datastore e ESXi do vCenter para o BigQuery para casos de uso de faturamento e relatórios.
  • Gemini Computer Use Evaluation Pipeline - Um framework leve para benchmark de agentes de navegador com julgamento visual multimodal e por logs.
  • GenAI-Powered Code Modification Cloud Function - Uma Google Cloud Function implantável que, alimentada pela API Vertex AI Gemini, automatiza a modificação de código. Ela lê arquivos do GitHub, processa-os com um LLM para gerar novas versões e salva essas modificações de volta nos repositórios.
  • GKE AutoPSC Controller - Controlador do Google Kubernetes Engine para configurar PSC ServiceAttachment para Forwarding Rules gerenciadas pela Gateway API.
  • Global DNS -> Zonal DNS Project Bulk Migration - Um script de shell para migração em massa de projetos gDNS-zDNS.
  • GKE Billing Export - Exportação de faturamento granular do Google Kubernetes Engine.
  • GKE GPU Driver Version - Uma ferramenta para encontrar a versão suportada do driver GPU para uma determinada versão de cluster GKE e tipo de GPU.
  • gmon - Uma interface de linha de comando (CLI) para o Cloud Monitoring escrita em Python.
  • Google Cloud Support Slackbot - Aplicativo Slack que obtém informações de casos de suporte do Google Cloud por meio da Cloud Support API e envia as informações para o Slack
  • GSuite Exporter Cloud Function - Um script que implanta uma Cloud Function e um job do Cloud Scheduler que executa a ferramenta GSuite Exporter automaticamente em uma cadência.
  • GSuite Exporter - Um pacote Python que automatiza a sincronização de relatórios de atividade das APIs Admin SDK para um destino GCP. O módulo recebe entradas da API Admin SDK escolhida, converte-as para o formato apropriado para o destino e as exporta para um destino (por exemplo: Stackdriver Logging).
  • Hive to BigQuery - Um framework Python para migrar tabelas Hive para o BigQuery usando o Cloud SQL para acompanhar o progresso da migração.
  • IAM Permissions Copier - Esta ferramenta permite copiar permissões IAM do GCP suportadas de usuários não gerenciados para usuários gerenciados do Cloud Identity.
  • IAM Recommender at Scale - Um pacote Python que automatiza a aplicação de recomendações de iam.
  • Instance Mapper - Mapeia diferentes tipos de instância de VM IaaS do EC2 e do Azure Compute para tipos de instância do Google Cloud Platform usando um método personalizável baseado em pontuação. Também suporta instâncias de banco de dados.
  • IPAM Autopilot - Uma ferramenta simples para gerenciar faixas de endereços IP para subnets do GCP.
  • K8S-2-GSM - Um aplicativo golang containerizado para migrar secrets do Kubernetes para o Google Secrets Manger (para aproveitar o CSI secret driver). LabelMaker - Uma ferramenta que lê pares key:value de um arquivo json e rotula a instância em execução e todos os drives anexados de acordo.
  • Logbucket Global to Regional - Utilitário para alterar o destino do _Default sink para log buckets regionais
  • Machine Learning Auto Exploratory Data Analysis and Feature Recommendation - Uma ferramenta para realizar uma EDA automática abrangente, com base na qual são feitas recomendações de features, e um relatório resumido será gerado.
  • Maven Archetype Dataflow - Um archetype maven que inicializa um projeto Dataflow com plugins comuns pré-configurados para ajudar a manter alta qualidade de código.
  • Netblock Monitor - Um projeto Apps Script que fornecerá notificações por e-mail automaticamente quando forem feitas alterações nas faixas de IP do Google.
  • OpenAPI to Cloud Armor converter - Uma ferramenta simples para gerar políticas do Cloud Armor a partir de especificações OpenAPI.
  • Permission Discrepancy Finder - Uma ferramenta para encontrar os principals com permissões ausentes em um recurso dentro de um projeto e, em seguida, conceder a eles as permissões ausentes.
  • Pubsub2Inbox - Uma ferramenta genérica baseada em Cloud Function que recebe entradas de mensagens Pub/Sub e as transforma em e-mails, webhooks ou objetos GCS.
  • Quota Manager - Um módulo Python para atualizar programaticamente cotas de serviços GCP, como bigquery.googleapis.com.
  • Quota Monitoring and Alerting - Um Dashboard do Data Studio fácil de implantar, com capacidades de alerta, mostrando uso e limites de cota em uma organização ou pasta.
  • RAG Application Using Vector Search - Ela serve principalmente para demonstrar as capacidades dos serviços de backend subjacentes e como arquitetura de referência para implantações de clientes. Esta ferramenta implanta um sistema de backend para Retrieval-Augmented Generation (RAG) no Google Cloud, totalmente gerenciado por Infrastructure as Code (IaC) via Terraform. Ela permite consultar documentos privados com Large Language Models (LLMs), poderosamente enriquecidos por contexto do Vertex AI RAG Engine e do Vector Search. Embora uma UI simples em Streamlit seja incluída, ela serve principalmente para demonstrar as capacidades dos serviços de backend subjacentes.
  • Ranger Hive Assessment for BigQuery/BigLake IAM migration - Uma ferramenta que avalia quais regras de autorização do Ranger podem ser migradas ou não para o IAM do BigQuery/BigLake.
  • Reddit Comment Streaming - Use PRAW, TextBlob e a Google Python API para coletar e analisar comentários do reddit. Envia comentários para um tópico do Google Pub/Sub.
  • Secret Manager Helper - Uma biblioteca Java para facilitar a substituição de strings de marcador de posição por payloads de secrets do Secret Manager.
  • Service Account Provider - Uma ferramenta para trocar tokens JWT do GitLab CI por tokens de acesso IAM do GCP, a fim de permitir que jobs do GitLab CI acessem as APIs do Google Cloud
  • Site Verification Group Sync - Uma ferramenta para provisionar permissões de "verified owner" (para criar buckets GCS com dns personalizado) com base na associação a um Google Group.
  • SLO Generator - Um pacote Python que automatiza o cálculo de Service Level Objectives, Error Budgets e Burn Rates no GCP e exporta os resultados do cálculo para os exporters disponíveis (por exemplo: PubSub, BigQuery, Stackdriver Monitoring), usando políticas escritas em formato JSON.
  • Snowflake_to_BQ - Um script de shell para transferir tabelas (schema e dados) do Snowflake para o BigQuery.
  • SPIFFE GCP Proxy - Uma ferramenta para facilitar a integração de workloads On-Prem suportados por SPIFFE com as APIs do GCP usando Workload Identity Federation
  • STS Job Manager - Uma ferramenta de migração de buckets em escala de petabytes que utiliza o Storage Transfer Service
  • Vector Search Load Testing Framework - Este framework fornece uma solução simplificada para testes de carga distribuídos de endpoints do Vertex AI Vector Search no Google Kubernetes Engine (GKE) usando Locust. Ele permite simular workloads semelhantes aos de produção para avaliar o desempenho com eficácia, analisar a escalabilidade e validar configurações de implantação.
  • [Vertex AI Endpoint Tester] (tools/vertex-ai-endpoint-load-tester) - Este utilitário ajuda a testar metodicamente uma variedade de endpoints do Vertex AI por seus tamanhos, para que você possa decidir o tamanho certo para implantar um modelo de ML no Vertex AI, dado um JSON de requisição de amostra e algumas ideias sobre consultas esperadas por segundo.
  • Vertex AI Endpoint Tester - Este utilitário ajuda a testar metodicamente uma variedade de endpoints do Vertex AI por seus tamanhos, para que você possa decidir o tamanho certo para implantar um modelo de ML no Vertex AI, dado um JSON de requisição de amostra e algumas ideias sobre consultas esperadas por segundo.
  • VM Migrator - Este utilitário automatiza a migração de instâncias de Virtual Machine dentro do GCP. Você pode migrar VMs de uma zona para outra zona/região dentro do mesmo projeto ou de projetos diferentes, mantendo todas as propriedades originais da VM, como discos, interfaces de rede, ip, metadados, network tags e muito mais.
  • VPC Flow Logs Analysis - Um Log sink configurável + relatório do BigQuery que mostra o tráfego atribuído aos projetos nas Shared VPCs.
  • VPC Flow Logs Enforcer - Uma Cloud Function que ativará automaticamente o VPC Flow Logs quando uma subnet for criada ou modificada em qualquer projeto sob uma pasta ou pastas específicas.
  • VPC Flow Logs Top Talkers - Um Log sink configurável + view do BigQuery para gerar relatórios de tráfego agregados mensais/diários por subnet ou host, com a rotulagem configurável de faixas de IP e portas.
  • Webhook Ingestion Data Pipeline - Um aplicativo implantável para aceitar e ingerir dados de webhook não autenticados no BigQuery.
  • XSD to BigQuery Schema Generator - Uma ferramenta de linha de comando para converter um schema XSD que representa conteúdo XML profundamente aninhado e repetido em um schema de tabela compatível com o BigQuery, representado em JSON.
  • Numeric Family Recommender - Oracle - O Numeric Family Recommender é um script de banco de dados que recomenda o melhor tipo de dados numérico para o tipo de dados NUMBER ao migrar de bancos de dados legados, como Oracle, para plataformas do Google Cloud, como BigQuery, AlloyDB, Cloud SQL for PostgreSQL e Google Cloud Storage.
  • Cloud Composer Stress Testing - Uma coleção de ferramentas destinadas a testar, fazer benchmark e simular workloads dentro do Composer. Ótima para testes de integração e para experimentar diferentes configurações de ambiente.
  • Cloud Composer Environment Rotator - Rotaciona os recursos do Airflow de um ambiente composer antigo para um novo ambiente composer com tempo de inatividade mínimo. Ideal para atualizações de ambiente não in-place, downgrades de versão do ambiente ou migrações para regiões diferentes.
  • Gradio and Generative AI Example - O código de exemplo permite que desenvolvedores criem rapidamente aplicações de PoC de IA Generativa com Gradio e agentes de Gen AI.
  • Memorystore Cluster Ops Framework - Este é um framework que fornece as ferramentas para aplicar operações em nível de cluster que habilitam capacidades como backups de cluster, migração e validação, etc. O framework pode ser estendido para outros casos de uso conforme necessário. O framework usa RIOT para preencher as lacunas atuais de produto com o Memorystore Clusters
  • ML Project Generator - Um utilitário para criar um template de projeto de ML de nível de produção com as melhores ferramentas de produtividade instaladas, como auto-formatação, verificações de licença, linting, etc.
  • Policy Tags Engine - A ferramenta permite que desenvolvedores apliquem automaticamente segurança em nível de coluna do BigQuery (Policy Tags) com base em arquivos de metadados enviados a um bucket do Google Cloud Storage (GCS).
  • Gemini CLI Health Dashboard - A ferramenta permite que desenvolvedores criem um dashboard personalizado para acompanhar a saúde do Gemini CLI em termos de taxa de sucesso versus erro.## Contribuição