professional-services

Coleção de exemplos de soluções do Google Cloud e utilitários operacionais para monitoramento de logs de auditoria, desidentificação de DLP, gerenciamento de chaves de criptografia e padrões de IAM.

A pasta tools contém utilitários prontos que podem simplificar o uso do Google Cloud Platform.* agent-eval - Um passo a passo de CLI com acompanhamento próximo do Vertex AI Generative AI Evaluation Service para agentes ADK. Conduz todo o ciclo de avaliação — configura o GCP, estrutura métricas + dataset, coleta traces (UserSim multi-turn + DIY single-turn), pontua com o client.evals.evaluate() do Vertex e gera um relatório HTML autocontido com diagnóstico escrito pelo Gemini. Apresenta métricas determinísticas (tokens, custo, latência, cache hit, razão de raciocínio) juntamente com métricas de LLM-como-juiz, para que você veja qualidade de código e custo de execução na mesma página.

• Agile Machine Learning API - Uma aplicação web que oferece a capacidade de treinar e implantar modelos de ML no Google Cloud Machine Learning Engine e visualizar os resultados previstos usando LIME por meio de uma simples requisição post.
• Airflow DAG Metadata Generator - Use os modelos generativos do Google para analisar DAGs do Airflow e complementá-los com valores gerados de description, tags e doc_md.
• Airflow States Collector - Uma ferramenta que cria e envia um dag do airflow para a pasta GCS de dags. O dag coleta incrementalmente os estados das tasks do airflow e os armazena no BQ. Ela também gera automaticamente um dashboard do LookerStudio que consulta a view do BQ.
• Airpiler - Um script Python para converter arquivos JIL do Autosys para o formato dag-factory, para execução no Cloud Composer (ambiente gerenciado de airflow).
• Ansible Module for Anthos on Bare Metal - Módulo Ansible para instalação do Anthos on Bare Metal
• Anthos Bare Metal Installer - Um playbook ansible que pode ser usado para instalar o Anthos Bare Metal.
• Apache Beam Client Throttling - Uma biblioteca que pode ser usada para limitar o número de requisições de um pipeline do Apache Beam a um serviço externo. Ela mantém requisições em buffer para não sobrecarregar o serviço externo e ativa o throttling no lado do cliente quando o serviço começa a rejeitar requisições devido a erros de cota excedida.
• API Key Rotation Checker - Uma ferramenta que verifica sua organização GCP em busca de chaves de API e as compara com um período de rotação personalizável. Rotacionar chaves de API regularmente é uma prática recomendada padrão do Google e do setor.
• AssetInventory - Importa recursos do Cloud Asset Inventory para o BigQuery.
• BigQuery Discount Per-Project Attribution - Uma ferramenta que automatiza a geração de uma tabela do BigQuery que usa dados de faturamento exportados existentes, atribuindo cobranças de CUD e SUD por projeto.
• BigQuery Policy Tag Utility - Classe utilitária para marcar schemas de tabelas do BQ com Policy Tags do Data Catalog Taxonomy. Cria BQ Authorized Views usando Policy Tags. Utilitário auxiliar para provisionar BigQuery Dataset, Data Catalog Taxonomy e Policy Tags.
• BigQuery Query Plan Exporter - Utilitário de linha de comando para exportar planos de consulta do BigQuery em um intervalo de datas específico.
• BigQuery Query Plan Visualizer - Uma aplicação web que oferece a capacidade de visualizar os estágios de execução dos planos de consulta do BigQuery para auxiliar na otimização das consultas.
• BigQuery z/OS Mainframe Connector - Um utilitário usado para carregar conjuntos de dados COBOL MVS no BigQuery e executar jobs de consulta e carga a partir do IBM z/OS Mainframe.
• Boolean Organization Policy Enforcer - Uma ferramenta para encontrar os projetos que não definem uma política de organização booleana no estado esperado e, em seguida, definir a política de organização no estado esperado.
• Capacity Planner CLI - Uma ferramenta autônoma para extrair valores de pico de uso de recursos e os respectivos timestamps para um projeto GCP, intervalo de tempo e fuso horário específicos.
• Capacity Planner Sheets Extension - Uma extensão do Google Sheets para extrair valores de pico de uso de recursos e os respectivos timestamps para um projeto GCP, intervalo de tempo e fuso horário específicos.
• CloudConnect - Um pacote que automatiza a configuração de túneis VPN duplos entre AWS e GCP.
• Cloudera Parcel GCS Connector - Este script ajuda você a criar uma parcel Cloudera que inclui o conector do Google Cloud Storage. A parcel pode ser implantada em um cluster gerenciado pela Cloudera. Este script ajuda você a criar uma parcel Cloudera que inclui o conector do Google Cloud Storage. A parcel pode ser implantada em um cluster gerenciado pela Cloudera.
• Cloud AI Vision Utilities - Este é um pacote Python instalável que fornece ferramentas de suporte para o Cloud AI Vision. Atualmente, há alguns scripts para gerar um arquivo CSV de dataset do AutoML Vision a partir de imagens brutas ou de arquivos de anotação de imagens no formato PASCAL VOC.
• Cloud Composer Backup and Recovery - Uma ferramenta de linha de comando para aplicar operações de backup e recuperação em ambientes Cloud Composer Airflow.
• Cloud Composer DAG Validation - Um processo automatizado para executar validação e testes em DAGs no Composer.
• Cloud Composer Migration Complexity Assessment - Um DAG do Airflow que usa uma variedade de ferramentas para analisar um ambiente Cloud Composer 1, determinar uma estimativa de trabalho e acelerar a conversão de dags do airflow 1 para dags do airflow 2.
• Cloud Composer Migration Terraform Generator - Analisa um ambiente existente do Cloud Composer 1 / Airflow 1 e gera terraform. Configura um novo ambiente Cloud Composer 2 para atender às demandas da sua carga de trabalho.
• ComfyUI Custom Nodes for VertexAI - Uma coleção de nós personalizados para o ComfyUI que permite usar modelos VertexAI em workflows do ComfyUI.
• CUD Prioritized Attribution - Uma ferramenta que permite que clientes GCP que compraram Committed Use Discounts (CUDs) priorizem um escopo específico (por exemplo, projeto ou pasta) para atribuir os CUDs primeiro, antes de deixar qualquer desconto não consumido fluir para outras partes da organização.
• Custom Module for Security Health Analytics Library - Uma biblioteca de módulos personalizados para o SCC Security Health Analytics. Inclui ferramentas para gerar facilmente módulos personalizados e provisioná-los na sua organização. Esta biblioteca ajuda a organização a detectar desvios de configuração e conformidade.
• Custom Organization Policy Library - Uma biblioteca de constraints e amostras de políticas de organização personalizadas. Inclui ferramentas para gerar facilmente políticas para provisionamento em toda a sua organização usando o Google Cloud (gcloud) ou o Terraform.
• Custom Role Analyzer - Esta ferramenta fornecerá insights úteis em relação a papéis personalizados, tanto no nível da organização quanto no nível do projeto, para encontrar os papéis predefinidos a partir dos quais o papel personalizado é construído.
• Custom Role Manager - Gerencia papéis personalizados no nível da organização ou do projeto, combinando papéis predefinidos e incluindo e removendo permissões com curingas. Pode ser executado como Cloud Function ou gerar recursos Terraform.
• Dataproc Event Driven Spark Recommendations - Use o Google Cloud Functions para analisar clusters do Cloud Dataproc e recomendar práticas recomendadas para jobs do Apache Spark. Também registra configurações de cluster para referência futura.
• Dataproc Scheduled Cluster Sizing - Use o Google Cloud Scheduler e o Google Cloud Functions para agendar o redimensionamento de um cluster do Dataproc. Altera a contagem de workers primários e secundários.
• DataStream Deployment Automation - Script Python para automatizar a implantação do Google Cloud DataStream. Este script criará perfis de conexão, criará o stream e iniciará o stream.
• DLP to Data Catalog - Inspecione suas tabelas usando a Data Loss Prevention em busca de dados PII e marque-os automaticamente no Data Catalog usando Python.
• DNS Sync - Sincroniza uma zona do Cloud DNS com recursos GCE. Instâncias e load balancers são adicionados à zona do cloud DNS quando são iniciados, a partir de eventos de log compute_engine_activity enviados por uma assinatura de push do pub/sub. Pode sincronizar vários projetos em uma única zona do Cloud DNS.
• DynamoDB to Bigtable Migration - A ferramenta DynamoDB to Bigtable Migration é uma solução poderosa projetada para simplificar a transferência de dados do DynamoDB para o Cloud Bigtable. Esta ferramenta automatiza a tradução de schema, garantindo que sua estrutura de dados seja mapeada para o Bigtable. Ela também oferece opções para acelerar e escalar a transferência de dados com eficiência usando dataflow, minimizando o tempo de inatividade e maximizando o desempenho.
• Firewall Enforcer - Observa e remove automaticamente regras de firewall ilegais em toda a organização. As regras de firewall são monitoradas por um Cloud Asset Inventory Feed, que aciona uma Cloud Function que inspeciona a regra e a exclui se ela falhar em um teste.
• GCE Disk Encryption Converter - Uma ferramenta que converte discos anexados a uma instância de VM GCE de chaves gerenciadas pelo Google para uma chave gerenciada pelo cliente armazenada no Cloud KMS.
• GCE switch disk-type - Uma ferramenta que altera o tipo dos discos anexados a uma instância GCE.
• GCE Quota Sync - Uma ferramenta que busca o uso de cotas de recursos da API GCE e o sincroniza com o Stackdriver como uma métrica personalizada, onde pode ser usado para definir alertas automatizados.
• GCE Usage Log - Coleta eventos de instâncias GCE em um dataset do BigQuery, expondo seus vCPUs, RAM e Persistent Disk, segmentados por projeto, zona e labels.
• GCP Architecture Visualizer - Uma ferramenta que recebe a saída CSV de uma varredura do Forseti Inventory e desenha um diagrama hierárquico em árvore e dinâmico de org -> folders -> projects -> gcp_resources usando a biblioteca JavaScript D3.js.
• GCP AWS HA VPN Connection terraform - Script Terraform para configurar HA VPN entre GCP e AWS.
• GCP Azure HA VPN Connection Terraform - Código Terraform para configurar HA VPN entre GCP e Microsoft Azure.
• GCP Organization Hierarchy Viewer - Um utilitário CLI para visualizar sua hierarquia de organização no terminal.
• GCPViz - uma ferramenta de visualização que recebe entrada do Cloud Asset Inventory, cria relações entre os ativos e gera uma saída compatível com graphviz.
• GCS Bucket Mover - Uma ferramenta para mover o bucket do usuário, incluindo objetos, metadados e ACL, de um projeto para outro.
• GCS to BigQuery - Uma ferramenta que busca metadados de objetos de todos os buckets do Google Cloud Storage e os exporta em um formato que pode ser importado para o BigQuery para análise posterior.
• GCS Usage Recommender - Uma ferramenta que gera inteligência em nível de bucket e padrões de acesso em todos os projetos de um projeto GCP para gerar gerenciamento recomendado do ciclo de vida de objetos.
• GCVE2BQ - Uma ferramenta para exportações agendadas de dados de utilização de VM, datastore e ESXi do vCenter para o BigQuery para casos de uso de faturamento e relatórios.
• Gemini Computer Use Evaluation Pipeline - Um framework leve para benchmark de agentes de navegador com julgamento visual multimodal e por logs.
• GenAI-Powered Code Modification Cloud Function - Uma Google Cloud Function implantável que, alimentada pela API Vertex AI Gemini, automatiza a modificação de código. Ela lê arquivos do GitHub, processa-os com um LLM para gerar novas versões e salva essas modificações de volta nos repositórios.
• GKE AutoPSC Controller - Controlador do Google Kubernetes Engine para configurar PSC ServiceAttachment para Forwarding Rules gerenciadas pela Gateway API.
• Global DNS -> Zonal DNS Project Bulk Migration - Um script de shell para migração em massa de projetos gDNS-zDNS.
• GKE Billing Export - Exportação de faturamento granular do Google Kubernetes Engine.
• GKE GPU Driver Version - Uma ferramenta para encontrar a versão suportada do driver GPU para uma determinada versão de cluster GKE e tipo de GPU.
• gmon - Uma interface de linha de comando (CLI) para o Cloud Monitoring escrita em Python.
• Google Cloud Support Slackbot - Aplicativo Slack que obtém informações de casos de suporte do Google Cloud por meio da Cloud Support API e envia as informações para o Slack
• GSuite Exporter Cloud Function - Um script que implanta uma Cloud Function e um job do Cloud Scheduler que executa a ferramenta GSuite Exporter automaticamente em uma cadência.
• GSuite Exporter - Um pacote Python que automatiza a sincronização de relatórios de atividade das APIs Admin SDK para um destino GCP. O módulo recebe entradas da API Admin SDK escolhida, converte-as para o formato apropriado para o destino e as exporta para um destino (por exemplo: Stackdriver Logging).
• Hive to BigQuery - Um framework Python para migrar tabelas Hive para o BigQuery usando o Cloud SQL para acompanhar o progresso da migração.
• IAM Permissions Copier - Esta ferramenta permite copiar permissões IAM do GCP suportadas de usuários não gerenciados para usuários gerenciados do Cloud Identity.
• IAM Recommender at Scale - Um pacote Python que automatiza a aplicação de recomendações de iam.
• Instance Mapper - Mapeia diferentes tipos de instância de VM IaaS do EC2 e do Azure Compute para tipos de instância do Google Cloud Platform usando um método personalizável baseado em pontuação. Também suporta instâncias de banco de dados.
• IPAM Autopilot - Uma ferramenta simples para gerenciar faixas de endereços IP para subnets do GCP.
• K8S-2-GSM - Um aplicativo golang containerizado para migrar secrets do Kubernetes para o Google Secrets Manger (para aproveitar o CSI secret driver). LabelMaker - Uma ferramenta que lê pares key:value de um arquivo json e rotula a instância em execução e todos os drives anexados de acordo.
• Logbucket Global to Regional - Utilitário para alterar o destino do _Default sink para log buckets regionais
• Machine Learning Auto Exploratory Data Analysis and Feature Recommendation - Uma ferramenta para realizar uma EDA automática abrangente, com base na qual são feitas recomendações de features, e um relatório resumido será gerado.
• Maven Archetype Dataflow - Um archetype maven que inicializa um projeto Dataflow com plugins comuns pré-configurados para ajudar a manter alta qualidade de código.
• Netblock Monitor - Um projeto Apps Script que fornecerá notificações por e-mail automaticamente quando forem feitas alterações nas faixas de IP do Google.
• OpenAPI to Cloud Armor converter - Uma ferramenta simples para gerar políticas do Cloud Armor a partir de especificações OpenAPI.
• Permission Discrepancy Finder - Uma ferramenta para encontrar os principals com permissões ausentes em um recurso dentro de um projeto e, em seguida, conceder a eles as permissões ausentes.
• Pubsub2Inbox - Uma ferramenta genérica baseada em Cloud Function que recebe entradas de mensagens Pub/Sub e as transforma em e-mails, webhooks ou objetos GCS.
• Quota Manager - Um módulo Python para atualizar programaticamente cotas de serviços GCP, como bigquery.googleapis.com.
• Quota Monitoring and Alerting - Um Dashboard do Data Studio fácil de implantar, com capacidades de alerta, mostrando uso e limites de cota em uma organização ou pasta.
• RAG Application Using Vector Search - Ela serve principalmente para demonstrar as capacidades dos serviços de backend subjacentes e como arquitetura de referência para implantações de clientes. Esta ferramenta implanta um sistema de backend para Retrieval-Augmented Generation (RAG) no Google Cloud, totalmente gerenciado por Infrastructure as Code (IaC) via Terraform. Ela permite consultar documentos privados com Large Language Models (LLMs), poderosamente enriquecidos por contexto do Vertex AI RAG Engine e do Vector Search. Embora uma UI simples em Streamlit seja incluída, ela serve principalmente para demonstrar as capacidades dos serviços de backend subjacentes.
• Ranger Hive Assessment for BigQuery/BigLake IAM migration - Uma ferramenta que avalia quais regras de autorização do Ranger podem ser migradas ou não para o IAM do BigQuery/BigLake.
• Reddit Comment Streaming - Use PRAW, TextBlob e a Google Python API para coletar e analisar comentários do reddit. Envia comentários para um tópico do Google Pub/Sub.
• Secret Manager Helper - Uma biblioteca Java para facilitar a substituição de strings de marcador de posição por payloads de secrets do Secret Manager.
• Service Account Provider - Uma ferramenta para trocar tokens JWT do GitLab CI por tokens de acesso IAM do GCP, a fim de permitir que jobs do GitLab CI acessem as APIs do Google Cloud
• Site Verification Group Sync - Uma ferramenta para provisionar permissões de "verified owner" (para criar buckets GCS com dns personalizado) com base na associação a um Google Group.
• SLO Generator - Um pacote Python que automatiza o cálculo de Service Level Objectives, Error Budgets e Burn Rates no GCP e exporta os resultados do cálculo para os exporters disponíveis (por exemplo: PubSub, BigQuery, Stackdriver Monitoring), usando políticas escritas em formato JSON.
• Snowflake_to_BQ - Um script de shell para transferir tabelas (schema e dados) do Snowflake para o BigQuery.
• SPIFFE GCP Proxy - Uma ferramenta para facilitar a integração de workloads On-Prem suportados por SPIFFE com as APIs do GCP usando Workload Identity Federation
• STS Job Manager - Uma ferramenta de migração de buckets em escala de petabytes que utiliza o Storage Transfer Service
• Vector Search Load Testing Framework - Este framework fornece uma solução simplificada para testes de carga distribuídos de endpoints do Vertex AI Vector Search no Google Kubernetes Engine (GKE) usando Locust. Ele permite simular workloads semelhantes aos de produção para avaliar o desempenho com eficácia, analisar a escalabilidade e validar configurações de implantação.
• [Vertex AI Endpoint Tester] (tools/vertex-ai-endpoint-load-tester) - Este utilitário ajuda a testar metodicamente uma variedade de endpoints do Vertex AI por seus tamanhos, para que você possa decidir o tamanho certo para implantar um modelo de ML no Vertex AI, dado um JSON de requisição de amostra e algumas ideias sobre consultas esperadas por segundo.
• Vertex AI Endpoint Tester - Este utilitário ajuda a testar metodicamente uma variedade de endpoints do Vertex AI por seus tamanhos, para que você possa decidir o tamanho certo para implantar um modelo de ML no Vertex AI, dado um JSON de requisição de amostra e algumas ideias sobre consultas esperadas por segundo.
• VM Migrator - Este utilitário automatiza a migração de instâncias de Virtual Machine dentro do GCP. Você pode migrar VMs de uma zona para outra zona/região dentro do mesmo projeto ou de projetos diferentes, mantendo todas as propriedades originais da VM, como discos, interfaces de rede, ip, metadados, network tags e muito mais.
• VPC Flow Logs Analysis - Um Log sink configurável + relatório do BigQuery que mostra o tráfego atribuído aos projetos nas Shared VPCs.
• VPC Flow Logs Enforcer - Uma Cloud Function que ativará automaticamente o VPC Flow Logs quando uma subnet for criada ou modificada em qualquer projeto sob uma pasta ou pastas específicas.
• VPC Flow Logs Top Talkers - Um Log sink configurável + view do BigQuery para gerar relatórios de tráfego agregados mensais/diários por subnet ou host, com a rotulagem configurável de faixas de IP e portas.
• Webhook Ingestion Data Pipeline - Um aplicativo implantável para aceitar e ingerir dados de webhook não autenticados no BigQuery.
• XSD to BigQuery Schema Generator - Uma ferramenta de linha de comando para converter um schema XSD que representa conteúdo XML profundamente aninhado e repetido em um schema de tabela compatível com o BigQuery, representado em JSON.
• Numeric Family Recommender - Oracle - O Numeric Family Recommender é um script de banco de dados que recomenda o melhor tipo de dados numérico para o tipo de dados NUMBER ao migrar de bancos de dados legados, como Oracle, para plataformas do Google Cloud, como BigQuery, AlloyDB, Cloud SQL for PostgreSQL e Google Cloud Storage.
• Cloud Composer Stress Testing - Uma coleção de ferramentas destinadas a testar, fazer benchmark e simular workloads dentro do Composer. Ótima para testes de integração e para experimentar diferentes configurações de ambiente.
• Cloud Composer Environment Rotator - Rotaciona os recursos do Airflow de um ambiente composer antigo para um novo ambiente composer com tempo de inatividade mínimo. Ideal para atualizações de ambiente não in-place, downgrades de versão do ambiente ou migrações para regiões diferentes.
• Gradio and Generative AI Example - O código de exemplo permite que desenvolvedores criem rapidamente aplicações de PoC de IA Generativa com Gradio e agentes de Gen AI.
• Memorystore Cluster Ops Framework - Este é um framework que fornece as ferramentas para aplicar operações em nível de cluster que habilitam capacidades como backups de cluster, migração e validação, etc. O framework pode ser estendido para outros casos de uso conforme necessário. O framework usa RIOT para preencher as lacunas atuais de produto com o Memorystore Clusters
• ML Project Generator - Um utilitário para criar um template de projeto de ML de nível de produção com as melhores ferramentas de produtividade instaladas, como auto-formatação, verificações de licença, linting, etc.
• Policy Tags Engine - A ferramenta permite que desenvolvedores apliquem automaticamente segurança em nível de coluna do BigQuery (Policy Tags) com base em arquivos de metadados enviados a um bucket do Google Cloud Storage (GCS).
• Gemini CLI Health Dashboard - A ferramenta permite que desenvolvedores criem um dashboard personalizado para acompanhar a saúde do Gemini CLI em termos de taxa de sucesso versus erro.## Contribuição

Veja as instruções de contribuição para começar a contribuir.

Contato

Perguntas, problemas e comentários devem ser direcionados para [email protected].