professional-services

Collection d'exemples de solutions Google Cloud et d'utilitaires opérationnels pour la surveillance des journaux d'audit, la dé-identification DLP, la gestion des clés de chiffrement et les modèles IAM.

Le dossier tools contient des utilitaires prêts à l'emploi qui peuvent simplifier l'utilisation de Google Cloud Platform.* agent-eval - Un accompagnement CLI pas à pas du service Vertex AI Generative AI Evaluation pour les agents ADK. Pilote la boucle d'évaluation complète — configurez GCP, générez les métriques et le jeu de données, collectez les traces (UserSim multi-tour + DIY monologue), évaluez avec client.evals.evaluate() de Vertex, et rédigez un rapport HTML autonome avec un diagnostic rédigé par Gemini. Il fait ressortir les métriques déterministes (tokens, coût, latence, cache hit, ratio de raisonnement) aux côtés des métriques LLM-as-judge, afin de voir la qualité du code et le coût d'exécution sur la même page.

• Agile Machine Learning API - Une application web qui permet d'entraîner et de déployer des modèles ML sur Google Cloud Machine Learning Engine, et de visualiser les résultats prédits à l'aide de LIME via une simple requête POST.
• Airflow DAG Metadata Generator - Utilisez les modèles génératifs de Google pour analyser les DAG Airflow et les enrichir avec les valeurs description, tags et doc_md générées.
• Airflow States Collector - Un outil qui crée et télécharge un DAG Airflow vers le dossier GCS dags. Le DAG collecte incrémentalement les états des tâches Airflow et les stocke dans BQ. Il génère également automatiquement un dashboard LookerStudio qui interroge la vue BQ.
• Airpiler - Un script Python pour convertir les fichiers Autosys JIL au format dag-factory afin de les exécuter dans Cloud Composer (environnement Airflow géré).
• Ansible Module for Anthos on Bare Metal - Module Ansible pour l'installation d'Anthos sur Bare Metal
• Anthos Bare Metal Installer - Un playbook ansible qui peut être utilisé pour installer Anthos Bare Metal.
• Apache Beam Client Throttling - Une bibliothèque qui permet de limiter le nombre de requêtes d'un pipeline Apache Beam vers un service externe. Elle met en mémoire tampon les requêtes pour ne pas surcharger le service externe et active la limitation côté client lorsque le service commence à rejeter les requêtes en raison d'erreurs de dépassement de quota.
• API Key Rotation Checker - Un outil qui vérifie les clés API de votre organisation GCP et les compare à une période de rotation personnalisable. La rotation régulière des clés API est une recommandation standard de Google et de l'industrie.
• AssetInventory - Importe les ressources Cloud Asset Inventory dans BigQuery.
• BigQuery Discount Per-Project Attribution - Un outil qui automatise la génération d'une table BigQuery qui utilise les données de facturation exportées existantes, en attribuant les charges CUD et SUD sur une base par projet.
• BigQuery Policy Tag Utility - Classe utilitaire pour taguer les schémas de tables BQ avec des Policy Tags de taxonomie Data Catalog. Créez des vues autorisées BigQuery à l'aide des Policy Tags. Utilitaire d'aide pour provisionner des datasets BigQuery, des taxonomies Data Catalog et des Policy Tags.
• BigQuery Query Plan Exporter - Utilitaire en ligne de commande pour exporter les plans de requêtes BigQuery sur une plage de dates donnée.
• BigQuery Query Plan Visualizer - Une application web qui permet de visualiser les étapes d'exécution des plans de requêtes BigQuery afin d'aider à l'optimisation des requêtes.
• BigQuery z/OS Mainframe Connector - Un utilitaire utilisé pour charger des jeux de données COBOL MVS dans BigQuery et exécuter des jobs de requête et de chargement depuis le mainframe IBM z/OS.
• Boolean Organization Policy Enforcer - Un outil pour identifier les projets qui ne définissent pas une politique d'organisation booléenne à l'état attendu, puis définir la politique d'organisation à son état attendu.
• Capacity Planner CLI - Un outil autonome pour extraire les valeurs d'utilisation maximale des ressources et les horodatages correspondants pour un projet GCP, une plage de temps et un fuseau horaire donnés.
• Capacity Planner Sheets Extension - Une extension Google Sheets pour extraire les valeurs d'utilisation maximale des ressources et les horodatages correspondants pour un projet GCP, une plage de temps et un fuseau horaire donnés.
• CloudConnect - Un package qui automatise la configuration de tunnels VPN doubles entre AWS et GCP.
• Cloudera Parcel GCS Connector - Ce script vous aide à créer une parcel Cloudera incluant le connecteur Google Cloud Storage. La parcel peut être déployée sur un cluster géré par Cloudera. Ce script vous aide à créer une parcel Cloudera incluant le connecteur Google Cloud Storage. La parcel peut être déployée sur un cluster géré par Cloudera.
• Cloud AI Vision Utilities - Il s'agit d'un package Python installable qui fournit des outils de support pour Cloud AI Vision. Actuellement, quelques scripts permettent de générer un fichier CSV de dataset AutoML Vision à partir d'images brutes ou de fichiers d'annotation d'images au format PASCAL VOC.
• Cloud Composer Backup and Recovery - Un outil en ligne de commande pour appliquer des opérations de sauvegarde et de récupération sur les environnements Cloud Composer Airflow.
• Cloud Composer DAG Validation - Un processus automatisé pour exécuter la validation et les tests sur les DAG dans Composer.
• Cloud Composer Migration Complexity Assessment - Un DAG Airflow qui utilise une variété d'outils pour analyser un environnement Cloud Composer 1, déterminer une estimation du travail, et accélérer la conversion des DAG Airflow 1 en DAG Airflow 2.
• Cloud Composer Migration Terraform Generator - Analyse un environnement Cloud Composer 1 / Airflow 1 existant et génère du Terraform. Configure un nouvel environnement Cloud Composer 2 pour répondre à vos besoins de charge de travail.
• ComfyUI Custom Nodes for VertexAI - Une collection de nœuds personnalisés pour ComfyUI qui permet d'utiliser des modèles VertexAI dans les workflows ComfyUI.
• CUD Prioritized Attribution - Un outil qui permet aux clients GCP ayant acheté des remises pour engagement d'utilisation (CUD) de prioriser un périmètre spécifique (par exemple un projet ou un dossier) pour attribuer les CUD en premier, avant de laisser tout rabais non consommé flotter vers d'autres parties d'une organisation.
• Custom Module for Security Health Analytics Library - Une bibliothèque de modules personnalisés pour SCC Security Health Analytics. Elle inclut des outils pour générer facilement des modules personnalisés et les provisionner sur votre organisation. Cette bibliothèque aide les organisations à détecter les dérives de configuration et de conformité.
• Custom Organization Policy Library - Une bibliothèque de contraintes et d'exemples de politiques d'organisation personnalisées. Elle inclut des outils pour générer facilement des politiques à provisionner dans votre organisation en utilisant Google Cloud (gcloud) ou Terraform.
• Custom Role Analyzer - Cet outil fournira des informations utiles concernant les rôles personnalisés au niveau de l'organisation ainsi qu'au niveau du projet, afin de trouver les rôles prédéfinis à partir desquels le rôle personnalisé est construit.
• Custom Role Manager - Gère les rôles personnalisés au niveau de l'organisation ou du projet en combinant des rôles prédéfinis et en incluant et supprimant des permissions avec des caractères génériques. Peut s'exécuter en tant que Cloud Function ou générer des ressources Terraform.
• Dataproc Event Driven Spark Recommendations - Utilisez Google Cloud Functions pour analyser les clusters Cloud Dataproc et recommander les meilleures pratiques pour les jobs Apache Spark. Enregistre également les configurations des clusters pour référence future.
• Dataproc Scheduled Cluster Sizing - Utilisez Google Cloud Scheduler et Google Cloud Functions pour planifier le redimensionnement d'un cluster Dataproc. Modifie le nombre de workers primaires et secondaires.
• DataStream Deployment Automation - Script Python pour automatiser le déploiement de Google Cloud DataStream. Ce script crée des profils de connexion, crée un flux et démarre le flux.
• DLP to Data Catalog - Inspectez vos tables à l'aide de Data Loss Prevention pour les données PII et étiquetez-les automatiquement dans Data Catalog à l'aide de Python.
• DNS Sync - Synchronise une zone Cloud DNS avec les ressources GCE. Les instances et les équilibreurs de charge sont ajoutés à la zone Cloud DNS à mesure qu'ils démarrent, à partir des événements de journal compute_engine_activity envoyés via une souscription push pub/sub. Peut synchroniser plusieurs projets vers une seule zone Cloud DNS.
• DynamoDB to Bigtable Migration - L'outil de migration DynamoDB vers Bigtable est une solution puissante conçue pour rationaliser le transfert de données de DynamoDB vers Cloud Bigtable. Cet outil automatise la traduction du schéma, garantissant que votre structure de données est mappée vers Bigtable. Il offre également des options pour accélérer et faire évoluer efficacement le transfert de données à l'aide de Dataflow, minimisant les temps d'arrêt et maximisant les performances.
• Firewall Enforcer - Surveille et supprime automatiquement les règles de pare-feu illégales dans toute l'organisation. Les règles de pare-feu sont surveillées par un flux Cloud Asset Inventory, qui déclenche une Cloud Function qui inspecte la règle de pare-feu et la supprime si elle échoue à un test.
• GCE Disk Encryption Converter - Un outil qui convertit les disques attachés à une instance VM GCE de clés gérées par Google vers une clé gérée par le client stockée dans Cloud KMS.
• GCE switch disk-type - Un outil qui change le type des disques attachés à une instance GCE.
• GCE Quota Sync - Un outil qui récupère l'utilisation des quotas de ressources depuis l'API GCE et la synchronise vers Stackdriver comme métrique personnalisée, où elle peut être utilisée pour définir des alertes automatisées.
• GCE Usage Log - Collecte les événements d'instances GCE dans un dataset BigQuery, mettant en évidence vos vCPU, RAM et disques persistants, segmentés par projet, zone et labels.
• GCP Architecture Visualizer - Un outil qui prend la sortie CSV d'un scan Forseti Inventory et dessine un diagramme arborescent hiérarchique dynamique de org -> folders -> projects -> gcp_resources à l'aide de la bibliothèque JavaScript D3.js.
• GCP AWS HA VPN Connection terraform - Script Terraform pour configurer un VPN HA entre GCP et AWS.
• GCP Azure HA VPN Connection Terraform - Code Terraform pour configurer un VPN HA entre GCP et Microsoft Azure.
• GCP Organization Hierarchy Viewer - Un utilitaire CLI pour visualiser la hiérarchie de votre organisation dans le terminal.
• GCPViz - un outil de visualisation qui prend en entrée Cloud Asset Inventory, crée des relations entre les actifs et génère un format compatible avec graphviz.
• GCS Bucket Mover - Un outil pour déplacer le bucket d'un utilisateur, y compris les objets, les métadonnées et les ACL, d'un projet à un autre.
• GCS to BigQuery - Un outil qui récupère les métadonnées des objets de tous les buckets Google Cloud Storage et les exporte dans un format pouvant être importé dans BigQuery pour une analyse plus approfondie.
• GCS Usage Recommender - Un outil qui génère des informations au niveau du bucket et des modèles d'accès dans tous les projets d'un projet GCP, afin de recommander une gestion du cycle de vie des objets.
• GCVE2BQ - Un outil pour l'export programmé des données d'utilisation des VM, datastores et ESXi depuis vCenter vers BigQuery pour des cas d'usage de facturation et de reporting.
• Gemini Computer Use Evaluation Pipeline - Un framework léger pour benchmarker les agents navigateurs avec un jugement multimodal visuel et par journaux.
• GenAI-Powered Code Modification Cloud Function - Une Google Cloud Function déployable qui, propulsée par l'API Vertex AI Gemini, automatise la modification de code. Elle lit les fichiers depuis GitHub, les traite avec un LLM pour générer de nouvelles versions, puis enregistre ces modifications dans les dépôts.
• GKE AutoPSC Controller - Contrôleur Google Kubernetes Engine, pour configurer PSC ServiceAttachment pour les Forwarding Rules gérés par Gateway API.
• Global DNS -> Zonal DNS Project Bulk Migration - Un script shell pour la migration groupée de projets gDNS-zDNS.
• GKE Billing Export - Export de facturation fin et détaillé pour Google Kubernetes Engine.
• GKE GPU Driver Version - Un outil pour trouver la version de pilote GPU prise en charge pour une version de cluster GKE et un type de GPU donnés.
• gmon - Une interface en ligne de commande (CLI) pour Cloud Monitoring écrite en Python.
• Google Cloud Support Slackbot - Application Slack qui récupère les informations des cas de support Google Cloud via l'API Cloud Support et les transmet à Slack
• GSuite Exporter Cloud Function - Un script qui déploie une Cloud Function et un job Cloud Scheduler qui exécutent l'outil GSuite Exporter automatiquement à intervalles réguliers.
• GSuite Exporter - Un package Python qui automatise la synchronisation des rapports d'activité des API Admin SDK vers une destination GCP. Le module prend les entrées de l'API Admin SDK choisie, les convertit dans le format approprié pour la destination, puis les exporte vers une destination (par exemple : Stackdriver Logging).
• Hive to BigQuery - Un framework Python pour migrer les tables Hive vers BigQuery en utilisant Cloud SQL pour suivre la progression de la migration.
• IAM Permissions Copier - Cet outil vous permet de copier les permissions IAM GCP prises en charge depuis des utilisateurs non gérés vers des utilisateurs Cloud Identity gérés.
• IAM Recommender at Scale - Un package Python qui automatise l'application des recommandations IAM.
• Instance Mapper - Mappe différents types d'instances VM IaaS d'EC2 et Azure Compute vers les types d'instances Google Cloud Platform en utilisant une méthode personnalisable basée sur des scores. Prend également en charge les instances de base de données.
• IPAM Autopilot - Un outil simple pour gérer les plages d'adresses IP des sous-réseaux GCP.
• K8S-2-GSM - Une application Go conteneurisée pour migrer les secrets Kubernetes vers Google Secrets Manager (pour exploiter CSI secret driver). LabelMaker - Un outil qui lit les paires clé:valeur d'un fichier JSON et étiquette l'instance en cours d'exécution ainsi que tous les disques attachés en conséquence.
• Logbucket Global to Regional - Utilitaire pour changer la destination du sink _Default vers des buckets de journaux régionaux
• Machine Learning Auto Exploratory Data Analysis and Feature Recommendation - Un outil pour effectuer une EDA automatique complète, sur la base de laquelle des recommandations de features sont faites, et un rapport récapitulatif est généré.
• Maven Archetype Dataflow - Un archétype Maven qui initialise un projet Dataflow avec des plugins courants préconfigurés pour aider à maintenir une haute qualité de code.
• Netblock Monitor - Un projet Apps Script qui envoie automatiquement des notifications par e-mail lorsque des modifications sont apportées aux plages d'adresses IP de Google.
• OpenAPI to Cloud Armor converter - Un outil simple pour générer des politiques Cloud Armor à partir de spécifications OpenAPI.
• Permission Discrepancy Finder - Un outil pour identifier les principaux auxquels il manque des permissions sur une ressource dans un projet, puis leur accorder les permissions manquantes.
• Pubsub2Inbox - Un outil générique basé sur Cloud Functions qui prend en entrée des messages Pub/Sub et les transforme en e-mails, webhooks ou objets GCS.
• Quota Manager - Un module Python pour mettre à jour par programmation les quotas de services GCP tels que bigquery.googleapis.com.
• Quota Monitoring and Alerting - Un dashboard Data Studio facile à déployer avec des capacités d'alerte, affichant l'utilisation et les limites de quotas dans une organisation ou un dossier.
• RAG Application Using Vector Search - Il sert principalement à démontrer les capacités des services backend sous-jacents, et comme architecture de référence pour les déploiements clients. Cet outil déploie un système backend pour la génération augmentée par récupération (RAG) sur Google Cloud, entièrement géré par Infrastructure as Code (IaC) via Terraform. Il permet d'interroger des documents privés avec de grands modèles de langage (LLM), puissamment enrichis par le contexte de Vertex AI RAG Engine et Vector Search. Bien qu'une interface Streamlit simple soit incluse, elle sert principalement à démontrer les capacités des services backend sous-jacents.
• Ranger Hive Assessment for BigQuery/BigLake IAM migration - Un outil qui évalue quelles règles d'autorisation Ranger peuvent être migrées ou non vers BigQuery/BigLake IAM.
• Reddit Comment Streaming - Utilisez PRAW, TextBlob et l'API Google Python pour collecter et analyser les commentaires Reddit. Pousse les commentaires vers un topic Google Pub/Sub.
• Secret Manager Helper - Une bibliothèque Java pour remplacer facilement les chaînes de caractères placeholder par les secrets de Secret Manager.
• Service Account Provider - Un outil pour échanger les jetons JWT GitLab CI contre des jetons d'accès GCP IAM, afin de permettre aux jobs GitLab CI d'accéder aux API Google Cloud
• Site Verification Group Sync - Un outil pour provisionner les permissions de « propriétaire vérifié » (pour créer des buckets GCS avec un DNS personnalisé) en fonction de l'appartenance à un groupe Google.
• SLO Generator - Un package Python qui automatise le calcul des objectifs de niveau de service, des budgets d'erreur et des taux de consommation (burn rates) sur GCP, et exporte les résultats vers les exportateurs disponibles (par exemple : PubSub, BigQuery, Stackdriver Monitoring), en utilisant des politiques écrites au format JSON.
• Snowflake_to_BQ - Un script shell pour transférer des tables (schéma et données) de Snowflake vers BigQuery.
• SPIFFE GCP Proxy - Un outil pour faciliter l'intégration des workloads On-Prem pris en charge par SPIFFE avec les API GCP en utilisant Workload Identity Federation
• STS Job Manager - Un outil de migration de buckets à l'échelle du pétaoctet utilisant Storage Transfer Service
• Vector Search Load Testing Framework - Ce framework fournit une solution rationalisée pour les tests de charge distribués des endpoints Vertex AI Vector Search sur Google Kubernetes Engine (GKE) en utilisant Locust. Il vous permet de simuler des workloads proches de la production pour évaluer efficacement les performances, analyser l'évolutivité et valider les configurations de déploiement.
• [Vertex AI Endpoint Tester] (tools/vertex-ai-endpoint-load-tester) - Cet utilitaire aide à tester méthodiquement une variété de Vertex AI Endpoints selon leur taille, afin de pouvoir choisir la bonne taille pour déployer un modèle ML sur Vertex AI, à partir d'un exemple de requête JSON et d'une estimation des requêtes attendues par seconde.
• Vertex AI Endpoint Tester - Cet utilitaire aide à tester méthodiquement une variété de Vertex AI Endpoints selon leur taille, afin de pouvoir choisir la bonne taille pour déployer un modèle ML sur Vertex AI, à partir d'un exemple de requête JSON et d'une estimation des requêtes attendues par seconde.
• VM Migrator - Cet utilitaire automatise la migration d'instances de machines virtuelles dans GCP. Vous pouvez migrer des VM d'une zone vers une autre zone/région dans le même projet ou dans des projets différents, tout en conservant toutes les propriétés d'origine de la VM, comme les disques, les interfaces réseau, l'IP, les métadonnées, les tags réseau et bien plus encore.
• VPC Flow Logs Analysis - Un sink de journaux configurable + un rapport BigQuery qui affiche le trafic attribué aux projets dans les Shared VPC.
• VPC Flow Logs Enforcer - Une Cloud Function qui active automatiquement les VPC Flow Logs lorsqu'un sous-réseau est créé ou modifié dans tout projet sous un ou plusieurs dossiers spécifiques.
• VPC Flow Logs Top Talkers - Un sink de journaux configurable + une vue BigQuery pour générer des rapports de trafic agrégés mensuels/quotidiens par sous-réseau ou hôte, avec l'étiquetage configurable des plages d'adresses IP et des ports.
• Webhook Ingestion Data Pipeline - Une application déployable pour accepter et ingérer des données webhook non authentifiées dans BigQuery.
• XSD to BigQuery Schema Generator - Un outil en ligne de commande pour convertir un schéma XSD représentant un contenu XML profondément imbriqué et répété en un schéma de table compatible BigQuery représenté en JSON.
• Numeric Family Recommender - Oracle - Le Numeric Family Recommender est un script de base de données qui recommande le meilleur type de données numérique pour le type NUMBER lors de la migration de bases de données héritées comme Oracle vers des plateformes Google Cloud comme BigQuery, AlloyDB, Cloud SQL pour PostgreSQL et Google Cloud Storage.
• Cloud Composer Stress Testing - Une collection d'outils visant à tester, benchmarker et simuler des workloads dans Composer. Idéal pour les tests d'intégration et l'expérimentation de différentes configurations d'environnement.
• Cloud Composer Environment Rotator - Fait passer les ressources Airflow d'un ancien environnement Composer vers un nouvel environnement Composer avec un temps d'arrêt minimal. Idéal pour les mises à jour d'environnement non sur place, les rétrogradations de version d'environnement ou les migrations vers différentes régions.
• Gradio and Generative AI Example - Le code d'exemple permet aux développeurs de créer rapidement des applications PoC en IA générative avec Gradio et les agents Gen AI.
• Memorystore Cluster Ops Framework - Il s'agit d'un framework qui fournit les outils pour appliquer des opérations au niveau du cluster, permettant des capacités comme les sauvegardes de cluster, la migration et la validation, etc. Le framework peut être étendu pour d'autres cas d'usage selon les besoins. Le framework utilise RIOT pour combler les lacunes actuelles du produit avec Memorystore Clusters
• ML Project Generator - Un utilitaire pour créer un modèle de projet ML de niveau production avec les meilleurs outils de productivité installés, comme l'auto-formatage, les vérifications de licence, le linting, etc.
• Policy Tags Engine - Cet outil permet aux développeurs d'appliquer automatiquement la sécurité au niveau des colonnes BigQuery (Policy Tags) en fonction de fichiers de métadonnées téléchargés dans un bucket Google Cloud Storage (GCS).
• Gemini CLI Health Dashboard - Cet outil permet aux développeurs de créer un dashboard personnalisé pour suivre la santé de la CLI Gemini en termes de taux de succès par rapport au taux d'erreur.## Contribuer

Consultez les instructions pour commencer à contribuer.

Contact

Les questions, problèmes et commentaires doivent être adressés à [email protected].