专业服务

由 Google Cloud 的专业服务团队开发的常见解决方案与工具。

免责声明

本仓库及其内容并非 Google 官方支持的产品。

许可证

本仓库中的所有解决方案均依据 Apache 2.0 许可证提供。有关更详细的条款与条件，请参阅 LICENSE 文件。

示例

examples 文件夹包含覆盖多种 Google Cloud Platform 产品的示例解决方案。您可以将这些解决方案作为参考，也可以对它们进行扩展以适配您的特定使用场景。* Anthos Service Mesh Multi-Cluster - 使用 Anthos Service Mesh 联合两个私有 GKE 集群的解决方案。

• Anthos CICD with Gitlab - 使用 Anthos 和 Gitlab 创建示例 CI/CD 解决方案的分步指南。
• Audio Content Profiling - 一种工具，可 构建流水线，使用机器学习 API 规模化审核音频文件中 不当内容的过程。
• Bigdata generator - 用于生成大量数据以对大数据解决方案（如 BigQuery）进行压力测试的解决方案。 对于每个要生成的字段，您可以指定生成其值的规则。生成的数据可存储在 BigQuery 或 GCS（Avro、CSV）中。
• BigQuery Analyze Realtime Reddit Data - 用于在 Google Cloud Platform 上部署（reddit）社交媒体数据收集 架构的解决方案。实时分析 Reddit 评论，并提供免费的自然语言处理/情感分析。
• BigQuery Audit Log Dashboard - 帮助 审计 BigQuery 使用情况的解决方案，使用 Data Studio 进行可视化，并使用示例 SQL 脚本查询由审计日志组成的后端数据源。
• BigQuery Audit Log Anomaly Detection - 使用 BigQuery 审计日志进行自动化异常检测和 离群值分析的示例。生成用户友好的图表，以便快速分析 bq 环境。
• BigQuery Automated Email Exports - 无服务器 解决方案，用于按计划时间间隔自动通过电子邮件发送 BigQuery 导出结果。 电子邮件将包含指向签名或未签名 URL 的链接，允许收件人以 JSON、CSV 或 Avro 文件形式查看查询结果。
• BigQuery Automated Schema Management - 命令行工具， 用于自动化配置和管理 BigQuery 数据集和表。
• BigQuery Billing Dashboard - 帮助 使用 Data Studio 显示计费信息的解决方案，用于可视化，并附有示例 SQL 脚本以查询 BigQuery 中的后端计费导出表。
• BigQuery Cross Project Slot Monitoring - 帮助监控多个项目中槽位利用率的解决方案，同时按项目细分分配情况。
• BigQuery Data Consolidator - 将组织内多个项目中的数据整合到 一个目标 Dataset/Table 中的解决方案，其中所有源表具有相同 schema（如 Billing Exports！）； 特别适用于 Cloud FinOps 工作中的数据整合和进一步报告。
• BigQuery DDL Validator - 一种实用工具，用于读取 Legacy DDL 并将其与先前提取的 DDL 进行比较，并 输出不再匹配的 DDL 对象名称。
• BigQuery Group Sync For Row Level Access - 示例代码，用于将 G Suite/Cloud Identity 中的组成员身份同步到 BigQuery，并将其与您的数据连接以控制行级访问。
• BigQuery Long Running Optimization Utility - 一种实用工具，读取整个 SQL 并提供一系列建议，帮助优化查询并避免长时间运行的问题。
• BigQuery Oracle DDL Migration Utility - Oracle DDL 迁移实用工具，用于将表 schema（DDL）从 Oracle DB 迁移到 BigQuery。 该实用工具利用 BigQuery Translation API，并提供额外功能， 例如添加分区、聚簇、元数据列和表名前缀。
• BigQuery Pipeline Utility - 用于在 BigQuery 中 定义数据流水线的 Python 实用工具类。
• BigQuery Remote Function - 允许用户使用 SQL 或 Javascript（不属于 UDF 一部分）之外的语言实现自定义 服务或库。该实用工具包含示例字符串格式的 Java 代码，用于部署 Cloud Run gen2 实例，并通过远程函数从 BigQuery 调用该服务。
• BigQuery Amazon S3 Migration Tool - BigQuery 迁移工具，用于根据提供的配置将数据从 Amazon S3 中的文件传输到 BigQuery 表。
• BigQuery Snowflake TabRle Migration Tool - BigQuery Snowflake 表迁移工具，帮助将表 DDL 从 Snowflake 迁移到 BigQuery。 该实用工具利用 BigQuery Translation API，并提供额外功能， 例如添加分区、聚簇、元数据列和表名前缀。
• BigQuery Table Access Pattern Analysis - 示例代码，通过查明数据仓库 ELT 作业中表之间的次优流水线调度， 分析数据流水线优化点。
• BigQuery Tink Toolkit - Python 实用工具类， 用于在本地或 GCP 系统中使用基于 Tink 的密码学，其方式 与 BigQuery 的字段级加密互操作。包含一个示例 PySpark 作业，以及用于生成和上传 KMS 加密 Tink keyset 到 BigQuery 的脚本。
• BigQuery to XML Export - Python 工具，接收 BigQuery 查询并将输出作为 XML 字符串返回。
• BigQuery Translation Validator - 一种 Python 实用工具，用于比较 2 个 SQL 文件并指出基本差异，如列名、表名、连接、函数名、is-Null 和查询语法。
• BigQuery Generic DDL Migration Utility - 通用 DDL 迁移实用工具，用于将表 schema（DDL）从数据库（Oracle、Snowflake、MSSQL、Vertica、Neteeza）迁移到 BigQuery。 该实用工具利用 BigQuery Translation API，并提供额外功能， 例如添加分区、聚簇、元数据列和表名前缀。
• Bigtable Dataflow Cryptocurrencies Exchange RealTime Example - Apache Beam 示例，作为 Google Cloud Dataflow 流水线从 Crypto Exchanges WebSocket API 读取数据， 并将数据流保存到 Google Cloud Bigtable。 包含在 Flask 服务器上运行的 GCP Bigtable 实时可视化和查询示例。
• Bigtable Dataflow Update Table Key Pipeline - Dataflow 流水线示例，演示如何更新现有表的键。 它适用于任何表，无论 schema 如何。它展示了如何为已有数据的表更新键， 以尝试不同的替代方案来提高性能。
• Carbon Footprint Reporting - 使用 预构建的 Data studio 和 Looker 模板分析 GCP Carbon Footprint Estimates 的示例。
• Cloud Audit Log Samples - 审计日志示例 集合，供用户和客户更好地理解各种日志事件中包含的结构、 内容和值。
• Cloud Build Application CICD Examples - Cloud Build 应用程序 CI/CD 示例，如容器化以及部署到 Cloud Run。
• Cloud Build with Proxy Running in Background - 使用 docker-compose 在后台为所有构建步骤运行 tcp 代理的 cloudbuild 示例。
• Cloud Composer CI/CD - 使用 Cloud Build 将 airflow DAG 部署到 Cloud Composer 的示例。
• Cloud Composer Deployment in Shared VPC - 用于在共享 VPC 环境中部署 cloud composer 的 Terraform 代码。
• Cloud Composer Dependency Management - Cloud Composer 依赖管理示例，旨在编排 Apache Airflow 中复杂的任务依赖关系， 解决跨不同时间频率（年度、月度、周度等）管理父子 DAG 关系的挑战。
• Cloud Composer Examples - 使用 Cloud Composer（GCP 托管的 Apache Airflow 服务）的示例。
• Cloud Data Fusion Functions and Plugins - Cloud Data Fusion 函数和插件的示例。
• Cloud DNS load balancing - 利用 Cloud DNS 负载均衡和多种 Google Cloud 负载均衡器类型，为 GCE VM 和基于 Cloud Run 的应用提供的多区域 HA 设置。
• Cloud DNS public zone monitoring - 使用基于日志的指标和 Cloud Monitoring 可视化 Cloud DNS 公网区域查询数据。
• Cloud Function Act As - 以 GitHub Workload Identity 调用者的身份并利用其 IAM 权限执行 Cloud Function 的示例。
• Cloud Function VM Delete Event Handler Example - 在 VM 被删除时自动删除 Cloud DNS 中 A 记录的解决方案。 此解决方案实现了一个由通过 Stackdriver Logs Export 发布的 compute.instances.delete 事件触发的 Google Cloud Function Background Function。
• Certificate Authority Service Hierarchy - 根和从属证书颁发机构服务 CA 池和 CA，包含域名所有权验证示例和示例负载测试脚本。
• Cloud Run to BQ - 在 HTTP REST 端点上接受事件/数据 并插入 BQ 的解决方案。
• Cloud Run CRL Monitor - 基于 Cloud Run 的解决方案，用于持续监控 CRL 分发端点，包括 CRL 有效性验证和告警。
• Cloud SQL Custom Metric - 创建用于监控 Cloud SQL Private Services IP 消耗的 Stackdriver 自定义指标的示例。
• Cloud Support API - 使用 Cloud Support API 的示例代码
• CloudML Bank Marketing - 使用 CloudML 为营销创建 分类模型的 Notebook。
• CloudML Bee Health Detection - 根据蜜蜂图像及其亚种检测蜜蜂是否不健康。
• CloudML Churn Prediction - 使用生存分析预测 用户的流失倾向。
• CloudML Customer Support and Complaint Handling - BigQuery + AutoML 流水线，根据预期的解决方案对客户投诉进行分类； 可适用于其他支持沟通用例。
• CloudML Deep Collaborative Filtering - 根据给定用户或歌曲推荐歌曲。
• CloudML Energy Price Forecasting - 基于历史价格和天气预测未来能源价格。
• CloudML Fraud Detection - 用于信用卡交易的欺诈 检测模型。
• CloudML Scikit-learn Pipeline - 这是 一个构建基于 scikit-learn 的机器学习流水线训练器的示例， 可在 AI Platform 上运行。该流水线可在本地或 AI platform 上远程训练。 训练后的模型可进一步部署在 AI platform 上以服务在线流量。
• CloudML Sentiment Analysis - 使用 TensorFlow RNNEstimator 对电影评论进行情感分析。
• CloudML TensorFlow Profiling - 用于使用 CloudML 训练模型的 TensorFlow 性能分析示例
• 🚀 Creative Studio - Creative Studio 是一个全面的、一体化的生成式 AI 平台，设计为可部署到您自己的 Google Cloud 项目中的解决方案。它作为强大的参考实现和创意套件，展示 Google 在 Vertex AI 上最先进生成式 AI 模型的全部能力。 该应用专为创作者、营销人员和开发人员打造，提供与尖端多模态能力的动手互动体验。
• Data Generator - 使用自定义 schema 大规模生成随机数据，用于集成测试或演示。
• Dataflow BigQuery Transpose Example - 转置/透视/旋转 BigQuery 表的示例流水线。
• Dataflow Custom Templates Example - 演示如何构建自定义 Dataflow 模板的示例。
• Dataflow Elasticsearch Indexer - 示例流水线，演示从 Cloud Pub/Sub 读取 JSON 文档、 使用 Cloud Bigtable 中存储的元数据增强文档，并将这些文档索引到 Elasticsearch 的过程。
• Dataflow BigQuery to AlloyDB - 演示如何使用 Dataflow 将数据从 BigQuery 移动到 AlloyDB 表的示例。
• Dataflow Flex Template in Restricted Networking Env - 示例实现了一个 python flex 模板，可在因出口流量限制而无法下载 python 包的环境中运行。
• Dataflow Python Examples - 使用 Dataflow Python SDK 的各种 ETL 示例。
• Dataflow Streaming Benchmark - 以配置的 QPS 向 Cloud Pub/Sub 主题发布随机假 JSON 消息的 实用工具。
• Dataflow Streaming Schema Changes Handler - 使用 schema 强制和 DLT 方法处理 schema 变更的 Dataflow 示例
• Dataflow Streaming XML to GCS - 处理 xml 编码消息流并将其写入 Google Cloud Storage 的 Dataflow 示例
• Dataflow – DLP Flex De-ID (CSV from GCS to BigQuery) - Dataflow Flex 模板，从 Cloud Storage 批量读取 CSV 行，使用 Sensitive Data Protection (DLP) 进行去标识化，并写入 BigQuery。
• Dataflow DLP Hashpipeline - 将 DLP 社会安全号码发现结果与 Firestore 中的哈希字典进行匹配。 使用 Secret Manager 存储哈希密钥。
• Dataflow Template Pipelines - 用于解决 Google Cloud Platform 上常见数据任务的 预实现 Dataflow 模板流水线。
• Dataflow Production Ready - 围绕 Beam、流水线结构化、测试 和持续部署的最佳实践参考实现。
• Dataflow XML to BigQuery - 通过 XMLIO 使用 DataFlow 将 XML 数据加载到 BigQuery 的示例。
• Data Loss Prevention hybrid inspection for MongoDB - 使用 MongoDB Change Streams 的 Cloud Function，利用 Sensitive Data Protection 的 混合 Data Loss Prevention 检查 API 进行近实时检查。
• Dataproc Spanner - 使用 Scala 中的 Apache Spark 将 Dataproc 集群写入 Spanner。
• Dataproc GCS Connector - 在适用于 Dataproc 的 GCS Connector 上安装和测试 未发布的功能。
• Dataproc Job Optimization Guide - 优化示例 Dataproc 作业的 分步指南。
• Dataproc Persistent History Server for Ephemeral Clusters - 将日志从临时集群写入 GCS，并使用单独的单节点集群查看 Spark 和 YARN History UI 的示例。
• Dataproc Lifecycle Management via Composer - 通过 Composer 进行临时 Dataproc 生命周期管理和资源优化，使用 Terraform 模板部署 Composer 及附加需求，根据作业配置文件动态生成 DAG。
• Dataproc Running Notebooks - 通过 PySpark 作业在 Dataproc 集群上编排运行 Jupyter Notebook 的工作流
• dbt-on-cloud-composer - 使用 dbt 管理 BigQuery 数据流水线的示例，利用 Cloud Composer 运行和 调度 dbt 运行。
• Data Format Description Language (DFDL) Processesor with Firestore and Pubsub - 使用 DFDL 定义和 Daffodil 库处理 二进制的示例。DFDL 定义存储在 firestore 中，处理请求通过 pubsub 订阅完成，输出以 JSON 格式发布到 Pubsub 主题中。
• Data Format Description Language (DFDL) Processesor with Bigtable and Pubsub - 使用 DFDL 定义和 Daffodil 库处理 二进制的示例。DFDL 定义存储在 bigtable 中，处理请求通过 pubsub 订阅完成，输出以 JSON 格式发布到 Pubsub 主题中。
• Dialogflow Webhook Example - 用 Python 编写的 dialogflow Webhook 示例。
• Dialogflow CX Private Webhook Example - 用 Python 编写的 Dialogflow CX Webhook 示例。
• Dialogflow Middleware Example - 用 Java 编写的 Dialogflow 中间件示例。
• Dialogflow Entities Creation and Update - 用 Python 创建和更新 Dialogflow 实体。
• DLP API Examples - DLP API 使用示例。
• Ephemeral Projects - 为沙盒目的创建短期 gcp 项目。
• FinOps Agent - 一个多代理 FinOps 代理，可将自然语言转换为 BigQuery SQL，以分析云计费数据并执行企业治理。
• GCE Access to Google AdminSDK - 帮助使用 GCE 的服务账号身份管理对 Google AdminSDK 访问权限的示例
• GCS Client Side Encryption via Sidecar - 演示如何通过 sidecar 实现 GCS 客户端加密的示例
• GCS Hive External Table File Optimization - 展示文件数量、文件大小和文件类型对 Hive 外部表和查询速度影响的示例解决方案。
• GCS to BQ using serverless services - 使用 Cloud Function、Pub/Sub 和 Serverless Spark 等无服务器服务将 GCS 数据摄取到 BigQuery 的示例。
• GDCE Terraform Example - 使用 terraform 配置 GDCE 资源的示例。
• GKE Control Plane Authority - 使用自带密钥和证书颁发机构以及控制平面功能相关日志运行高级控制的示例
• GKE HA setup using spot VMs - 使用按需节点作为回退，在 GKE spot 节点上运行具有高可用性要求的 应用程序的示例
• Grpc Server connected to Spanner Database - 连接到 Spanner 数据库的 Grpc 服务器基本示例。
• Grpc Server connected to Redis - 连接到 Redis 的 Grpc 服务器基本示例。
• Gitlab KAS agent for GKE - 用于部署 Gitlab KAS 代理的 Terraform 解决方案，以将容器部署从 Gitlab 仓库同步到 GKE 集群
• Home Appliance Status Monitoring from Smart Power Readings - 一个端到端演示系统，包含 IoT Core、ML Engine、BigQuery 等 一系列 Google Cloud Platform 产品。
• IAM Deny Policies with Terraform - 演示使用 IAM Deny 和组织策略来实施安全护栏。
• IAP User Profile - 从启用 IAP 的 GAE 应用程序检索用户 配置文件的示例。
• IoT Nirvana - 运行在 Google Cloud Platform 上的端到端物联网 架构。
• Kubeflow Pipelines Sentiment Analysis - 创建 Kubeflow Pipelines 组件和流水线，使用 Cloud Dataflow（Apache Beam Java） 和 Cloud Natural Language API 分析《纽约时报》头版头条的情感。
• Kubeflow Fairing Example - 提供 三个 notebook 来演示使用 Kubeflow Faring 在本地或云端 （AI platform 训练或 Kubeflow 集群）训练机器学习作业（Scikit-Learn、XGBoost、Tensorflow）的用法。
• Left-Shift Validation Pre-Commit Hook - 一个使用一组 Bash 脚本设置 pre-commit 钩子的示例， 该钩子使用来自您选择的源的 Gatekeeper 约束和约束模板验证 Kubernetes 资源。
• Gemini Live Multimodal Avatar - 用于低延迟、实时数字人顾问的企业蓝图。基于 Gemini Live API (Multimodal Live) 构建， 具备同步视频化身、实时音频流，以及使用 Model Context Protocol (MCP) 的可扩展工具集成。
• LookerStudio Cost Optimization Dashboard - 帮助构建成本优化 LookerStudio Dashboard 的 SQL 脚本。
• Migrate Kafka to GMK using MM2 - 使用 MirrorMaker2 在 两个 Google Managed Kafka 集群之间迁移数据的 Terraform 代码
• Personal Workbench Notebooks Deployer - Terraform 示例模块， 使用个人认证集群配置 Dataproc Hub，并为个人分析用户提供 workbench 托管 notebook。
• Project factory with Terragrunt - 这实现了一种 State-Scalable 项目工厂模式，使用 Terragrunt 和公共 Terraform 模块创建 Google Cloud Platform 项目
• Python CI/CD with Cloud Builder and CSR - 使用 Cloud Builder 和 Cloud Source Repositories 自动化测试 和 lint 的示例。
• Pub/Sub Client Batching Example - Pub/Sub Java 客户端 API 中的批处理。
• QAOA - 解析专有格式的 max-SAT 问题的示例，用于量子近似优化算法 (QAOA)
• React single-page app on Cloud Run + Cloud Storage - 在无服务器 Google Cloud 服务上部署 React SPA 的端到端示例。
• Redis Cluster on GKE Example - 在 GKE 上部署 Redis 集群。
• Risk Analysis Asset - 在 Cloud Run 上部署可靠性风险分析工具。
• slo-assistant - 用于自动化站点可靠性工程的 AI 驱动 SLO 顾问
• Spanner Interleave Subquery - 用于对交错表的 Cloud Spanner 子查询进行基准测试的示例代码。
• Spanner Change Stream to BigQuery using Dataflow - 用于部署 Spanner change stream 并使用 Dataflow Streaming Job 将变更发布到 BigQuery 的 Terraform 代码。
• Spinnaker - 用于 Canary / Production 部署流程的示例流水线。
• STS Metrics from STS Notification - 从 STS 通知 生成自定义指标的示例代码。
• TensorFlow Serving on GKE and Load Testing - 如何在 GKE 上实现 Tensorflow 模型推理并对该解决方案进行 负载测试的示例。
• TensorFlow Unit Testing - 如何为 TensorFlow ML 模型编写 单元测试的示例。
• Terraform Internal HTTP Load Balancer - 演示如何部署 内部 HTTP 负载均衡器的 Terraform 示例。
• Terraform NetApp CVS - 此示例演示如何使用 terraform 部署 NetApp CVS 卷。
• Terraform Resource Change Policy Library - 包含一个以 OPA Constraint Framework 格式编写的策略库，供 gcloud beta terraform vet 在 CI/CD 流水线中验证 Terraform 资源 变更时使用。
• Uploading files directly to Google Cloud Storage by using Signed URL - 通过使用 Signed URL 直接将文件上传到 GCS 的示例架构。
• TSOP object transfer Log prosessor - 此示例演示了如何将 TSOP 的对象传输日志记录到 Cloud Logging。
• GCS CSV files to BigQuery - 此示例演示如何加载存储在 GCS 中的 CSV 格式文件到 BigQuery 表中。文件可以是未压缩的，也可以采用 Bzip2、GZIP 等格式压缩。支持的压缩方法列表请参阅 https://beam.apache.org/releases/javadoc/current/org/apache/beam/sdk/io/Compression.html。
• MCP Toolbox & Claude Integration - 一个面向酒店预订的专用 GenAI Slack 代理，使用 Spring Boot AI、BigQuery、CloudRun、MCP Toolbox 和 Claude LLM 构建。## 工具

tools 文件夹包含现成的实用程序，可以简化 Google Cloud Platform 的使用。* agent-eval - 一个用于 ADK 智能体的 Vertex AI 生成式 AI 评估服务的手把手式 CLI 演练。 它驱动完整的评估循环 — 设置 GCP、搭建指标 + 数据集脚手架、收集追踪（UserSim 多轮 + DIY 单轮）、使用 Vertex 的 client.evals.evaluate() 评分， 并编写一份包含 Gemini 撰写的诊断的自包含 HTML 报告。 同时呈现确定性指标（token、成本、延迟、缓存命中、推理比率）与 LLM 作为裁判的指标，让你在同一页面上看到代码质量 和运行时成本。

• Agile Machine Learning API - 一个 Web 应用程序，提供在 Google Cloud Machine Learning Engine 上训练和部署 ML 模型的能力，并通过简单的 POST 请求使用 LIME 可视化预测结果。
• Airflow DAG Metadata Generator - 使用 Google 的 生成式模型分析 Airflow DAG，并为其补充生成的 description、 tags 和 doc_md 值。
• Airflow States Collector - 一个创建 airflow dag 并将其上传到 dags GCS 文件夹的工具。该 dag 增量收集 airflow 任务状态并存储到 BQ。它还会自动生成一个查询 BQ 视图的 LookerStudio 仪表板。
• Airpiler - 一个将 Autosys JIL 文件转换为 dag-factory 格式的 Python 脚本，以便在 Cloud Composer（托管的 airflow 环境）中执行。
• Ansible Module for Anthos on Bare Metal - 用于在裸机（Bare Metal）上安装 Anthos 的 Ansible 模块
• Anthos Bare Metal Installer - 一个可用于 安装 Anthos Bare Metal 的 ansible playbook。
• Apache Beam Client Throttling - 一个可用于 限制 Apache Beam 管道向外部服务发送请求数量的库。它会缓冲请求以避免 外部服务过载，并在服务因配额不足错误开始拒绝请求时激活 客户端限流。
• API Key Rotation Checker - 一个检查你的 GCP 组织中的 API 密钥，并将其与可自定义的轮换周期进行比较的工具。 定期轮换 API 密钥是 Google 和行业标准推荐的 最佳实践。
• AssetInventory - 将 Cloud Asset Inventory 资源导入 BigQuery。

请参阅贡献说明以开始参与贡献。

联系方式

如有疑问、问题或意见，请发送至 [email protected]。