Skip to content
KitploitKITPLOIT
ИнструментыБлог
Отправить
ИнструментыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

··Ленты·Контакты·Конфиденциальность·© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
professional-services — Коллекция примеров решений Google Cloud и операционных утилит для мониторинга журналов аудита, деидентификации DLP, управления ключами шифрования и шаблонов IAM. | Kitploit
Инструменты/GitHubGitHub/googlecloudplatform/professional-services
Утилиты общего назначенияКриптографияБезопасность облачных средКонфиденциальностьУправление идентификацией и доступом (IAM)Инженерия ХаосаОбнаружение АномалийАнализ ЖурналовТоп в Инженерия Хаоса №14
GitHubgooglecloudplatform/professional-services

professional-services

Коллекция примеров решений Google Cloud и операционных утилит для мониторинга журналов аудита, деидентификации DLP, управления ключами шифрования и шаблонов IAM.

Репозиторий
3.1k1.5k541 день назадПроверено Kitploit

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →
Поделиться

Professional Services

Общие решения и инструменты, разработанные командой Professional Services в Google Cloud.

Отказ от ответственности

Этот репозиторий и его содержимое не являются официально поддерживаемым продуктом Google.

Лицензия

Все решения в этом репозитории предоставляются под лицензией Apache 2.0. Подробные условия см. в файле LICENSE.

Open in Cloud Shell

Примеры

Папка examples содержит примеры решений для различных продуктов Google Cloud Platform. Используйте эти решения как образец для своих собственных проектов или расширяйте их под свой конкретный сценарий.* Anthos Service Mesh Multi-Cluster - Решение для объединения двух частных кластеров GKE с помощью Anthos Service Mesh.

  • Anthos CICD with Gitlab - Пошаговое руководство по созданию примера решения CI/CD с использованием Anthos и Gitlab.
  • Audio Content Profiling - Инструмент, который создаёт конвейер для масштабирования процесса модерации аудиофайлов на предмет нежелательного контента с использованием API машинного обучения.
  • Bigdata generator - Решение, которое генерирует большие объёмы данных для нагрузочного тестирования bigdata-решений (например, BigQuery). Для каждого поля, которое вы хотите сгенерировать, можно указать правила генерации значений. Сгенерированные данные можно сохранять в BigQuery или GCS (Avro, CSV).
  • BigQuery Analyze Realtime Reddit Data - Решение для развёртывания архитектуры сбора данных социальной сети (reddit) в Google Cloud Platform. Анализирует комментарии reddit в реальном времени и предоставляет бесплатную обработку естественного языка / анализ тональности.
  • BigQuery Audit Log Dashboard - Решение, помогающее аудировать использование BigQuery с помощью Data Studio для визуализации и образца SQL-скрипта для запросов к серверному источнику данных, состоящему из журналов аудита.
  • BigQuery Audit Log Anomaly Detection - Пример использования журналов аудита BigQuery для автоматического обнаружения аномалий и анализа выбросов. Генерирует удобные для пользователя графики для быстрого анализа среды bq.
  • BigQuery Automated Email Exports - Бессерверное решение для автоматизации отправки результатов экспорта BigQuery по электронной почте по расписанию. Письмо будет содержать ссылку на подписанный или неподписанный URL, позволяющую получателю просматривать результаты запроса в виде файла JSON, CSV или Avro.
  • BigQuery Automated Schema Management - Утилита командной строки для автоматического создания и управления наборами данных и таблицами BigQuery.
  • BigQuery Billing Dashboard - Решение, помогающее отображать информацию о биллинге с помощью Data Studio для визуализации и образца SQL-скрипта для запросов к серверной таблице экспорта биллинга в BigQuery.
  • BigQuery Cross Project Slot Monitoring - Решение, помогающее отслеживать использование слотов в нескольких проектах с разбивкой распределения по каждому проекту.
  • BigQuery Data Consolidator - Решение для консолидации данных внутри организации из нескольких проектов в один целевой набор данных/таблицу, где все исходные таблицы имеют одинаковую схему (например, экспорт биллинга!); особенно полезно для консолидации данных и дальнейшей отчётности в рамках Cloud FinOps.
  • BigQuery DDL Validator - Утилита, которая читает устаревший DDL, сравнивает его с ранее извлечённым DDL и выдаёт результат с именами объектов, для которых DDL больше не совпадает.
  • BigQuery Group Sync For Row Level Access - Пример кода для синхронизации членства в группах из G Suite/Cloud Identity в BigQuery и объединения этих данных с вашими данными для управления доступом на уровне строк.
  • BigQuery Long Running Optimization Utility - Утилита, которая читает весь SQL и предоставляет список рекомендаций, помогающих оптимизировать запрос и избежать проблем с длительным выполнением.
  • BigQuery Oracle DDL Migration Utility - Утилита миграции DDL Oracle для переноса схемы таблиц (DDL) из Oracle DB в BigQuery. Утилита использует BigQuery Translation API и предлагает дополнительные возможности, такие как добавление секционирования, кластеризации, колонок метаданных и префиксов к именам таблиц.
  • BigQuery Pipeline Utility - Класс утилиты Python для определения конвейеров данных в BigQuery.
  • BigQuery Remote Function - Позволяет пользователю реализовывать пользовательские сервисы или библиотеки на языках, отличных от SQL или Javascript, которые не являются частью UDF. Утилита содержит пример Java-кода для развёртывания экземпляра Cloud Run gen2 и вызова сервиса из BigQuery с помощью удалённой функции.
  • BigQuery Amazon S3 Migration Tool - Инструмент миграции BigQuery для переноса данных из файлов в Amazon S3 в таблицы BigQuery на основе предоставленной конфигурации.
  • BigQuery Snowflake TabRle Migration Tool - Инструмент миграции таблиц BigQuery Snowflake помогает переносить DDL таблиц из Snowflake в BigQuery. Утилита использует BigQuery Translation API и предлагает дополнительные возможности, такие как добавление секционирования, кластеризации, колонок метаданных и префиксов к именам таблиц.
  • BigQuery Table Access Pattern Analysis - Пример кода для анализа точек оптимизации конвейеров данных путём выявления неоптимального планирования конвейеров между таблицами в задаче ELT в хранилище данных.
  • BigQuery Tink Toolkit - Класс утилиты Python для работы с криптографией на основе Tink в локальных системах или системах GCP, совместимой с шифрованием на уровне полей BigQuery. Включает пример задания PySpark и скрипт для генерации и загрузки зашифрованных KMS наборов ключей Tink в BigQuery.
  • BigQuery to XML Export - Инструмент Python, который принимает запрос BigQuery и возвращает результат в виде XML-строки.
  • BigQuery Translation Validator - Утилита Python для сравнения двух SQL-файлов и выявления основных различий, таких как имена столбцов, имена таблиц, соединения, имена функций, is-Null и синтаксис запросов.
  • BigQuery Generic DDL Migration Utility - Универсальная утилита миграции DDL для переноса схемы таблиц (DDL) из базы данных (Oracle, Snowflake, MSSQL, Vertica, Neteeza) в BigQuery. Утилита использует BigQuery Translation API и предлагает дополнительные возможности, такие как добавление секционирования, кластеризации, колонок метаданных и префиксов к именам таблиц.
  • Bigtable Dataflow Cryptocurrencies Exchange RealTime Example - Пример Apache Beam, который читает данные из WebSocket API криптобирж в виде конвейера Google Cloud Dataflow и сохраняет поток в Google Cloud Bigtable. Включены примеры визуализации и запросов в реальном времени из GCP Bigtable, работающие на сервере Flask.
  • Bigtable Dataflow Update Table Key Pipeline - Конвейер Dataflow с примером того, как обновить ключ существующей таблицы. Работает с любой таблицей независимо от схемы. Показывает, как обновить ключ для таблицы с существующими данными, чтобы опробовать различные альтернативы для повышения производительности.
  • Carbon Footprint Reporting - Пример использования готового шаблона Data Studio и Looker для анализа оценок углеродного следа GCP.
  • Cloud Audit Log Samples - Пример коллекции журналов аудита для пользователей и заказчиков, чтобы лучше понять структуру, содержимое и значения, содержащиеся в различных событиях журнала.
  • Cloud Build Application CICD Examples - Примеры CI/CD Cloud Build для приложений, таких как контейнеризация и развёртывание в Cloud Run.
  • Cloud Build with Proxy Running in Background - Примеры cloudbuild с docker-compose, запускающим tcp-прокси в фоновом режиме для всех шагов сборки.
  • Cloud Composer CI/CD - Примеры использования Cloud Build для развёртывания DAG Airflow в Cloud Composer.
  • Cloud Composer Deployment in Shared VPC - Terraform-код для развёртывания Cloud Composer в среде с общей VPC.
  • Cloud Composer Dependency Management - Пример управления зависимостями Cloud Composer, предназначенный для оркестрации сложных зависимостей задач в Apache Airflow, который решает задачу управления связями родитель-потомок между DAG с различной временной частотой (ежегодно, ежемесячно, еженедельно и т.д.)
  • Cloud Composer Examples - Примеры использования Cloud Composer — управляемого сервиса Apache Airflow от GCP.
  • Cloud Data Fusion Functions and Plugins - Примеры функций и плагинов Cloud Data Fusion.
  • Cloud DNS load balancing - Мультирегиональная конфигурация высокой доступности (HA) для виртуальных машин GCE и приложений на базе Cloud Run, использующая балансировку нагрузки Cloud DNS и несколько типов балансировщиков нагрузки Google Cloud.
  • Cloud DNS public zone monitoring - Визуализация данных запросов к публичной зоне Cloud DNS с помощью метрик на основе журналов и Cloud Monitoring.
  • Cloud Function Act As - Пример выполнения Cloud Function от имени и с IAM-разрешениями вызывающего Workload Identity GitHub.
  • Cloud Function VM Delete Event Handler Example - Решение для автоматического удаления A-записей в Cloud DNS при удалении виртуальной машины. Это решение реализует Google Cloud Function Background Function, запускаемую по событиям compute.instances.delete, публикуемым через Stackdriver Logs Export.
  • Certificate Authority Service Hierarchy - Корневые и подчинённые пулы CA и центры сертификации Certificate Authority Service с примерами проверки владения доменом и образцом скрипта нагрузочного тестирования.
  • Cloud Run to BQ - Решение для приёма событий/данных через HTTP REST Endpoint и вставки их в BQ.
  • Cloud Run CRL Monitor - Решение на базе Cloud Run для непрерывного мониторинга конечных точек распространения CRL, включая проверку действительности CRL и оповещение.
  • Cloud SQL Custom Metric - Пример создания пользовательской метрики Stackdriver для мониторинга потребления IP-адресов Cloud SQL Private Services.
  • Cloud Support API - Пример кода с использованием Cloud Support API
  • CloudML Bank Marketing - Notebook для создания модели классификации для маркетинга с использованием CloudML.
  • CloudML Bee Health Detection - Определяет, нездорова ли пчела, на основе её изображения и подвида.
  • CloudML Churn Prediction - Прогнозирует склонность пользователей к оттоку с помощью анализа выживаемости.
  • CloudML Customer Support and Complaint Handling - Конвейер BigQuery + AutoML, классифицирующий жалобы клиентов на основе ожидаемого способа решения; адаптируется к другим сценариям использования коммуникаций службы поддержки.
  • CloudML Deep Collaborative Filtering - Рекомендует песни на основе пользователя или песни.
  • CloudML Energy Price Forecasting - Прогнозирование будущей цены на энергию на основе исторических цен и погоды.
  • CloudML Fraud Detection - Модель обнаружения мошенничества для транзакций по кредитным картам.
  • CloudML Scikit-learn Pipeline - Это пример создания обучающего конвейера машинного обучения на основе scikit-learn, который можно запускать в AI Platform. Конвейер можно обучать локально или удалённо в AI Platform. Обученную модель можно затем развернуть в AI Platform для обслуживания онлайн-трафика.
  • CloudML Sentiment Analysis - Анализ тональности отзывов о фильмах с использованием TensorFlow RNNEstimator.
  • CloudML TensorFlow Profiling - Примеры профилирования TensorFlow для обучения моделей с помощью CloudML
  • 🚀 Creative Studio - Creative Studio — это комплексная универсальная платформа генеративного ИИ, спроектированная как разворачиваемое решение для вашего собственного проекта Google Cloud. Она служит мощной эталонной реализацией и творческим набором инструментов, демонстрирующим весь спектр передовых моделей генеративного ИИ Google на Vertex AI. Созданное для креаторов, маркетологов и разработчиков, это приложение обеспечивает практический интерактивный опыт с новейшими мультимодальными возможностями.
  • Data Generator - Генерация случайных данных с пользовательской схемой в масштабе для интеграционных тестов или демонстраций.
  • Dataflow BigQuery Transpose Example - Пример конвейера для транспонирования/поворота/вращения таблицы BigQuery.
  • Dataflow Custom Templates Example - Пример, демонстрирующий, как создавать пользовательские шаблоны Dataflow.
  • Dataflow Elasticsearch Indexer - Пример конвейера, демонстрирующий процесс чтения JSON-документов из Cloud Pub/Sub, обогащения документов с помощью метаданных, хранящихся в Cloud Bigtable, и индексации этих документов в Elasticsearch.
  • Dataflow BigQuery to AlloyDB - Пример, показывающий, как перемещать данные из BigQuery в таблицу AlloyDB с помощью Dataflow.
  • Dataflow Flex Template in Restricted Networking Env - Пример реализует гибкий шаблон (flex template) Python, который можно запускать в среде, где рабочие узлы не могут загружать пакеты Python из-за ограничений исходящего трафика.
  • Dataflow Python Examples - Различные примеры ETL с использованием Dataflow Python SDK.
  • Dataflow Streaming Benchmark - Утилита для публикации случайных фиктивных JSON-сообщений в тему Cloud Pub/Sub с заданным QPS.
  • Dataflow Streaming Schema Changes Handler - Пример Dataflow для обработки изменений схемы с использованием принудительного применения схемы и подхода DLT
  • Dataflow Streaming XML to GCS - Пример Dataflow для обработки потоковой передачи XML-кодированных сообщений и записи их в Google Cloud Storage
  • Dataflow – DLP Flex De-ID (CSV from GCS to BigQuery) - Гибкий шаблон Dataflow (Flex Template), который пакетно обрабатывает строки CSV из Cloud Storage, де-идентифицирует их с помощью Sensitive Data Protection (DLP) и записывает в BigQuery.
  • Dataflow DLP Hashpipeline - Сопоставляет результаты DLP по номерам социального страхования с хешированным словарём в Firestore. Используйте Secret Manager для хранения ключа хеширования.
  • Dataflow Template Pipelines - Готовые конвейеры-шаблоны Dataflow для решения типовых задач с данными в Google Cloud Platform.
  • Dataflow Production Ready - Эталонная реализация лучших практик по Beam, структурированию конвейеров, тестированию и непрерывному развёртыванию.
  • Dataflow XML to BigQuery - Пример загрузки XML-данных в BigQuery с помощью DataFlow через XMLIO.
  • Data Loss Prevention hybrid inspection for MongoDB - Cloud Function с использованием MongoDB Change Streams, применяющая гибридный API проверки Data Loss Prevention от Sensitive Data Protection в режиме, близком к реальному времени.
  • Dataproc Spanner - Запись из кластера Dataproc в Spanner с использованием Apache Spark на Scala.
  • Dataproc GCS Connector - Установка и тестирование невыпущенных функций GCS Connector для Dataproc.
  • Dataproc Job Optimization Guide - Пошаговое руководство по оптимизации образца задания Dataproc.
  • Dataproc Persistent History Server for Ephemeral Clusters - Пример записи журналов из эфемерного кластера в GCS и использования отдельного одноузлового кластера для просмотра History UIs Spark и YARN.
  • Dataproc Lifecycle Management via Composer - Управление жизненным циклом эфемерных кластеров Dataproc и оптимизация ресурсов через Composer, шаблон Terraform для развёртывания Composer и дополнительных требований, динамически генерируемые DAG из файлов конфигурации заданий.
  • Dataproc Running Notebooks - Оркестрация рабочего процесса запуска Jupyter Notebook на кластере Dataproc с помощью задания PySpark
  • dbt-on-cloud-composer - Пример использования dbt для управления конвейерами данных BigQuery с применением Cloud Composer для запуска и планирования выполнений dbt.
  • Data Format Description Language (DFDL) Processesor with Firestore and Pubsub - Пример обработки двоичного файла с использованием определения DFDL и библиотек Daffodil. Определение DFDL хранится в Firestore, запрос на обработку выполняется через подписку Pub/Sub, а результат публикуется в формате JSON в теме Pub/Sub.
  • Data Format Description Language (DFDL) Processesor with Bigtable and Pubsub - Пример обработки двоичного файла с использованием определения DFDL и библиотек Daffodil. Определение DFDL хранится в Bigtable, запрос на обработку выполняется через подписку Pub/Sub, а результат публикуется в формате JSON в теме Pub/Sub.
  • Dialogflow Webhook Example - Пример вебхука для Dialogflow на Python.
  • Dialogflow CX Private Webhook Example - Пример вебхука для Dialogflow CX на Python.
  • Dialogflow Middleware Example - Пример промежуточного ПО (middleware) для Dialogflow на Java.
  • Dialogflow Entities Creation and Update - Создание и обновление сущностей для Dialogflow на Python.
  • DLP API Examples - Примеры использования DLP API.
  • Ephemeral Projects - Создание недолговечных проектов GCP для целей песочницы.
  • FinOps Agent - Мультиагентный FinOps-агент, который преобразует естественный язык в SQL BigQuery для анализа данных о биллинге облака и обеспечения корпоративного управления.
  • GCE Access to Google AdminSDK - Пример, помогающий управлять доступом к AdminSDK Google с использованием идентичности сервисного аккаунта GCE
  • GCS Client Side Encryption via Sidecar - Пример, показывающий, как реализовать шифрование на стороне клиента GCS через sidecar
  • GCS Hive External Table File Optimization - Пример решения, демонстрирующий влияние количества файлов, размера файлов и типа файлов на внешние таблицы Hive и скорость запросов.
  • GCS to BQ using serverless services - Пример загрузки данных из GCS в BigQuery с использованием бессерверных сервисов, таких как Cloud Function, Pub/Sub и Serverless Spark.
  • GDCE Terraform Example - Пример подготовки ресурсов GDCE с помощью Terraform.
  • GKE Control Plane Authority - Пример расширенного контроля с использованием собственных ключей и центров сертификации, а также связанных журналов для функций плоскости управления
  • GKE HA setup using spot VMs - Пример запуска приложения с требованиями высокой доступности на spot-узлах GKE с использованием on-demand узлов в качестве резерва
  • Grpc Server connected to Spanner Database - Базовый пример Grpc-сервера, подключённого к базе данных Spanner.
  • Grpc Server connected to Redis - Базовый пример Grpc-сервера, подключённого к Redis.
  • Gitlab KAS agent for GKE - Terraform-решение для развёртывания агента Gitlab KAS для синхронизации развёртываний контейнеров из репозиториев Gitlab в кластер GKE
  • Home Appliance Status Monitoring from Smart Power Readings - Сквозная демонстрационная система, включающая набор продуктов Google Cloud Platform, таких как IoT Core, ML Engine, BigQuery и т.д.
  • IAM Deny Policies with Terraform - Демонстрирует использование IAM Deny и политик организации для обеспечения соблюдения защитных мер безопасности.
  • IAP User Profile - Пример получения профиля пользователя из приложения GAE с включённым IAP.
  • IoT Nirvana - Сквозная архитектура Интернета вещей, работающая в Google Cloud Platform.
  • Kubeflow Pipelines Sentiment Analysis - Создание компонента и конвейеров Kubeflow Pipelines для анализа тональности заголовков первой полосы New York Times с использованием Cloud Dataflow (Apache Beam Java) и Cloud Natural Language API.
  • Kubeflow Fairing Example - Предоставлены три ноутбука (notebook), демонстрирующие использование Kubeflow Faring для обучения задач машинного обучения (Scikit-Learn, XGBoost, Tensorflow) локально или в облаке (AI Platform Training или кластер Kubeflow).
  • Left-Shift Validation Pre-Commit Hook - Пример, в котором используется набор Bash-скриптов для настройки pre-commit хука, проверяющего ресурсы Kubernetes с помощью ограничений и шаблонов ограничений Gatekeeper из выбранных вами источников.
  • Gemini Live Multimodal Avatar - Корпоративный эталонный проект (blueprint) для цифровых консультантов реального времени с низкой задержкой. Построенный на Gemini Live API (Multimodal Live), он включает синхронизированные видео-аватары, потоковое аудио в реальном времени и расширяемую интеграцию инструментов с использованием Model Context Protocol (MCP).
  • LookerStudio Cost Optimization Dashboard - SQL-скрипты, помогающие создать информационную панель (дашборд) Cost Optimization в LookerStudio.
  • Migrate Kafka to GMK using MM2 - Terraform-код для развёртывания ресурсов, переносящих данные между двумя кластерами Google Managed Kafka с помощью MirrorMaker2
  • Personal Workbench Notebooks Deployer - Примеры модулей Terraform для организации Dataproc Hub с использованием кластеров с личной аутентификацией и управляемых ноутбуков Workbench для отдельных пользователей-аналитиков.
  • Project factory with Terragrunt - Реализует шаблон фабрики проектов State-Scalable для создания проектов Google Cloud Platform с использованием Terragrunt и публичных модулей Terraform
  • Python CI/CD with Cloud Builder and CSR - Пример, использующий Cloud Builder и Cloud Source Repositories для автоматизации тестирования и проверки кода (linting).
  • Pub/Sub Client Batching Example - Пакетная обработка (batching) в Java client API Pub/Sub.
  • QAOA - Примеры разбора задачи max-SAT в проприетарном формате для квантового приближённого алгоритма оптимизации (QAOA)
  • React single-page app on Cloud Run + Cloud Storage - Сквозной пример развёртывания React SPA на бессерверных сервисах Google Cloud.
  • Redis Cluster on GKE Example - Развёртывание кластера Redis на GKE.
  • Risk Analysis Asset - Развёртывание инструмента анализа рисков надёжности на Cloud Run.
  • slo-assistant - ИИ-консультант по SLO для автоматизированной Site Reliability Engineering
  • Spanner Interleave Subquery - Пример кода для тестирования производительности подзапросов Cloud Spanner для вложенных (interleaved) таблиц.
  • Spanner Change Stream to BigQuery using Dataflow - Terraform-код для развёртывания потока изменений Spanner и публикации изменений в BigQuery с помощью потокового задания Dataflow.
  • Spinnaker - Примеры конвейеров для процесса развёртывания Canary / Production.
  • STS Metrics from STS Notification - Пример кода для генерации пользовательских метрик из уведомлений STS.
  • TensorFlow Serving on GKE and Load Testing - Примеры реализации логического вывода (inference) моделей TensorFlow на GKE и проведения нагрузочного тестирования такого решения.
  • TensorFlow Unit Testing - Примеры того, как писать модульные тесты (unit-тесты) для моделей машинного обучения TensorFlow.
  • Terraform Internal HTTP Load Balancer - Пример Terraform, показывающий, как развернуть внутренний HTTP-балансировщик нагрузки.
  • Terraform NetApp CVS - Этот пример показывает, как развернуть тома NetApp CVS с помощью Terraform.
  • Terraform Resource Change Policy Library - Содержит библиотеку политик, написанных в формате OPA Constraint Framework для использования с gcloud beta terraform vet с целью проверки изменений ресурсов Terraform в конвейере CI/CD.
  • Uploading files directly to Google Cloud Storage by using Signed URL - Пример архитектуры, позволяющей загружать файлы напрямую в GCS с помощью Signed URL.
  • TSOP object transfer Log prosessor - Этот пример показывает, как записывать журналы передачи объектов TSOP в Cloud Logging.
  • GCS CSV files to BigQuery - Этот пример показывает, как загружать файлы в формате CSV, хранящиеся в GCS, в таблицы BigQuery. Файлы могут быть несжатыми или сжатыми в таких форматах, как Bzip2, GZIP и т.д. Список поддерживаемых методов сжатия см. на https://beam.apache.org/releases/javadoc/current/org/apache/beam/sdk/io/Compression.html.
  • MCP Toolbox & Claude Integration - Специализированный GenAI-агент для бронирования отелей в Slack, созданный с использованием Spring Boot AI, BigQuery, CloudRun, MCP Toolbox и Claude LLM.## Tools

    • Папка tools содержит готовые утилиты, которые могут упростить использование Google Cloud Platform.* agent-eval - Пошаговое руководство по CLI для сервиса оценки генеративного ИИ Vertex AI для агентов ADK. Проводит через полный цикл оценки — настройка GCP, создание каркаса метрик и набора данных, сбор трассировок (UserSim multi-turn + DIY single-turn), оценка с помощью client.evals.evaluate() от Vertex и создание автономного HTML-отчета с диагностикой, подготовленной Gemini. Отображает детерминированные метрики (токены, стоимость, задержку, попадание в кэш, коэффициент рассуждений) наряду с метриками LLM-как-судьи, чтобы вы видели качество кода и стоимость выполнения на одной странице.

    • Agile Machine Learning API - Веб- приложение, которое позволяет обучать и развертывать модели ML в Google Cloud Machine Learning Engine, а также визуализировать предсказанные результаты с помощью LIME через простой POST-запрос.
    • Airflow DAG Metadata Generator - Использует генеративные модели Google для анализа DAG Airflow и дополняет их сгенерированными значениями description, tags и doc_md.
    • Airflow States Collector - Инструмент, который создает и загружает dag Airflow в папку dags GCS. Dag инкрементально собирает состояния задач Airflow и сохраняет их в BQ. Также автоматически создает дашборд LookerStudio, запрашивающий представление BQ.
    • Airpiler - Python-скрипт для преобразования файлов Autosys JIL в формат dag-factory для выполнения в Cloud Composer (управляемая среда Airflow).
    • Ansible Module for Anthos on Bare Metal - Модуль Ansible для установки Anthos on Bare Metal
    • Anthos Bare Metal Installer - ansible плейбук, который можно использовать для установки Anthos Bare Metal.
    • Apache Beam Client Throttling - Библиотека, которую можно использовать для ограничения количества запросов от конвейера Apache Beam к внешнему сервису. Она буферизует запросы, чтобы не перегружать внешний сервис, и активирует клиентское троттлинг, когда сервис начинает отклонять запросы из-за ошибок, связанных с превышением квоты.
    • API Key Rotation Checker - Инструмент, который проверяет вашу организацию GCP на наличие ключей API и сравнивает их с настраиваемым периодом ротации. Регулярная ротация ключей API — это рекомендуемая Google и отраслевым стандартом лучшая практика.
    • AssetInventory - Импорт ресурсов Cloud Asset Inventory в BigQuery.
    • BigQuery Discount Per-Project Attribution - Инструмент, который автоматизирует создание таблицы BigQuery, использующей существующие экспортированные данные биллинга, путем атрибуции расходов CUD и SUD на уровне каждого проекта.
    • BigQuery Policy Tag Utility - Класс утилиты для тегирования схем таблиц BQ с помощью политик Data Catalog Taxonomy Policy Tags. Создание авторизованных представлений BQ с использованием Policy Tags. Вспомогательная утилита для подготовки BigQuery Dataset, Data Catalog Taxonomy и Policy Tags.
    • BigQuery Query Plan Exporter - Утилита командной строки для экспорта планов запросов BigQuery в заданном диапазоне дат.
    • BigQuery Query Plan Visualizer - Веб-приложение, которое позволяет визуализировать этапы выполнения планов запросов BigQuery, чтобы помочь в оптимизации запросов.
    • BigQuery z/OS Mainframe Connector - Утилита для загрузки наборов данных COBOL MVS в BigQuery и выполнения заданий запросов и загрузки с IBM z/OS Mainframe.
    • Boolean Organization Policy Enforcer - Инструмент для поиска проектов, которые не устанавливают булеву организационную политику в ожидаемое состояние, и последующей установки организационной политики в ожидаемое состояние.
    • Capacity Planner CLI - Автономный инструмент для извлечения пиковых значений использования ресурсов и соответствующих временных меток для заданного проекта GCP, диапазона времени и часового пояса.
    • Capacity Planner Sheets Extension - Расширение Google Sheets для извлечения пиковых значений использования ресурсов и соответствующих временных меток для заданного проекта GCP, диапазона времени и часового пояса.
    • CloudConnect - Пакет, который автоматизирует настройку двойных VPN-туннелей между AWS и GCP.
    • Cloudera Parcel GCS Connector - Этот скрипт помогает создать parcel Cloudera, включающий коннектор Google Cloud Storage connector. Parcel можно развернуть в управляемом кластере Cloudera. Этот скрипт помогает создать parcel Cloudera, включающий коннектор Google Cloud Storage connector. Parcel можно развернуть в управляемом кластере Cloudera.
    • Cloud AI Vision Utilities - Это устанавливаемый Python-пакет, предоставляющий вспомогательные инструменты для Cloud AI Vision. В настоящее время есть несколько скриптов для генерации CSV-файла набора данных AutoML Vision из необработанных изображений или файлов аннотаций изображений в формате PASCAL VOC format.
    • Cloud Composer Backup and Recovery - Инструмент командной строки для выполнения операций резервного копирования и восстановления в средах Cloud Composer Airflow.
    • Cloud Composer DAG Validation - Автоматизированный процесс запуска проверки и тестирования DAG в Composer.
    • Cloud Composer Migration Complexity Assessment - DAG Airflow, который использует различные инструменты для анализа среды Cloud Composer 1, определения оценки трудозатрат и ускорения преобразования dag airflow 1 в dag airflow 2.
    • Cloud Composer Migration Terraform Generator - Анализирует существующую среду Cloud Composer 1 / Airflow 1 и генерирует terraform. Настраивает новую среду Cloud Composer 2 в соответствии с требованиями вашей рабочей нагрузки.
    • ComfyUI Custom Nodes for VertexAI - Набор пользовательских узлов для ComfyUI, который позволяет использовать модели VertexAI в рабочих процессах ComfyUI.
    • CUD Prioritized Attribution - Инструмент, который позволяет клиентам GCP, приобретшим Committed Use Discounts (CUD), назначать приоритет конкретной области (например, проекту или папке) для атрибуции CUD в первую очередь, прежде чем позволить неиспользованной скидке перетекать в другие части организации.
    • Custom Module for Security Health Analytics Library - Библиотека пользовательских модулей для SCC Security Health Analytics. Она включает инструменты для простой генерации пользовательских модулей и их развертывания в вашей организации. Эта библиотека помогает организации обнаруживать отклонения в конфигурации и соответствии требованиям.
    • Custom Organization Policy Library - Библиотека пользовательских ограничений организационной политики и примеров. Она включает инструменты для простой генерации политик для развертывания в вашей организации с помощью Google Cloud (gcloud) или Terraform.
    • Custom Role Analyzer - Этот инструмент предоставит полезную информацию о пользовательских ролях как на уровне организации, так и на уровне проекта, чтобы найти предопределенные роли, на основе которых построена пользовательская роль.
    • Custom Role Manager - Управляет пользовательскими ролями на уровне организации или проекта, комбинируя предопределенные роли и добавляя или удаляя разрешения с помощью подстановочных знаков. Может запускаться как Cloud Function или выводить ресурсы Terraform.
    • Dataproc Event Driven Spark Recommendations - Используйте Google Cloud Functions для анализа кластеров Cloud Dataproc и рекомендаций лучших практик для заданий Apache Spark. Также сохраняет конфигурации кластеров для будущего использования.
    • Dataproc Scheduled Cluster Sizing - Используйте Google Cloud Scheduler и Google Cloud Functions для планирования изменения размера кластера Dataproc. Изменяет количество основных и дополнительных рабочих узлов.
    • DataStream Deployment Automation - Python-скрипт для автоматизации развертывания Google Cloud DataStream. Этот скрипт создает профили подключения, создает поток и запускает поток.
    • DLP to Data Catalog - Проверяйте свои таблицы с помощью Data Loss Prevention на наличие данных PII и автоматически тегируйте их в Data Catalog с помощью Python.
    • DNS Sync - Синхронизация зоны Cloud DNS с ресурсами GCE. Инстансы и балансировщики нагрузки добавляются в зону Cloud DNS при их запуске на основе событий журнала compute_engine_activity, отправляемых из push-подписки pub/sub. Можно синхронизировать несколько проектов в одну зону Cloud DNS.
    • DynamoDB to Bigtable Migration - Инструмент миграции DynamoDB в Bigtable — это мощное решение, предназначенное для оптимизации переноса данных из DynamoDB в Cloud Bigtable. Этот инструмент автоматизирует преобразование схемы, гарантируя, что ваша структура данных будет сопоставлена с Bigtable. Он также предоставляет возможности для ускорения и масштабирования переноса данных с помощью dataflow, минимизируя простои и максимизируя производительность.
    • Firewall Enforcer - Автоматически отслеживает и удаляет недопустимые правила брандмауэра в организации. Правила брандмауэра отслеживаются через Cloud Asset Inventory Feed, который запускает Cloud Function, проверяющую правило брандмауэра и удаляющую его, если оно не проходит тест.
    • GCE Disk Encryption Converter - Инструмент, который преобразует диски, подключенные к VM-инстансу GCE, из ключей, управляемых Google, в ключ, управляемый клиентом и хранящийся в Cloud KMS.
    • GCE switch disk-type - Инструмент, который изменяет тип дисков, подключенных к инстансу GCE.
    • GCE Quota Sync - Инструмент, который получает данные об использовании квот ресурсов из GCE API и синхронизирует их в Stackdriver как пользовательскую метрику, где ее можно использовать для определения автоматических оповещений.
    • GCE Usage Log - Собирает события инстансов GCE в набор данных BigQuery, отображая данные о vCPU, RAM и Persistent Disk в разрезе проекта, зоны и меток.
    • GCP Architecture Visualizer - Инструмент, который принимает CSV-вывод сканирования Forseti Inventory и строит динамическую иерархическую древовидную диаграмму org -> folders -> projects -> gcp_resources с помощью библиотеки D3.js javascript.
    • GCP AWS HA VPN Connection terraform - Terraform- скрипт для настройки HA VPN между GCP и AWS.
    • GCP Azure HA VPN Connection Terraform - Код Terraform для настройки HA VPN между GCP и Microsoft Azure.
    • GCP Organization Hierarchy Viewer - CLI- утилита для визуализации иерархии вашей организации в терминале.
    • GCPViz - инструмент визуализации, который принимает входные данные из Cloud Asset Inventory, создает связи между активами и выводит формат, совместимый с graphviz.
    • GCS Bucket Mover - Инструмент для перемещения бакета пользователя, включая объекты, метаданные и ACL, из одного проекта в другой.
    • GCS to BigQuery - Инструмент извлекает метаданные объектов из всех бакетов Google Cloud Storage и экспортирует их в формате, который можно импортировать в BigQuery для дальнейшего анализа.
    • GCS Usage Recommender - Инструмент, который генерирует аналитику на уровне бакетов и паттерны доступа по всем проектам для проекта GCP для формирования рекомендаций по управлению жизненным циклом объектов.
    • GCVE2BQ - Инструмент для планового экспорта данных об использовании VM, датасторов и ESXi из vCenter в BigQuery для сценариев биллинга и отчетности.
    • Gemini Computer Use Evaluation Pipeline - Легковесный фреймворк для бенчмаркинга браузерных агентов с мультимодальной визуальной оценкой и оценкой по журналам.
    • GenAI-Powered Code Modification Cloud Function - Развертываемая Google Cloud Function, которая на основе Vertex AI Gemini API автоматизирует изменение кода. Она читает файлы из GitHub, обрабатывает их с помощью LLM для создания новых версий и сохраняет изменения обратно в репозитории.
    • GKE AutoPSC Controller - Контроллер Google Kubernetes Engine для настройки PSC ServiceAttachment для управляемых Gateway API Forwarding Rules.
    • Global DNS -> Zonal DNS Project Bulk Migration - Shell-скрипт для массовой миграции проектов gDNS-zDNS.
    • GKE Billing Export - Детальный экспорт биллинга Google Kubernetes Engine.
    • GKE GPU Driver Version - Инструмент для поиска поддерживаемой версии драйвера GPU для заданной версии кластера GKE и типа GPU.
    • gmon - Интерфейс командной строки (CLI) для Cloud Monitoring, написанный на Python.
    • Google Cloud Support Slackbot - Slack- приложение, которое получает информацию о случаях поддержки Google Cloud через Cloud Support API и отправляет информацию в Slack
    • GSuite Exporter Cloud Function - Скрипт, который развертывает Cloud Function и задание Cloud Scheduler, выполняющее инструмент GSuite Exporter автоматически по расписанию.
    • GSuite Exporter - Python-пакет, который автоматизирует синхронизацию отчетов о действиях Admin SDK API в пункт назначения GCP. Модуль берет записи из выбранного Admin SDK API, преобразует их в соответствующий формат для пункта назначения и экспортирует их в пункт назначения (например, Stackdriver Logging).
    • Hive to BigQuery - Python-фреймворк для миграции таблиц Hive в BigQuery с использованием Cloud SQL для отслеживания прогресса миграции.
    • IAM Permissions Copier - Этот инструмент позволяет копировать поддерживаемые разрешения GCP IAM от неуправляемых пользователей к управляемым пользователям Cloud Identity.
    • IAM Recommender at Scale - Python- пакет, который автоматизирует применение рекомендаций iam.
    • Instance Mapper - Сопоставляет различные типы IaaS VM-инстансов из EC2 и Azure Compute с типами инстансов Google Cloud Platform, используя настраиваемый метод на основе оценки. Также поддерживает инстансы баз данных.
    • IPAM Autopilot - Простой инструмент для управления диапазонами IP- адресов для подсетей GCP.
    • K8S-2-GSM - Контейнерное приложение на golang для миграции секретов Kubernetes в Google Secrets Manger (для использования CSI secret driver). LabelMaker - Инструмент, который читает пары key:value из json-файла и соответствующим образом помечает работающий инстанс и все подключенные диски.
    • Logbucket Global to Regional - Утилита для изменения назначения _Default sink на региональные журнальные бакеты
    • Machine Learning Auto Exploratory Data Analysis and Feature Recommendation - Инструмент для выполнения комплексного автоматического EDA, на основе которого формируются рекомендации по признакам, и генерируется сводный отчет.
    • Maven Archetype Dataflow - Архетип Maven, который создает проект Dataflow с предварительно настроенными распространенными плагинами для поддержания высокого качества кода.
    • Netblock Monitor - Проект Apps Script, который будет автоматически отправлять email-уведомления при изменениях диапазонов IP-адресов Google.
    • OpenAPI to Cloud Armor converter - Простой инструмент для генерации политик Cloud Armor из спецификаций OpenAPI.
    • Permission Discrepancy Finder - Инструмент для поиска субъектов с отсутствующими разрешениями на ресурс в рамках проекта и последующего предоставления им недостающих разрешений.
    • Pubsub2Inbox - Универсальный инструмент на основе Cloud Function, который принимает входные данные из сообщений Pub/Sub и превращает их в email, вебхуки или объекты GCS.
    • Quota Manager - Python-модуль для программного обновления квот сервисов GCP, таких как bigquery.googleapis.com.
    • Quota Monitoring and Alerting - Легко развертываемый дашборд Data Studio с возможностями оповещения, показывающий использование и лимиты квот в организации или папке.
    • RAG Application Using Vector Search - Он служит в первую очередь для демонстрации возможностей базовых внутренних сервисов, а также как эталонная архитектура для развертываний у заказчиков. Этот инструмент развертывает внутреннюю систему для Retrieval-Augmented Generation (RAG) в Google Cloud, полностью управляемую Infrastructure as Code (IaC) через Terraform. Он позволяет запрашивать частные документы с помощью Large Language Models (LLM), значительно расширенных контекстом из Vertex AI RAG Engine и Vector Search. Хотя включен простой интерфейс Streamlit, он служит в первую очередь для демонстрации возможностей базовых внутренних сервисов.
    • Ranger Hive Assessment for BigQuery/BigLake IAM migration - Инструмент, который оценивает, какие правила авторизации Ranger можно перенести в BigQuery/BigLake IAM, а какие нет.
    • Reddit Comment Streaming - Используйте PRAW, TextBlob и Google Python API для сбора и анализа комментариев reddit. Отправляет комментарии в Google Pub/sub Topic.
    • Secret Manager Helper - Библиотека Java, упрощающая замену строк-заполнителей на payloads секретов Secret Manager.
    • Service Account Provider - Инструмент для обмена JWT-токенов GitLab CI на токены доступа GCP IAM, чтобы разрешить заданиям GitLab CI доступ к API Google Cloud
    • Site Verification Group Sync - Инструмент для предоставления разрешений "verified owner" (для создания бакетов GCS с пользовательским dns) на основе членства в Google Group.
    • SLO Generator - Python-пакет, который автоматизирует вычисление Service Level Objectives, Error Budgets и Burn Rates в GCP и экспортирует результаты вычислений в доступные экспортеры (например, PubSub, BigQuery, Stackdriver Monitoring), используя политики в формате JSON.
    • Snowflake_to_BQ - Shell-скрипт для переноса таблиц (схемы и данных) из Snowflake в BigQuery.
    • SPIFFE GCP Proxy - Инструмент для упрощения интеграции поддерживаемых SPIFFE локальных рабочих нагрузок с API GCP с использованием Workload Identity Federation
    • STS Job Manager - Инструмент миграции бакетов петабайтного масштаба, использующий Storage Transfer Service
    • Vector Search Load Testing Framework - Этот фреймворк предоставляет оптимизированное решение для распределенного нагрузочного тестирования конечных точек Vertex AI Vector Search в Google Kubernetes Engine (GKE) с использованием Locust. Он позволяет моделировать рабочие нагрузки, приближенные к производственным, для эффективного бенчмаркинга производительности, анализа масштабируемости и проверки конфигураций развертывания.
    • [Vertex AI Endpoint Tester] (tools/vertex-ai-endpoint-load-tester) - Эта утилита помогает методично тестировать различные Vertex AI Endpoints по их размерам, чтобы можно было выбрать правильный размер для развертывания ML-модели в Vertex AI с учетом образца запроса JSON и некоторого представления об ожидаемых запросах в секунду.
    • Vertex AI Endpoint Tester - Эта утилита помогает методично тестировать различные Vertex AI Endpoints по их размерам, чтобы можно было выбрать правильный размер для развертывания ML-модели в Vertex AI с учетом образца запроса JSON и некоторого представления об ожидаемых запросах в секунду.
    • VM Migrator - Эта утилита автоматизирует миграцию виртуальных машин в GCP. Вы можете переносить VM из одной зоны в другую зону/регион в рамках одного проекта или разных проектов, сохраняя все исходные свойства VM, такие как диски, сетевые интерфейсы, ip, метаданные, сетевые теги и многое другое.
    • VPC Flow Logs Analysis - Настраиваемый Log sink + отчет BigQuery, показывающий трафик, относящийся к проектам в Shared VPC.
    • VPC Flow Logs Enforcer - Cloud Function, которая автоматически включает VPC Flow Logs при создании или изменении подсети в любом проекте в рамках конкретной папки или нескольких папок.
    • VPC Flow Logs Top Talkers - Настраиваемый Log sink + представление BigQuery для генерации ежемесячных/ежедневных агрегированных отчетов о трафике по подсети или хосту с настраиваемой маркировкой диапазонов IP и портов.
    • Webhook Ingestion Data Pipeline - Развертываемое приложение для приема и загрузки неаутентифицированных данных вебхуков в BigQuery.
    • XSD to BigQuery Schema Generator - Инструмент командной строки для преобразования XSD-схемы, представляющей глубоко вложенное и повторяющееся XML-содержимое, в совместимую со схемой BigQuery табличную схему, представленную в JSON.
    • Numeric Family Recommender - Oracle - Numeric Family Recommender — это скрипт базы данных, который рекомендует наилучший числовой тип данных для типа данных NUMBER при миграции из устаревших баз данных, таких как Oracle, на платформы Google Cloud, такие как BigQuery, AlloyDB, Cloud SQL for PostgreSQL и Google Cloud Storage.
    • Cloud Composer Stress Testing - Набор инструментов, предназначенных для тестирования, бенчмаркинга и моделирования рабочих нагрузок в Composer. Отлично подходит для интеграционного тестирования и экспериментов с различными конфигурациями среды.
    • Cloud Composer Environment Rotator - Перемещает ресурсы Airflow из старой среды composer в новую среду composer с минимальным простоем. Идеально подходит для обновлений среды не на месте, понижения версий среды или миграции в другие регионы.
    • Gradio and Generative AI Example - Пример кода позволяет разработчикам быстро создавать PoC-приложения генеративного ИИ с помощью Gradio и агентов Gen AI.
    • Memorystore Cluster Ops Framework - Это фреймворк, который предоставляет инструменты для применения операций на уровне кластера, обеспечивающих такие возможности, как резервное копирование кластера, миграция и валидация и т. д. Фреймворк может быть расширен для других случаев использования по мере необходимости. Фреймворк использует RIOT для устранения текущих пробелов в продукте Memorystore Clusters
    • ML Project Generator - Утилита для создания шаблона ML-проекта производственного уровня с установленными лучшими инструментами повышения производительности, такими как автоформатирование, проверки лицензий, линтинг и т. д.
    • Policy Tags Engine - Инструмент позволяет разработчикам автоматически применять безопасность на уровне столбцов BigQuery (Policy Tags) на основе файлов метаданных, загруженных в бакет Google Cloud Storage (GCS).
    • Gemini CLI Health Dashboard - Инструмент позволяет разработчикам создавать пользовательский дашборд для отслеживания состояния Gemini CLI с точки зрения соотношения успешных и ошибочных запросов.## Вклад

    См. инструкции по внесению вклада, чтобы начать участвовать.

    Контакты

    Вопросы, проблемы и комментарии направляйте по адресу [email protected].

    Скачать инструмент