Professional Services

Общие решения и инструменты, разработанные командой Professional Services в Google Cloud.

Отказ от ответственности

Этот репозиторий и его содержимое не являются официально поддерживаемым продуктом Google.

Лицензия

Все решения в этом репозитории предоставляются под лицензией Apache 2.0. Подробные условия см. в файле LICENSE.

Примеры

Папка examples содержит примеры решений для различных продуктов Google Cloud Platform. Используйте эти решения как образец для своих собственных проектов или расширяйте их под свой конкретный сценарий.* Anthos Service Mesh Multi-Cluster - Решение для объединения двух частных кластеров GKE с помощью Anthos Service Mesh.

• Anthos CICD with Gitlab - Пошаговое руководство по созданию примера решения CI/CD с использованием Anthos и Gitlab.
• Audio Content Profiling - Инструмент, который создаёт конвейер для масштабирования процесса модерации аудиофайлов на предмет нежелательного контента с использованием API машинного обучения.
• Bigdata generator - Решение, которое генерирует большие объёмы данных для нагрузочного тестирования bigdata-решений (например, BigQuery). Для каждого поля, которое вы хотите сгенерировать, можно указать правила генерации значений. Сгенерированные данные можно сохранять в BigQuery или GCS (Avro, CSV).
• BigQuery Analyze Realtime Reddit Data - Решение для развёртывания архитектуры сбора данных социальной сети (reddit) в Google Cloud Platform. Анализирует комментарии reddit в реальном времени и предоставляет бесплатную обработку естественного языка / анализ тональности.
• BigQuery Audit Log Dashboard - Решение, помогающее аудировать использование BigQuery с помощью Data Studio для визуализации и образца SQL-скрипта для запросов к серверному источнику данных, состоящему из журналов аудита.
• BigQuery Audit Log Anomaly Detection - Пример использования журналов аудита BigQuery для автоматического обнаружения аномалий и анализа выбросов. Генерирует удобные для пользователя графики для быстрого анализа среды bq.
• BigQuery Automated Email Exports - Бессерверное решение для автоматизации отправки результатов экспорта BigQuery по электронной почте по расписанию. Письмо будет содержать ссылку на подписанный или неподписанный URL, позволяющую получателю просматривать результаты запроса в виде файла JSON, CSV или Avro.
• BigQuery Automated Schema Management - Утилита командной строки для автоматического создания и управления наборами данных и таблицами BigQuery.
• BigQuery Billing Dashboard - Решение, помогающее отображать информацию о биллинге с помощью Data Studio для визуализации и образца SQL-скрипта для запросов к серверной таблице экспорта биллинга в BigQuery.
• BigQuery Cross Project Slot Monitoring - Решение, помогающее отслеживать использование слотов в нескольких проектах с разбивкой распределения по каждому проекту.
• BigQuery Data Consolidator - Решение для консолидации данных внутри организации из нескольких проектов в один целевой набор данных/таблицу, где все исходные таблицы имеют одинаковую схему (например, экспорт биллинга!); особенно полезно для консолидации данных и дальнейшей отчётности в рамках Cloud FinOps.
• BigQuery DDL Validator - Утилита, которая читает устаревший DDL, сравнивает его с ранее извлечённым DDL и выдаёт результат с именами объектов, для которых DDL больше не совпадает.
• BigQuery Group Sync For Row Level Access - Пример кода для синхронизации членства в группах из G Suite/Cloud Identity в BigQuery и объединения этих данных с вашими данными для управления доступом на уровне строк.
• BigQuery Long Running Optimization Utility - Утилита, которая читает весь SQL и предоставляет список рекомендаций, помогающих оптимизировать запрос и избежать проблем с длительным выполнением.
• BigQuery Oracle DDL Migration Utility - Утилита миграции DDL Oracle для переноса схемы таблиц (DDL) из Oracle DB в BigQuery. Утилита использует BigQuery Translation API и предлагает дополнительные возможности, такие как добавление секционирования, кластеризации, колонок метаданных и префиксов к именам таблиц.
• BigQuery Pipeline Utility - Класс утилиты Python для определения конвейеров данных в BigQuery.
• BigQuery Remote Function - Позволяет пользователю реализовывать пользовательские сервисы или библиотеки на языках, отличных от SQL или Javascript, которые не являются частью UDF. Утилита содержит пример Java-кода для развёртывания экземпляра Cloud Run gen2 и вызова сервиса из BigQuery с помощью удалённой функции.
• BigQuery Amazon S3 Migration Tool - Инструмент миграции BigQuery для переноса данных из файлов в Amazon S3 в таблицы BigQuery на основе предоставленной конфигурации.
• BigQuery Snowflake TabRle Migration Tool - Инструмент миграции таблиц BigQuery Snowflake помогает переносить DDL таблиц из Snowflake в BigQuery. Утилита использует BigQuery Translation API и предлагает дополнительные возможности, такие как добавление секционирования, кластеризации, колонок метаданных и префиксов к именам таблиц.
• BigQuery Table Access Pattern Analysis - Пример кода для анализа точек оптимизации конвейеров данных путём выявления