Uma biblioteca Python que transforma o PostgreSQL num motor de recuperação robusto e pronto para produção para aplicações RAG e Agentic.

• 🔄 Crie e sincronize automaticamente embeddings vetoriais a partir de dados PostgreSQL e documentos S3. Os embeddings são atualizados automaticamente à medida que os dados mudam.

• 🔍 Pesquisa vetorial e semântica poderosa com pgvector e pgvectorscale.

• 🛡️ Pronto para produção de imediato: Suporta processamento em lote para geração eficiente de embeddings, com tratamento integrado para falhas de modelo, limites de taxa e picos de latência.

• 🐘 Funciona com qualquer base de dados PostgreSQL, incluindo Timescale Cloud, Amazon RDS, Supabase e mais.

Arquitetura básica: O sistema consiste numa aplicação que você escreve, numa base de dados PostgreSQL e em workers de vectorização sem estado. A aplicação define uma configuração de vectorização para incorporar dados de fontes como PostgreSQL ou S3. Os workers leem esta configuração, processam a fila de dados em embeddings e texto fragmentado, e escrevem os resultados de volta. A aplicação consulta então estes dados para alimentar RAG e pesquisa semântica.

O principal ponto forte desta arquitetura reside na sua resiliência: as modificações de dados feitas pela aplicação são desacopladas do processo de embedding, garantindo que falhas no serviço de embedding não afetam as operações de dados principais.

instalação

Primeiro, instale o pacote pgai.``` pip install pgai

Início Rápido

Este guia de início rápido demonstra como o pgai Vectorizer possibilita pesquisa semântica e RAG sobre dados do PostgreSQL, criando e sincronizando automaticamente embeddings à medida que os dados mudam.

O principal "ingrediente secreto" do pgai Vectorizer é sua abordagem declarativa para geração de embeddings. Basta definir seu pipeline e deixar o Vectorizer lidar com a complexidade operacional de manter os embeddings sincronizados, mesmo quando os endpoints de embedding não são confiáveis. Você pode definir uma versão simples do pipeline da seguinte forma:```sql CREATE TABLE IF NOT EXISTS wiki ( id INTEGER PRIMARY KEY GENERATED ALWAYS AS IDENTITY, url TEXT NOT NULL, title TEXT NOT NULL, text TEXT NOT NULL )

SELECT ai.create_vectorizer( 'wiki'::regclass, loading => ai.loading_column(column_name=>'text'), destination => ai.destination_table(target_table=>'wiki_embedding_storage'), embedding => ai.embedding_openai(model=>'text-embedding-ada-002', dimensions=>'1536') )

Podes descarregar o código Python completo e o requirements.txt do exemplo de início rápido e executá-lo no mesmo diretório do ficheiro .env.

Explicação do código

Instalar os componentes de banco de dados do pgai

O pgai requer algumas tabelas de catálogo e funções para serem instaladas no banco de dados. Isso é feito usando a função pgai.install, que instalará os componentes necessários no esquema ai do banco de dados.```python pgai.install(DB_URL)

Executar o worker do vectorizer

Neste exemplo, executamos o worker do vectorizer uma vez para criar os embeddings para os dados existentes.```python worker = Worker(DB_URL, once=True) worker.run()

Inserir um novo artigo na tabela wiki

Este código é notável pelo que não está fazendo. Esta é uma inserção simples de um novo artigo na tabela wiki. Não precisamos fazer nada diferente para criar os embeddings, o worker do vectorizer cuidará da atualização dos embeddings conforme os dados mudam.```python def insert_article_about_pgai(conn: psycopg.AsyncConnection): async with conn.cursor(row_factory=class_row(WikiSearchResult)) as cur: await cur.execute(""" INSERT INTO wiki (url, title, text) VALUES ('https://en.wikipedia.org/wiki/pgai', 'pgai', 'pgai is a Python library that turns PostgreSQL into the retrieval engine behind robust, production-ready RAG and Agentic applications. It does this by automatically creating vector embeddings for your data based on the vectorizer you define.') """) await conn.commit()

Próximos passos

Procure outros quickstarts:

• Quickstart com FastAPI e psycopg aqui

Explore mais sobre o vectorizer:

• Saiba mais sobre o vectorizer e o vectorizer worker
• Aprofunde-se na referência da API do vectorizer

Recursos

Nossa biblioteca Python pgai permite que você trabalhe com embeddings gerados a partir dos seus dados:

• Crie e sincronize automaticamente embeddings vetoriais para seus dados usando o vectorizer.
• Carregue dados de uma coluna da sua tabela ou de um arquivo, bucket s3, etc.
• Crie múltiplos embeddings para os mesmos dados com diferentes modelos e parâmetros para testes e experimentação.
• Personalize como seu pipeline de embeddings analisa, divide em chunks, formata e incorpora seus dados.

Você pode usar os embeddings vetoriais para:

• Realizar busca semântica usando pgvector.
• Implementar Geração Aumentada por Recuperação (RAG)
• Realizar busca ANN de alto desempenho e baixo custo em grandes cargas de trabalho vetoriais com pgvectorscale, que complementa o pgvector.

Também oferecemos uma extensão PostgreSQL que pode realizar chamadas de modelos LLM diretamente do SQL. Isso é frequentemente útil para casos de uso como classificação, sumarização e enriquecimento de dados em seus dados existentes.

Um pipeline de vectorizer configurável

O vectorizer foi projetado para ser flexível e personalizável. Cada vectorizer define um pipeline para criar embeddings a partir dos seus dados. O pipeline é definido por uma série de componentes que são aplicados em sequência aos dados:

• Carregamento: Primeiro, você define a fonte dos dados a serem incorporados. Pode ser os dados armazenados diretamente em uma coluna da tabela de origem ou uma URI referenciada em uma coluna da tabela de origem que aponta para um arquivo, bucket s3, etc.
• Análise (Parsing): Em seguida, você define a forma como os dados são analisados se for um documento não textual, como um arquivo PDF, HTML ou markdown.
• Divisão em chunks: Depois, você define a forma como os dados de texto são divididos em chunks.
• Formatação: Então, para cada chunk, você define a forma como os dados são formatados antes de serem enviados para incorporação. Por exemplo, você pode adicionar o título do documento como a primeira linha do chunk.
• Incorporação (Embedding): Finalmente, você especifica o provedor de LLM, o modelo e os parâmetros a serem usados ao gerar os embeddings.

Modelos de embedding suportados

Os seguintes modelos são suportados para embedding:

• Ollama
• OpenAI
• Voyage AI
• Cohere
• Huggingface
• Mistral
• Azure OpenAI
• AWS Bedrock
• Vertex AI

O problema está no tratamento de erros

Simplesmente criar embeddings vetoriais é fácil e direto. O desafio é que os LLMs são um tanto imprevisíveis e os endpoints apresentam falhas intermitentes e/ou desempenho degradado. Uma parte crítica para lidar adequadamente com falhas é que suas operações primárias de modificação de dados (INSERT, UPDATE, DELETE) não devem depender da operação de embedding. Caso contrário, sua aplicação ficará fora do ar toda vez que o endpoint estiver lento ou falhar, e a experiência do usuário sofrerá.

Normalmente, você precisaria implementar um pipeline de MLops personalizado para lidar adequadamente com falhas de endpoint. Isso geralmente envolve um sistema de filas como Kafka, workers especializados e outra infraestrutura para gerenciar a fila e repetir solicitações com falha. Isso é muito trabalho e é fácil errar.

Com o pgai, você pode pular tudo isso e focar na construção da sua aplicação, porque o vectorizer está gerenciando os embeddings para você. Incorporamos lógica de fila e repetição para lidar com os vários modos de falha que você pode encontrar. Como fazemos esse trabalho em segundo plano, as operações primárias de modificação de dados não dependem da operação de embedding. É por isso que o pgai está pronto para produção desde o início.

Muitos bancos de dados vetoriais especializados criam embeddings para você. No entanto, eles normalmente falham quando os endpoints de embedding estão fora do ar ou degradados, colocando o fardo do tratamento de erros e das repetições de volta sobre você.

Recursos

Por que construímos isso

• Vector Databases Are the Wrong Abstraction
• pgai: Giving PostgreSQL Developers AI Engineering Superpowers

Guias de início rápido

• O guia de início rápido com Ollama acima
• Início rápido com OpenAI
• Início rápido com VoyageAI

Tutoriais sobre o vectorizer pgai

• How to Automatically Create & Update Embeddings in PostgreSQL—With One SQL Query
• [vídeo] Auto Create and Sync Vector Embeddings in 1 Line of SQL
• Which OpenAI Embedding Model Is Best for Your RAG App With Pgvector?
• Which RAG Chunking and Formatting Strategy Is Best for Your App With Pgvector
• Parsing All the Data With Open-Source Tools: Unstructured and Pgai

Contribuindo

Aceitamos contribuições para o pgai! Consulte a página Contributing para mais informações.

Participe

O pgai ainda está em um estágio inicial. Agora é um ótimo momento para ajudar a moldar a direção deste projeto; estamos atualmente decidindo prioridades. Dê uma olhada na lista de recursos que estamos pensando em desenvolver. Sinta-se à vontade para comentar, expandir a lista ou participar do fórum Discussions.

Para começar, dê uma olhada em como contribuir e como configurar um ambiente de desenvolvimento/teste.

Sobre a Timescale

A Timescale é uma empresa de banco de dados PostgreSQL. Para saber mais, visite timescale.com.

O Timescale Cloud é uma plataforma em nuvem de alto desempenho, focada em desenvolvedores, que fornece serviços PostgreSQL para as cargas de trabalho mais exigentes de IA, séries temporais, análises e eventos. O Timescale Cloud é ideal para aplicações de produção e fornece alta disponibilidade, backups contínuos, atualizações ao longo do tempo, funções e permissões, e ótima segurança.