Category

Institucional

Arquitetura de produção usando a extensão pgvector

By Institucional

A corrida pela adoção de Inteligência Artificial fez surgir uma nova categoria de armazenamento de dados: os bancos vetoriais. Soluções especializadas ganharam espaço ao prometer buscas semânticas rápidas e eficientes para aplicações baseadas em embeddings, RAG (Retrieval-Augmented Generation), sistemas de recomendação e mecanismos de busca inteligentes.

No entanto, à medida que os projetos avançam da prova de conceito para ambientes produtivos, muitas equipes descobrem que adicionar um banco vetorial separado também significa aumentar a complexidade operacional, introduzir novos pontos de falha e criar desafios de sincronização de dados.

Nesse contexto, o Postgres vem se consolidando como uma alternativa cada vez mais atraente. Com a extensão pgvector, é possível armazenar embeddings, executar buscas vetoriais e integrar funcionalidades de IA diretamente no banco de dados principal da aplicação, reduzindo a fragmentação da infraestrutura e simplificando a operação.

Neste artigo, vamos explorar como construir arquiteturas de produção utilizando pgvector, analisando os trade-offs entre os índices HNSW e IVFFlat e entendendo quando cada abordagem faz mais sentido.

Por que armazenar vetores no PostgreSQL?

Os dados transacionais já residem no PostgreSQL, em muitos projetos de IA.

Quando uma arquitetura adiciona um banco vetorial externo, surgem novos desafios:

  • Duplicação de dados;
  • Processos de sincronização entre sistemas;
  • Consistência entre registros e embeddings;
  • Novas rotinas de backup;
  • Monitoramento adicional;
  • Aumento dos custos operacionais.

Com o pgvector, embeddings passam a ser armazenados diretamente ao lado dos dados de negócio.

Um modelo simplificado pode ser representado da seguinte forma:

CREATE TABLEdocumentos (
    id BIGSERIAL PRIMARY KEY,
    titulo TEXT,
    conteudo TEXT,
    embedding VECTOR(1536)
);

Nesse cenário, informações estruturadas e vetores coexistem no mesmo banco de dados, permitindo consultas híbridas que combinam filtros relacionais e busca semântica.

Observe que a coluna embedding na tabela documentos utiliza o tipo VECTOR(1536). O tipo VECTOR torna-se disponível no PostgreSQL após a ativação da extensão pgvector. O valor entre parênteses (1536) especifica a dimensão do vetor, ou seja, o número de dimensões suportado. Essa dimensão varia conforme o modelo de embedding utilizado, exigindo um modelo externo para a geração dos dados vetoriais que serão inseridos nesse campo. É fundamental assegurar que a dimensão do campo corresponda exatamente à do modelo escolhido, pois não é possível armazenar um vetor de maior dimensão em um espaço menor.

Isso significa que uma aplicação pode procurar documentos semanticamente similares sem abrir mão dos recursos tradicionais do Postgres, como transações, replicação, backup e alta disponibilidade.

O desafio da busca vetorial em escala

Embora armazenar embeddings seja relativamente simples, executar buscas vetoriais em grandes volumes de dados apresenta desafios.

Uma consulta típica busca identificar os vetores mais próximos de um vetor de referência:


SELECT *
FROM documentos
ORDER BY embedding <=> '[...]'
LIMIT 10;

Sem indexação apropriada, o PostgreSQL precisa comparar o vetor consultado com todos os registros da tabela.

Esse processo, conhecido como brute force search, pode funcionar em conjuntos pequenos, mas rapidamente se torna inviável quando o volume alcança milhões de embeddings.

Para resolver esse problema, o pgvector oferece atualmente duas principais estratégias de indexação aproximada:

  • IVFFlat
  • HNSW

A escolha entre elas tem impacto direto na latência, consumo de memória, tempo de construção e precisão dos resultados.

Entendendo o índice IVFFlat

O IVFFlat (Inverted File Flat) funciona agrupando vetores semelhantes em listas.

Durante a busca, o mecanismo consulta apenas os grupos mais relevantes, reduzindo significativamente o volume de comparações necessárias.

Sua criação ocorre da seguinte forma:

CREATE INDEX idx_documentos_embedding
ON documentos
USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 100);

A principal vantagem do IVFFlat é sua eficiência operacional.

Entre seus benefícios estão:

  • Menor consumo de memória;
  • Construção mais rápida;
  • Menor impacto em operações de escrita;
  • Boa performance para grandes volumes.

Por outro lado, existe um trade-off importante: a precisão dos resultados depende da configuração utilizada.

Quanto menos listas forem consultadas durante a busca, menor será a latência, mas também menor poderá ser a taxa de acerto dos vizinhos mais próximos.

Por esse motivo, o IVFFlat costuma ser indicado para ambientes onde o volume de dados é muito elevado e pequenas perdas de precisão são aceitáveis.

Entendendo o índice HNSW

O HNSW (Hierarchical Navigable Small World) é atualmente considerado uma das estruturas mais eficientes para busca aproximada de vizinhos próximos.

Seu funcionamento é baseado em um grafo multicamadas que conecta vetores semanticamente próximos.

A criação do índice segue um modelo semelhante:

CREATE INDEX idx_documentos_embedding_hnsw
ON documentos
USING hnsw (embedding vector_cosine_ops);

A grande vantagem do HNSW está na combinação entre velocidade e precisão.

Em muitos cenários, ele consegue atingir taxas de recall extremamente altas com tempos de resposta reduzidos.

Isso faz com que seja frequentemente a escolha preferida para aplicações como:

  • Chatbots corporativos;
  • Sistemas RAG;
  • Busca documental;
  • Pesquisa jurídica;
  • Bases de conhecimento empresariais.

Entretanto, esse desempenho tem um custo.

O HNSW normalmente exige:

  • Mais memória RAM;
  • Maior tempo de construção;
  • Maior custo de manutenção;
  • Processos de indexação mais pesados.

Em bases muito grandes, esses fatores precisam ser considerados durante o planejamento da infraestrutura.

HNSW ou IVFFlat: qual escolher?

A resposta depende dos objetivos do ambiente. De forma simplificada:

Característica IVFFlat HNSW
Velocidade de construção Alta Menor
Consumo de memória Menor Maior
Velocidade de consulta Boa Excelente
Precisão (Recall) Boa Muito alta
Impacto operacional Menor Maior
Escalabilidade para

escrita intensa

Melhor Moderada

Em ambientes onde a prioridade é maximizar a qualidade dos resultados, HNSW costuma oferecer vantagens significativas.

Já em cenários com crescimento acelerado, alta taxa de inserções ou restrições de infraestrutura, IVFFlat pode representar um equilíbrio mais interessante.

A tabela é válida como regra prática, mas não deve ser interpretada como universal. O ideal é sempre homologar e comparar a utilização dos índices com dados reais, medindo principalmente:

  • latência de consulta;
  • precisão;
  • tempo de construção;
  • uso de memória;
  • custo e latência das inserções;
  • impacto de atualizações e exclusões.

Arquitetura de produção: além dos índices

Um erro comum é acreditar que a adoção de IA no PostgreSQL se resume à criação de um índice vetorial.

Em ambientes produtivos, outros componentes precisam ser considerados:

Estratégia de geração de embeddings

É necessário definir:

  • Qual modelo será utilizado;
  • Como ocorrerá a atualização dos vetores;
  • Como lidar com mudanças de versão dos modelos.

Trocar um modelo de embedding geralmente exige reprocessar todos os vetores armazenados.

Crescimento da base

Embeddings ocupam espaço significativo.

Uma coleção com milhões de documentos pode consumir dezenas ou centenas de gigabytes apenas para armazenamento vetorial.

O planejamento de capacidade deve considerar:

  • Crescimento dos dados;
  • Índices vetoriais;
  • Replicação;
  • Backups.

Monitoramento

Além das métricas tradicionais do PostgreSQL, é importante acompanhar:

  • Latência das consultas vetoriais;
  • Taxa de recall;
  • Crescimento dos índices;
  • Uso de memória;
  • Impacto nas operações de escrita.

Alta disponibilidade

Uma das vantagens do pgvector é que os mecanismos já utilizados para o PostgreSQL continuam válidos.

Recursos como:

  • Replicação física;
  • Patroni;
  • pgBackRest;
  • Failover automatizado;

continuam funcionando normalmente, reduzindo a necessidade de administrar plataformas adicionais.

O benefício estratégico de consolidar dados e IA

À medida que aplicações baseadas em IA deixam de ser iniciativas experimentais e passam a fazer parte de processos críticos de negócio, a simplicidade operacional se torna um fator cada vez mais importante.

Ao utilizar pgvector, equipes conseguem incorporar capacidades de busca semântica sem criar uma nova camada tecnológica isolada.

Em vez de manter bancos transacionais de um lado e bancos vetoriais de outro, torna-se possível centralizar dados, governança, segurança, observabilidade e recuperação em uma única plataforma.

Essa abordagem reduz custos operacionais, simplifica a arquitetura e acelera a adoção de funcionalidades baseadas em IA.

Conclusão

A extensão pgvector transformou o PostgreSQL em uma plataforma capaz de atender não apenas cargas transacionais tradicionais, mas também demandas modernas de busca semântica e aplicações de IA generativa.

A escolha entre HNSW e IVFFlat deve ser orientada pelos requisitos do negócio, considerando o equilíbrio entre precisão, desempenho, consumo de recursos e complexidade operacional.

Mais importante do que escolher o índice mais rápido é projetar uma arquitetura sustentável, capaz de crescer junto com os dados e manter a simplicidade operacional. Em muitos casos, integrar IA diretamente ao PostgreSQL pode ser o caminho mais eficiente para levar aplicações inteligentes à produção sem fragmentar a infraestrutura existente.

 

Faça parte da nossa newsletter

IA Soberana: Estratégia, Governança e Autonomia Tecnológica de Dados no Brasil

By Institucional

No início da adoção da Inteligência Artificial Generativa, a velocidade de implementação foi a principal métrica de sucesso para a maioria das organizações. O consumo imediato de APIs de modelos de linguagem fechados e hospedados em provedores de nuvens estrangeiros parecia o atalho ideal para a inovação. Contudo, à medida que os primeiros projetos entram em produção e ganham escala, os líderes de tecnologia deparam-se com uma realidade mais complexa.

A dependência crítica de algoritmos externos e infraestruturas centralizadas fora de solo nacional começou a levantar discussões profundas sobre conformidade regulatória, previsibilidade de custos de longo prazo e segurança geopolítica. É a partir desse amadurecimento de mercado que o conceito de IA Soberana (Sovereign AI) consolida-se como uma das maiores prioridades estratégicas de governança.

Compreendendo a IA Soberana

A IA Soberana refere-se à capacidade de um país, bloco econômico ou instituição de governar, treinar e operar sistemas de inteligência artificial sob sua exclusiva jurisdição e controle, mitigando a dependência crítica de tecnologias proprietárias estrangeiras. Trata-se de assegurar que as decisões automatizadas e o processamento de ativos informacionais sensíveis permaneçam alinhados às regulamentações locais e protegidos contra instabilidades de mercado ou restrições de fornecedores.

Para o mercado de língua portuguesa, a soberania atende também a uma necessidade técnica de representatividade. Um exemplo dessa disparidade aparece no LLaMA 2, cujo corpus de pré-treinamento tinha apenas 0,09% de conteúdo em português, enquanto 89,7% era composto por conteúdo em inglês.

A baixa presença de dados em português pode limitar a capacidade de modelos de linguagem de compreender particularidades linguísticas e culturais locais. Pesquisas sobre o desempenho de modelos em português já apontaram, por exemplo, possíveis impactos na compreensão de expressões e provérbios regionais quando há pouca exposição a documentos na língua durante o treinamento.

Vitrines práticas de autonomia no cenário nacional

O Brasil já conta com marcos estruturados que servem de modelo para o desenvolvimento de soluções públicas e privadas de IA generativa de forma segura:

  • O Projeto SoberanIA (Governo do Piauí & MCTI): Lançado como uma iniciativa nacional de inteligência artificial voltada ao setor público, o projeto busca desenvolver modelos de linguagem mais adequados à realidade brasileira, reduzindo a dependência de tecnologias estrangeiras. Entre suas principais iniciativas está o Dataset Jabuticaba, corpus em português brasileiro que, em sua primeira versão, reuniu mais de 130 bilhões de tokens limpos e desduplicados. O projeto também prevê infraestrutura e modelos nacionais voltados à aplicação de IA em serviços públicos, fortalecendo a soberania digital e a capacidade brasileira de desenvolver e operar essa tecnologia. 
  • ConversAI Studio (Serpro): Desenvolvido para permitir que órgãos da administração pública interajam com suas próprias bases de conhecimento por meio de inteligência artificial generativa, o ConversAI Studio possibilita consultar documentos, normas, pareceres, contratos e outras informações institucionais em linguagem natural. A solução foi concebida para operar dentro da infraestrutura do Serpro, mantendo dados estratégicos e sensíveis sob controle do ambiente nacional. A plataforma se insere em uma arquitetura de IA baseada em infraestrutura especializada de GPUs e modelos de linguagem executados na infraestrutura do próprio Serpro, reforçando a capacidade do Estado de utilizar IA sem depender exclusivamente do processamento em plataformas estrangeiras. Fonte: Serpro — ConversAI Studio

O PostgreSQL como catalisador da IA Soberana

Se o treinamento de grandes modelos de fundação exige supercomputadores estatais de grande porte, a implementação de soluções de inteligência artificial em nível corporativo pode ser alcançada de forma ágil e economicamente eficiente pela iniciativa privada. O caminho para isso passa pela arquitetura de RAG (Retrieval-Augmented Generation), o método de enriquecer as consultas aos modelos de IA com dados reais da empresa para evitar respostas imprecisas.

Em vez de as organizações fragmentarem suas infraestruturas adotando bancos de dados vetoriais de nicho, que trazem custos adicionais, complexidade de sincronização de dados e faturamentos imprevisíveis, o ecossistema pode estar optando por unificar suas pilhas tecnológicas no banco de dados relacional mais estável e testado do mercado: o PostgreSQL.

Através de extensões de código aberto como o pgvector e o pgvectorscale, o Postgres torna-se o alicerce ideal para armazenar e pesquisar embeddings vetoriais com segurança extrema.

  1. Governança Unificada de Dados: Os vetores que representam o conhecimento estratégico da empresa residem no mesmo ambiente que os dados transacionais clássicos. O gerenciamento, o backup e a segurança do pipeline de IA seguem os mesmos protocolos ACID que a equipe de TI já domina e audita diariamente.
  2. Segurança em Nível de Acesso (LGPD): O controle de acesso granular nativo do Postgres pode ser estendido diretamente aos fragmentos de texto alimentados no RAG. Isso garante que a IA nunca exiba ou recupere documentos que o usuário logado não tenha permissão explícita para visualizar (como salários ou contratos confidenciais).
  3. Desempenho em Escala de Produção: Benchmarks publicados pela Tiger Data mostram o potencial do pgvectorscale, extensão desenvolvida em Rust que adiciona o índice StreamingDiskANN ao PostgreSQL. Em um teste com 50 milhões de embeddings, PostgreSQL com pgvector e pgvectorscale alcançou 471 consultas por segundo (QPS) com 99% de recall, superando o Qdrant no mesmo cenário. [Ref]
    Em outro benchmark, comparando a mesma combinação com o índice de armazenamento s1 do Pinecone, o PostgreSQL apresentou 28 vezes menor latência p95 e 16 vezes maior throughput, também a 99% de recall. O teste apontou ainda 75% menor custo mensal quando a solução PostgreSQL foi autogerenciada em AWS EC2. [Ref]

*No item 3: os resultados apresentados são provenientes de benchmarks conduzidos e publicados pela Tiger Data. Os números refletem as configurações específicas utilizadas nos testes e não devem ser interpretados como garantia de desempenho para qualquer ambiente. 

A autonomia como pilar de resiliência de negócios

A jornada em direção à IA Soberana não deve ser encarada como uma barreira à inovação global, mas sim como a consolidação de uma Portabilidade Radical. Trata-se de entender que a nuvem e a própria inteligência artificial não se resumem a uma localização física ou a um fornecedor específico, mas operam como modelos de arquitetura portáveis.

Ao adotar modelos abertos integrados a uma base robusta de dados baseada em PostgreSQL, as organizações adquirem a liberdade de migrar suas inteligências corporativas de forma flexível e segura. Em um mercado maduro e regulado, garantir a soberania operacional de seus sistemas de dados e algoritmos é o pré-requisito básico para assegurar a resiliência e a longevidade dos negócios.

Faça parte da nossa newsletter

Acesse o White Paper: Repatriação e Soberania de Dados com PostgreSQL

A Timbira mudou. E queremos que você saiba por quê!

By Institucional

O futuro dos dados está mudando. E a Timbira também.

Nos últimos anos, acompanhamos de perto a evolução do PostgreSQL, das arquiteturas de dados e das formas de trabalhar com tecnologia.

Agora, estamos entrando em uma nova fase da Timbira, guiada por uma ideia que passa a estar no centro de tudo o que fazemos: Sustentabilidade tecnológica é o nosso norte.

Para nós, isso significa olhar para o ambiente de dados de forma contínua e estratégica, cuidando do presente sem perder de vista o futuro e identificando gargalos antes que eles se transformem em incidentes. É melhorar arquiteturas, automatizar processos, aumentar a previsibilidade e utilizar os recursos de forma mais eficiente.

E também unir excelência técnica, visão de negócio e inteligência humana para que a tecnologia deixe de ser apenas uma infraestrutura e passe a ser um verdadeiro motor para o negócio.

A Nossa Evolução: de DBA para DSE

O trabalho do DBA (Administrador de Banco de Dados) não morreu, ele evoluiu. Nós saímos do papel tradicional de DBA, abraçamos a cultura de automação e confiabilidade nos tornando DBREs (Database Reliability Engineers), e agora damos o passo definitivo: somos Engenheiros de Sustentabilidade de Dados (DSE).

Se as máquinas agora podem gerar scripts, qual é o nosso superpoder? Nós somos o Human-in-the-Loop (HITL). A IA não entende as dores orçamentárias do nosso cliente, não conhece o legado de código da empresa e não sabe avaliar os riscos de uma Black Friday. Nós sabemos. Nossa inteligência é conectar o alto rigor técnico do Postgres à realidade do negócio humano. Nós somos guardiões da conformidade, de métodos de segurança e conselheiros verdadeiramente estratégicos dos nossos clientes.

O Fim do Fazejamento e o Rigor da Sustentabilidade

Para construir a verdadeira Sustentabilidade Tecnológica, nós precisamos elevar o nosso ofício ao padrão da alta gastronomia. O princípio do Mise en Place é a nossa nova lei. Nós abolimos o “fazejamento”, aquele hábito impulsivo de sair alterando bancos de dados sem preparo prévio, tentando apagar o incêndio com as próprias mãos no meio do caos.

Nosso padrão de excelência exige observabilidade. Exige telemetria e logs configurados antes de qualquer intervenção. É por isso que o nosso Health Check Recorrente é tão poderoso. Ele não é um PDF gerado no final do mês para cumprir tabela; ele é a nossa principal arma de diagnóstico, o nosso escudo preventivo que mapeia contenções (locks) e concorrências de índices no Postgres antes que os servidores caiam.

Claro, haverá momentos em que uma intervenção de emergência ou uma atuação rápida será necessária para colocar o negócio de volta nos trilhos. Nós temos a agilidade para fazer isso. Mas o nosso compromisso inegociável é que o “modo emergência” nunca se torne o estado permanente do cliente.

Essa é a Timbira 3.0!

Uma nova identidade. Uma nova forma de olhar para os dados. E a mesma convicção que nos trouxe até aqui: PostgreSQL é o caminho.

Seguimos evoluindo, antecipando desafios e construindo, junto com nossos parceiros, um futuro mais sustentável para a tecnologia.

Continue acompanhando a gente por aqui, e nas nossas redes sociais!

Timbira realiza PGConf.Brasil 2018

By Institucional

A PGConf.Brasil 2018 acontecerá dias 3 e 4 de agosto de 2018, no Hotel Century Paulista, em São Paulo – SP. Será um evento presencial, com palestrantes nacionais e internacionais e conteúdo de alto nível.

A PGConf é uma conferência de nível mundial, que parte dos esforços de profissionais e entusiastas para expandir a comunidade do PostgreSQL, possibilitando que os participantes desenvolvam novos conhecimentos através de palestras e treinamentos.

Realização

A Timbira iniciou a realização da PGConf.Brasil em 2017, focando em uma renovação a partir das ramificações existentes na comunidade brasileira, em prol do alinhamento com as conferências do resto do mundo.

Em seu primeiro ano, foi organizada uma conferência online de 5 dias, com palestrantes nacionais e internacionais. Foram mais de 500 inscritos, interessados em participar.

Todo o lucro obtido na realização do PGConf.Brasil 2018 será reinvestido na próxima edição do evento. Qualquer esclarecimento pode ser obtido através do e-mail: pgconf@timbira.com.br.

Ingressos

Early Bird: aqueles que fizerem sua inscrição até 28/02/2018, receberão um brinde exclusivo que não será vendido durante o evento. A inscrição EARLY BIRD só é válida para quem realizar o pagamento da inscrição até 28/02/2018.

➡️ Inscrições no link: https://goo.gl/LxNJBK
➡️ Mais informações: https://www.pgconf.com.br/#inscricoes2018

Chamada de Trabalhos

O último dia para submeter uma palestra é dia 28/02. Para isso, acesse o formulário.

A escolha das palestras submetidas na chamada de trabalhos será realizada por uma banca avaliadora independente composta por 5 pessoas, onde apenas uma delas pertence à empresa organizadora do evento. A banca avaliadora é soberana na escolha das palestras e o voto de todos os membros possuem o mesmo valor nas decisões.

Banca Avaliadora: Matheus Oliveira (iFood), Flávio Gurgel (leboncoin), Luis Fernando Bueno (Cenispam), José Villanova (Locaweb), Euler Taveira (Timbira).

A escolha das palestras atende rigorosamente aos critérios de “Community Conference Recognition” descritos pelo PGDG.

Localização

Hotel Century Paulista
Rua Teixeira da Silva, 637 – Bairro Paraíso – São Paulo – SP
Existem valores especiais para Hospedagem, mencione que vai participar do PGConf.Brasil 2018 para conseguir descontos no ato da reserva. Saiba mais: https://www.pgconf.com.br/#local2018.

Timbira organiza evento PGConf.Brasil

By Institucional

Os consultores da Timbira, com o objetivo de potencializar cada vez mais a comunidade PostgreSQL, buscaram trazer para o Brasil um evento mundial chamado PGConf. Para isso, buscaram reunir grandes profissionais, com atuação no Brasil e no mundo, dispostos a trazer um conteúdo de alta qualidade para usuários e desenvolvedores PostgreSQL.

A conferência é online e gratuita, e vai ocorrer do dia 10 a 14 de julho de 2017.

PALESTRANTES:

  • 10/07: Flavio Gurgel com “Como detectar e corrigir índices corrompidos”
  • 11/07: Bruce Momjian com “Postgres Window Magic”
  • 12/07: Euler Taveira com “Replicação Lógica no PostgreSQL 10”
  • 13/07: Matheus Oliveira com “PostgreSQL no mundo de micro-serviços, a experiência do iFood”
  • 14/07: Álvaro Hernández com “Migrating off of MongoDB to PostgreSQL”
Saiba mais e faça sua inscrição

Novo site da Timbira

By Institucional

Após um crescimento de quase 100% em 2016 a Timbira passou a investir numa nova identidade visual. O novo logo é de autoria do Sr. Etson Delegá e o site foi realizado pela Klavo. Ainda pretendemos adicionar novas áreas no site com artigos, palestras e vídeos. Com isso a Timbira espera estabelecer uma comunicação mais eficiente e clara com seus clientes e contribuir para o uso eficiente do PostgreSQL no Brasil.

Participe do DBA Brasil 2.0

By Institucional

A Timbira está patrocinando o DBA Brasil 2.0, que promete repetir o sucesso de 2016, na sua primeira edição. Serão 7 salas simultâneas e mais de 35 palestras em um dia de eventos. Venha tomar um café no stand da Timbira, conversar sobre bancos de dados ou assistir uma das 4 palestras que estaremos ministrando.

Anote aí:

  • Quando: Sábado, 06/05/2017 das 9h às 17h.
  • Onde: IBTA: Avenida Paulista, 302, São Paulo / SP
  • Inscrições gratuitas no site do evento.