Site Local

Portal de notícias de tecnologia

StreamNative abre o código do Ursa e de uma distribuição do Kafka sem disco

Especificação Lakestream, motor Ursa e distribuição UFK saem sob Apache 2.0; tópicos sem disco convivem com os comuns.

StreamNative abre o código do Ursa e de uma distribuição do Kafka sem disco

A StreamNative, empresa fundada por criadores do Apache Pulsar, abriu o código em 23 de setembro de 2026 do Ursa, o motor de armazenamento de streams que sustenta seus serviços gerenciados de Kafka e Pulsar, e do UFK, sigla de Ursa for Apache Kafka, uma distribuição do Kafka com tópicos que gravam direto em armazenamento de objetos, sem depender dos discos dos brokers. Os dois, junto com a especificação chamada Lakestream, foram publicados sob licença Apache 2.0.

A ideia: um formato aberto para streams

O argumento da empresa é que tabelas ganharam formatos abertos, como Parquet, Iceberg e Delta, que qualquer motor consegue ler, mas streams continuam presos ao sistema que os gravou. A especificação Lakestream descreve como um stream é organizado num bucket, como uma gravação se torna durável, como os offsets são atribuídos e como um segmento fechado vira tabela num catálogo. A proposta é que qualquer sistema que implemente esse contrato consiga ler o stream sem passar pelo broker que o escreveu.

O Ursa 1.0 inclui a especificação, o motor em Java, feito para ser embutido em brokers, e um framework de materialização que transforma streams em tabelas de lakehouse e também em tabelas do ClickHouse ou índices do OpenSearch. Implementações em outras linguagens estão prometidas, sem data.

O que o UFK entrega na prática

Segundo a documentação do projeto, o UFK é baseado no Apache Kafka 4.3.1. Num mesmo cluster convivem tópicos comuns, com disco local e replicação, e tópicos sem disco, que gravam no armazenamento de objetos desde a primeira escrita e usam fator de replicação 1, com a durabilidade vindo do Ursa e do armazenamento escolhido. O protocolo do Kafka não muda, então clientes existentes conectam como antes. Um tópico sem disco também pode ser compactado em tabela Iceberg para análise.

A documentação lista limites: falhas ainda exigem detecção, atualização de metadados e novas tentativas, sem garantia de latência zero; os brokers continuam precisando de disco para metadados, tópicos internos e tópicos comuns; e nem todo recurso do Kafka é suportado nos tópicos sem disco. Por enquanto não é possível mover um tópico entre os dois tipos de armazenamento.

Um fork, por ora

A StreamNative reconhece que o UFK é um fork do Kafka, porque o projeto oficial não tem interface plugável para essa parte do código, e diz que quer contribuir com a comunidade para não precisar mantê-lo separado. A própria comunidade Kafka trabalha em armazenamento em objetos pela proposta KIP-1150, lembra a empresa. O suporte ao Pulsar e integrações para Kafka Connect e MirrorMaker estão anunciados para versões futuras.

Para equipes de dados, a novidade interessa a quem paga caro por disco e replicação entre zonas em clusters Kafka, ou quer streams legíveis como tabelas sem pipeline extra. Não encontramos cobertura independente até 8 de outubro, e as vantagens descritas vêm da própria empresa.

Fontes

Imagem destacada: ilustração gerada por computador, sem valor documental.

Deixe comentário

Seu endereço de e-mail não será publicado. Os campos necessários são marcados com *.

Fique por dentro

As principais notícias de tecnologia, todos os dias

Siga o portal nas redes sociais e acompanhe IA, cibersegurança, cloud, hardware e o mercado de tecnologia em primeira mão.