No domínio do armazenamento descentralizado, custos e eficiência têm sido duas das principais dificuldades que impedem a adoção comercial. A solução do Walrus Protocol é uma tecnologia de código de correção de erros bidimensional chamada Red Stuff, que muda fundamentalmente a economia do armazenamento de grandes ficheiros.

O armazenamento distribuído tradicional geralmente depende de um fator de replicação elevado para garantir a segurança dos dados — normalmente requer uma redundância de 10 a 20 vezes. Isto significa que, ao armazenar 1TB de dados, é necessário adquirir entre 10 e 20TB de espaço de armazenamento, o que torna os custos extremamente elevados. A abordagem do Red Stuff é completamente diferente.

Primeiro, organiza grandes ficheiros em forma de matriz, depois aplica codificação de código de correção de erros às linhas e colunas, gerando dois conjuntos de fragmentos, chamados primary e secondary. Cada nó de armazenamento precisa apenas de guardar um par de fragmentos correspondentes, em vez de uma cópia completa. Qual é o resultado? O fator de replicação global pode ser controlado entre 4-5x, reduzindo os custos de armazenamento em mais de 80% em comparação com soluções tradicionais.

Mais importante ainda, há o desempenho de recuperação. Quando ocorre perda de dados, o sistema só precisa de descarregar uma proporção dos fragmentos correspondentes aos dados perdidos para reconstruir o ficheiro original, o que significa que o tempo de recuperação e o consumo de largura de banda diminuem linearmente (mesmo que dois terços dos fragmentos sejam perdidos, a recuperação ainda é rápida). Em comparação, as soluções tradicionais muitas vezes requerem a retransmissão do ficheiro completo.

Isto é especialmente benéfico para conjuntos de dados como conjuntos de treino de IA, ativos de jogos em larga escala, vídeos em alta definição e outros dados blob. Além de melhorar a economia, o mais importante é que o armazenamento descentralizado realmente passa a ter uma possibilidade de competir com soluções centralizadas. Do ponto de vista técnico, a introdução do Red Stuff resolve uma das restrições centrais que há muito atormentam este setor.