Децентрализованное хранение — одна из старых проблем, которая так и не была решена: чтобы обеспечить безопасность данных, приходится жертвовать эффективностью, а чтобы повысить эффективность — платить за безопасность.

Как поступает Filecoin? Он дублирует копии. Чтобы гарантировать сохранность данных, просто создаёт несколько копий, в результате чего получается 25-кратное избыточное хранение. Посчитав расходы, понять, что это слишком дорого. Arweave же выбрал другой подход — разовая оплата за постоянное хранение. Звучит красиво, но обновление и вызов динамических данных — реальные потребности — превращаются в пустую болтовню. Что касается RS-кодов исправления ошибок, их используют уже много лет, но они зависят от сложных многочленов, при восстановлении данных сильно нагружают пропускную способность, и в сценариях с высокой частотой обновлений их практически невозможно использовать.

Эти проблемы стоят перед нами, но Walrus не стал их просто исправлять, а решил кардинально изменить подход, взяв за основу логику кодирования.

В чем заключается основное новшество 2D-кодирования RedStuff от Walrus? По сути, оно заменяет сложные многочлены простым XOR-оператором. Данные разбиваются на основные и вспомогательные сегменты, которые распределяются по узлам для хранения. Такой подход сразу же поднял показатели эффективности: стоимость восстановления данных на одном узле сократилась до O(B/n), а общие затраты на восстановление сети — до O(B). Даже в экстремальных случаях, когда две трети сегментов потеряны, система всё равно сможет быстро собрать данные обратно.

Каков реальный эффект? Walrus держит коэффициент дублирования в пределах 4-5 раз. Для сравнения, у Filecoin уровень избыточности — 25 раз, что совершенно разные масштабы. Эффективность почти достигла уровня централизованных облачных сервисов. Настоящий подход заключается в том, что безопасность при этом не страдает, а стоимость значительно снижается — именно это и есть технологический прорыв, необходимый для сектора хранения данных.