Представлена децентрализованная СУБД Noms, основанная на идеях Git

2016-10-16

Сформированный в августе стартап Attic Labs, в который вошли разработчики, ранее участвовавшие в работе над Google Chrome, Chrome OS и ECMAScript, представил первые результаты разработки новой децентрализованной СУБД Noms, в которой осуществлена попытка применения идей Git для организации хранения и совместной работы над большими коллекциями структурированных данных. Сформировано два рабочих прототипа Noms, написанных на языках Go и JavaScript и распространяемых под лицензией Apache 2.0.

Noms предоставляет пользователю типичные операции, свойственные Git, включая возможность контроля за версиями данных, создания форков БД, синхронизации изменений из разных БД, слияния БД и отслеживания истории изменений. СУБД автоматически сохраняет сведения о каждом изменении в БД, позволяет отменить его в случае необходимости или получить срез состояния на определённый момент времени. Noms также может применяться для организации архивирования данных, для чего предусмотрена возможность периодической загрузки слепков состояния данных в любом формате. Поступающие подобным образом данные будут автоматически версионированы и дедуплицированы для повышения эффективности хранения.

Проект пока находится на стадии рабочего прототипа, из запланированных, но ещё не реализованных возможностей, отмечаются сборщик мусора, система запросов, обеспечение распараллеливания операций, возможность создания клонов БД без сохранения истории изменений ("shallow clones"), средства для автоматического слияния изменений и разрешения конфликтов. В настоящее время обмен данными между разными экземплярами БД может производится через HTTP API или локальную ФС, но рассматриваются возможность задействования таких протоколов, как IPFS или BitTorrent.

Основные особенности СУБД Noms:

  • Адресация по содержимому: имеется только возможность добавления данных, операции обновления не поддерживаются. СУБД автоматически игнорирует добавление дубликатов и отслеживает изменения;
  • Работа в режиме только добавления (Append-only). Данные в хранилище не перезаписываются и не удаляются - изменения размещаются в режиме дополнения, старое состояние данных сохраняется. Подобный подход позволяет отследить полную историю изменений, сравнить состояние на разных этапах существования БД и откатиться на позицию в прошлом;
  • Хранение только типизированных данных: каждое значение, набор данных и версия БД имеет свой тип. Типы определяются автоматически при добавлении данных, вручную их определять не нужно;
  • Децентрализация: можно создать копию БД, локально внести в неё изменения и вернуть эти изменения в основную БД, объединив с изменениями, накопившимися в основной БД с момента создания ответвления;
  • Возможность подключения различных бэкендов хранения. Noms предоставляет уровень абстракции, способный работать поверх любых хранилищ, способных обрабатывать данные в формате ключ/значение. В настоящее время подготовлены бэкенды для работы поверх LevelDB, HTTP (для обращения к внешним СУБД), Amazon DynamoDB и в оперативной памяти.