Децентрализованное верифицируемое хранилище данных для распределенного машинного обучения

Аннотации

Аннотация

Схема хранения для распределенного машинного обучения на базе NeoFS обеспечивает компактность данных и верифицируемую целостность без необходимости консенсуса. Наборы данных кодируются стирающими кодами и хранятся в виде шардов с единственной физической репликой, заголовки которых содержат доказательства целостности. Проверка выполняется по заголовкам, восстановление — по любым $k$ шардам. Политики NeoFS управляют размещением, а ончейн-манифест фиксирует обязательства для аудита. Эксперимент на модели LeNet-5 подтверждает, что проверка и декодирование не снижают производительность обучения.