Инкрементальное архивирование: чем?

Здесь обсуждаются все вопросы, не попадающие под другие категории
Аватара пользователя
Llama
Неотъемлемая часть форума
Сообщения: 9749
Зарегистрирован: 06 фев 2002, 11:40
Откуда: Менск

Инкрементальное архивирование: чем?

Сообщение Llama »

Задача простая: есть файловая система с обычными юниксовыми атрибутами, ныжны инкрементальные бэкапы.

Хочется решения позволяющего:
1) Создать сжатый архив
2) На регулярной основе создавать сжатые архивы содержащие файлы измененные относительно предыдущего архива.
3) Имет возможность достать один файл из сжатого архива без полной распаковки.
4) И все это с сохранением традиционных unix-атрибутов
Опыт растет прямо пропорционально выведенному из строя оборудованию

Аватара пользователя
IceMan
Неотъемлемая часть форума
Сообщения: 377
Зарегистрирован: 22 июл 2007, 10:12
Откуда: Минск
Контактная информация:

Re: Инкрементальное архивирование: чем?

Сообщение IceMan »

Посмотри rdiff-backup, делает обратно-инкрементальное копирование. Из списка требований не умеет только сжатие (хотя librsync может и эффективнее будет)

leave
Неотъемлемая часть форума
Сообщения: 1055
Зарегистрирован: 25 окт 2006, 14:50
Откуда: minsk
Контактная информация:

Re: Инкрементальное архивирование: чем?

Сообщение leave »

Llama, ты не поверишь :)
tar --after-date

Berserker
Неотъемлемая часть форума
Сообщения: 279
Зарегистрирован: 23 апр 2005, 21:13
Откуда: minsk

Re: Инкрементальное архивирование: чем?

Сообщение Berserker »

Задача простая: есть файловая система с обычными юниксовыми атрибутами, ныжны инкрементальные бэкапы.

Хочется решения позволяющего:
1) Создать сжатый архив
2) На регулярной основе создавать сжатые архивы содержащие файлы измененные относительно предыдущего архива.
3) Имет возможность достать один файл из сжатого архива без полной распаковки.
4) И все это с сохранением традиционных unix-атрибутов
Попробуй zip/rar ? Списки файлов для очередной архивации можно генерить с помощью find -ctime . Не знаю, как они там атрибуты сохраняют, но ИМХО чтобы достать файл из tar.gz -- он полностью разжимается. Поправьте, если не так.

Аватара пользователя
Llama
Неотъемлемая часть форума
Сообщения: 9749
Зарегистрирован: 06 фев 2002, 11:40
Откуда: Менск

Re: Инкрементальное архивирование: чем?

Сообщение Llama »

Berserker, в том-то и дело, что атрибуты не сохраняются в zip/rar

leave, а tar не позволяет либо сжатие, либо поштучное извлечение.
Опыт растет прямо пропорционально выведенному из строя оборудованию

Berserker
Неотъемлемая часть форума
Сообщения: 279
Зарегистрирован: 23 апр 2005, 21:13
Откуда: minsk

Re: Инкрементальное архивирование: чем?

Сообщение Berserker »

Llama, Конечно, это ппц, но можно список с правами доступа отдельно хранить :)

Код: Выделить всё

find DIRECTORY -printf "chown %u:%g '%p'\nchmod %m '%p'\n" > acl.sh

Foxx
Неотъемлемая часть форума
Сообщения: 435
Зарегистрирован: 03 апр 2004, 17:05
Контактная информация:

Re: Инкрементальное архивирование: чем?

Сообщение Foxx »

Сталкивались с разработкой коммерческого продукта, как раз удовлетворяющего подобным требованиям а также много большим. Поскольку продукт был успешно продаваемым, можно судить о том, что свободной альтернативы со всеми вышеперечисленными параметрами не найти :( как вариант, еще можно взглянуть на git/gibak, но оно вроде бы не хранит аттрибуты

Аватара пользователя
IceMan
Неотъемлемая часть форума
Сообщения: 377
Зарегистрирован: 22 июл 2007, 10:12
Откуда: Минск
Контактная информация:

Re: Инкрементальное архивирование: чем?

Сообщение IceMan »

Llama, когда определишься объяви результаты тендера.

bazil
Неотъемлемая часть форума
Сообщения: 879
Зарегистрирован: 18 дек 2003, 23:56

Re: Инкрементальное архивирование: чем?

Сообщение bazil »

В офисе использую backuppc http://backuppc.sourceforge.net/
Может немного не то, что нужно, но требованиям удовлетворяет.
I did a 'zcat /vmlinuz > /dev/audio' and I think I heard God...

max_posedon
Интересующийся
Сообщения: 53
Зарегистрирован: 05 сен 2006, 09:05
Откуда: Minsk

Re: Инкрементальное архивирование: чем?

Сообщение max_posedon »

Инкрементальные backup-ы это по сути аналог VCS, почему бы тогда не взять какую-нить правильную VCS с коспрессией, например git. .git можно монтировать по nfs, или хранить там же, где и данные для backup.

Для данных вида "rootfs", .git занимает 25% (т.е. жмёт в 4 раза).

Аватара пользователя
IceMan
Неотъемлемая часть форума
Сообщения: 377
Зарегистрирован: 22 июл 2007, 10:12
Откуда: Минск
Контактная информация:

Re: Инкрементальное архивирование: чем?

Сообщение IceMan »

git сохраняет юниксовые атрибуты?

Foxx
Неотъемлемая часть форума
Сообщения: 435
Зарегистрирован: 03 апр 2004, 17:05
Контактная информация:

Re: Инкрементальное архивирование: чем?

Сообщение Foxx »

git в чистом виде afaik не сохраняет, но его можно попробовать скрестить с чем-либо другим (f.ex. metastore, rsync, tar, cpio, etc). его недостаток - хеширование файлов в ram, соотв-но с данными большого объема могут быть проблемы.

michael
Неотъемлемая часть форума
Сообщения: 434
Зарегистрирован: 12 апр 2004, 11:00
Откуда: г. Владивосток
Контактная информация:

Re: Инкрементальное архивирование: чем?

Сообщение michael »

Llama писал(а): leave, а tar не позволяет либо сжатие, либо поштучное извлечение.
Не позволяет поштучное извлечение из сжатого архива? Вполне позволяет, только что проверил. Или что-то другое имелось в виду?

З.Ы. И у тара есть возможность инкрементального архивирования в виде опций --incremental. Даже многотомные архивы есть, но они со сжатием не работают.

Аватара пользователя
IceMan
Неотъемлемая часть форума
Сообщения: 377
Зарегистрирован: 22 июл 2007, 10:12
Откуда: Минск
Контактная информация:

Re: Инкрементальное архивирование: чем?

Сообщение IceMan »

michael писал(а):
Llama писал(а): leave, а tar не позволяет либо сжатие, либо поштучное извлечение.
Не позволяет поштучное извлечение из сжатого архива? Вполне позволяет, только что проверил. Или что-то другое имелось в виду?
Попробуй извлечь один файлик из архива гигов на 10 и засеки время =)

leave
Неотъемлемая часть форума
Сообщения: 1055
Зарегистрирован: 25 окт 2006, 14:50
Откуда: minsk
Контактная информация:

Re: Инкрементальное архивирование: чем?

Сообщение leave »

Llama, а бакула не умеет того, что тебе надо? Я только насчет атрибутов не помню, а все остальное вроде есть.

Ответить