файловые системы

RedHat покупает разработчика файловой системы GlusterFS

Компания RedHat выпустила вчера пресс-релиз, в котором объявила о покупке компании Gluster, которая является разработчиком открытой, масштабируемой файловой системы для cloud-систем и больших СХД.

Как заявляют представители RedHat, приобретение разработчика данной файловой системы очень хорошо вписывается в стратегию компании по развитию "облачных" сервисов, а также в имеющуюся у них линейку продуктов, вроде PaaS-плафтормы OpenShift.

Согласно имеющейся информации, сумма сделки составила 136 миллионов долларов. Как заявляют представители компании, Gluster станет самостоятельным подразделением RedHat, а GlusterFS по-прежнему будет открытым продуктом. Никаких изменений касающихся лицензионной составляющей проекта делаться не будет.

Надо заметить, что Gluster Inc. - это не первый разработчик файловых систем, который был куплен RedHat. Ещё в 2003 году они приобрели компанию Sistina, которая делала GlobalFileSystem, но GFS и GlusterFS решают совершенно разный набор задач. GFS заточена на агрессивную запись с нескольких источников, в то время как Gluster наоборот - множественное чтение и редкую запись.

0
RedHat r0g3r 5.10.2011 в 16:44

Состояние дел в некоторых открытых проектах под крылом Oracle

Не секрет, что после того, как корпорация Oracle купила Sun, оттуда ушла немалая часть талантливых разработчиков, а сами проекты сделали форки, дабы не подчиняться жесткой авторитарной политике управления проектами принятой в этой корпорации. В результате этих демаршей, Oracle полностью потеряла разработчиков и сообщество развивавших офисный пакет OpenOffice.org и была вынуждена передать проект в Apache Foundation, у MySQL появилось несколько форков, ряд неликвидных по мнению менеджеров корпорации проектов, и вовсе ушли к другим компаниям, а разработка OpenSolaris была полностью свёрнута, несмотря на уверения в обратном.

Что осталось в итоге? Oracle по-прежнему развивает файловые системы ZFS и BTRFS, Java и виртуальную машину VirtualBox. Вот последний проект, несмотря ни на что, развивается очень активно. Были наняты разработчики, которые занимаются реализацией технологии TTM (Translation Table Maps), позволяющая управлять памятью GPU из виртуализированных окружений. Набор патчей готовится как для драйверов Radeon, так Noveau. Сами патчи уже находятся на рассмотрении, так что если всё пойдёт хорошо, они будут приняты в ядро Linux.

Вполне возможно, что эту технологию и драйверы могут портировать и на проприоретарную Oracle Solaris, что может неплохо сказаться на появлении каких-то открытых решений для неё. Но сам факт такого находится под вопросом.

0
Phoronix.com r0g3r 26.08.2011 в 16:57

XtreemFS - открытая распределённая файловая система для облаков

Автор CloudFS (теперь уже HekaFS) инженер компании RedHat Джефф Дарси (Jeff Darcy), помимо разработки данной файловой системы, занимается тестированием аналогичных проектов. В этот раз в его руки угодила XtreemFS. Данная ФС заявлена как распределённая, открытая файловая система с возможностью репликации.

После небольшого тестирования, Джефф пришёл к заключению, что это весьма неплохая файловая система, которая крайне просто настраивается, но с возможностью репликации в настоящий момент имеются проблемы.

Джеффу Дарси также понравилась производительность XtreemFS, которая практически не отличается от таковой у другого проекта - GlusterFS. Хотя он признаётся, что проверял систему не очень внимательно. По его словам, четыре из шести файловых систем, которые он тестировал, даже близко не подобрались по значением производительности которые были получены в тестах iozone XtreemFS и GlusterFS. Кроме того, он доволен тем, что XtreemFS прошла все проверки, которые он устраивал, без потерь и повреждений данных.

В настоящий момент, на сайте данного проекта выложен кадидат в релизы версии 1.3. Если разработчики в будущем устранят проблемы с репликацией упоминаемые Дарси, то это будет очень хороший конкурент GlusterFS.

0
cloudfs.org r0g3r 10.08.2011 в 18:20

Использование файловых систем в пространстве пользователя не более, чем детская забава по мнению Торвальдса

Занятная дискуссия разгорелась в почтовой рассылке посвящённой развитию поддержке файловых систем в Linux. Всё началось с патчей предназначенных для реализации OverlayFS в стабильную ветку ядра, чтобы данная ФС к выходу ядра версии 3.1 была доступна всем без накладывания каких-либо патчей. На что последовал ответ Эндрю Мортона с вопросом, почему автор не хочет реализовать поддержку данной файловой системы через модуль FUSE. Автор OverlayFS Миклос Цереди (Milos Szeredi) парировал ответ Мортона тем, что реализация файловой системы через модуль использующий файловую систему в пространстве пользователя никогда не будет столь эффективна по производительности, как это было бы находись она в пространстве ядра.

Мортон всё же согласился с аргументом Миклоса касаемо производительности файловой системы в пространстве пользователя и попросил в этом случае подождать Торвальдса, чтобы он поставил точку в этом вопросе и было принято дальнейшее решение на основе мнения Линуса.

Тем временем, к дискуссии подлючился ещё один весьма известный разработчик, работающий на компанию Novell/Attachmate - Грег Кроа-Хартман, который в противовес мнению Цереди и Мортона привёл пример производительного драйвера для файловой системы NTFS с использованием FUSE, который реализовала для Linux небезызвестная компания Tuxera.  Но в ответ, другой разработчик указал Грегу на то, что проприоретарный модуль ядра разработанный той же Tuxera, работает гораздо быстрее драйвера с использованием FUSE.

Сам Торвальдс явившись в дискуссию, высказал Мортону следующую точку зрения: "Люди думающие, что использование файловых систем в пространстве пользователя оправдано для реального применения в реальных задачах не понимают, что это всего лишь игрушки". Чуть ниже он поясняет свою точку зрения: "FUSE вполне хорошо работает, когда требуется реализовать какой-то малоиспользуемый интерфейс на медленном устройстве. А если речь идёт о корневой файловой системе? Нет. Ничего не выйдет" и ещё чуть ниже "...идея о том, что оно обязательно должно быть реализовано именно через FUSE довольная смешная. Это то же самое, как если бы ты говорил про реализацию микроядра. На бумаге выглядит оно здорово, но это довольно глупая идея, говорящая о том, что люди больше озабочены теорией, чем практикой".

Что интересно, два разных разработчика занимающиеся файловыми системами CloudFS и GlusterFS, не поддержали идею Торвальдса о микроядрах. Каждый из них в своём блоге изложил мнение, которое в общем виде звучит следующим образом: ядро оперирующее четырёхкилобайтными страницами памяти просто не годится для манипулирования большими объёмами данных. Поэтому имеет смысл рассматривать ядро именно как микроядро с гипервизором и драйвером файловой системы работающим в пространстве пользователя, при условии, что управление памятью будет переложено на гипервизор. Так что здесь нет никакой проблемы, считают они. Учитывая нынешнее повсеместное использование целых виртуализированных операционных систем, которые как раз работают внутри гипервизоров. Так что внедрение новых возможностей для файловой системы и потеря производительности никак не связаны между собой. Тем не менее, оба разработчика присоединились к мнению Торвальдса о том, что использование FUSE в настоящий момент действительно не более чем игрушка, с небольшой оговоркой: "И помните, что многие люди впервые увидевших Linux и машины, тоже считали их не более, чем детскими забавами".

2
H-Online r0g3r 1.07.2011 в 06:38

Начата разработка новой версии стантарта FHS

В почтовой рассылке проекта freedesktop.org появилось сообщение о том, что начаты работы по разработке Filesytem Hierarchy Standard версии 3.0. Согласно письму, которое появилось в рассылке, работы планируются окончить к первому июля 2011 года.

Желающие поучаствовать приглашаются в:

  • старую bugzilla, которая располагается по адресу http://bugs.linuxfoundation.org/. Чтобы внести свои предложения, необходимо оставлять их в теме с названием "FHS".
  • почтовые рассылки distributions@freedesktop, lsb-discuss и fhs-discuss там же.
  • новый репозиторий для контроля версий документов в формате DocBook располагающемся по адресу http://bzr.linuxfoundation.org/lsb/devel/fhs-spec
  • раздел спецификаций FHS находящемся по адресу http://refspecs.linuxfoundation.org/fhs.shtml
0
via lwn.net r0g3r 7.05.2011 в 22:41

Интервью с разработчиком reiserfs4 Эдуардом Шишкиным.

На ресурсе Хабрахабр было опубликовано интервью с бывшим разработчиком компании Namesys Эдуардом Шишкиным. В интервью затрагивается судьба reiserfs как файловой системы, о её развитии, немного о Гансе Рейзере и критика файловой системы btrfs.

Интервью интересное, но проскальзывает много технической информации. Так что понимание структуры и методов работы файловых систем желательно.

0
habrahabr.ru r0g3r 23.11.2010 в 06:38

Теодор Цо опубликовал бенчмарки доработанной ext4 в сравнении с XFS

Разработчик файловой системы ext Теодор Цо, опубликовал в своём блоге графики результатов тестирования файловой системы ext4 в сравнении с XFS. Тестированию подверглись ext3, ext4 со включенным журналированием, ез него, а также ext4 с набором новых патчей и xfs, разумеется.

Тестирование проводилось одним из инженеров компании Hewlett-Packard Эриком Уитни (Eric Whitney) с использованием ядер Linux 2.6.34, 2.6.35 и 2.6.36-rc6 с наборами патчей для улучшения масштабируемости на сервере HP ProLiant DL785 G6 (в конфигурации использвались процессоры AMD с 48-ми ядрами, с 24 SAS-дисками в семитерабайтном RAID-массиве) на операциях связанных с записью болших файлов. Как показывают результаты, наилучшую производительность (после XFS) показывает ext4 без журналирования с набором пачтей. Ext3 находится в аутсайдерах, поскольку очень плохо масштабируется на таком оборудовании. По словам Теда - ему удалось изрядно сократить дистанцию касающейся производительности, но задача достижение сравнимой производительнои его очень бодрит, и он намерен добиться поставленной цели.

0
Teodor Tso's blog r0g3r 2.11.2010 в 14:36

Реализована полноценная поддержка файловой системы ZFS в Linux


Несколько дней назад на различных новостных ресурсах появилась заметка о том, что сотрудниками Национальной Лаборатории Лоуренса Ливермора сумели реализовать поддержку ZFS в Linux. Несмотря на то, что поддержка самой файловой системы уже была в Linux через подсистему FUSE, она имела ряд проблем, а также сильно отставала в развитии от основной ветки, которая ведётся в рамках проекта OpenSolaris. Помимо этого, существовала проблема с несовместимостью CDDL под которыми распространялась данная разработка и GPL. под которой распространяется ядро Linux.

Нынешняя реализация zfs в Linux будет распространяться в виде отдельного модуля для ядра Linux, лицензироваться только под CDDL и не будет работать через прослойку FUSE. Помимо решения проблем со скоростью работы и упрощением поддержки, этот шаг позволит частично решить лицензионные проблемы. Несмотря на это, один из сотрудников лаборатории и по совместительству главный разработчик данного проекта Брайан Белендорф (Brian Behlendorf) пытается связаться с Oracle, чтобы всё же как-то разрешить проблемы с лицензированием и полноценно включить данный модуль в ядро Linux.

что касается самой разработки, то несмотря на то, что львиная доля работы по портированию уже проделана, есть места которые ещё не закончены. В частности, до сих пор не реализована поддержка ZFS Posix Layer. Над реализацией данной части работает компания KQ Infotech, но конкретные сроки окончания работ и текущее состояние кода остаётся неизвестным.

В имеющийся же проект по реализации zfs через FUSE поддерживает работу только через zvol, который позволяет создать виртуальное блочное устройство с пулом файловой системы zfs. Проект же развиваемый Белендорфом уже сейчас поддерживает SPA (Storage Pool Allocator), DMU (Data Management Unit) и ZVOL (ZFS Emulated Volume).

Желающие попробовать эту разработку уже сейчас, должны учитывать, что в силу специфики реализации ZFS, модуль будет работать только на архитектуре x86_64. Инструкции по сборке лежат здесь. Список поддерживаемых платформ прилагается. Для промышленного использования пока что использовать данный модуль не рекомендуется.

0
OSNews r0g3r 8.06.2010 в 10:34
RSS-материал