Выбор железа под файловый сервер. Ваше мнение.

ZZmey · Сообщение **ZZmey** » 02 дек 2006, 22:33

Эко вас понесло на серверные мамки =)

Для файл-сервера домосети походу важнее будут следущие параметры железа:
*) Intel(CPU)+Intel(Chipset)+Intel(LAN) = надежность.
*) Рейды из доступных - LSI SATA. Перешиваются замечательно, просты как грабли, хороший перф.
*) Возможность напхать много памяти - для файл-серва объем рамы критичнее скорости CPU. (1-2Gb+ - хватит для раздачи 2-3Tb фильмов и софта по гигабиту)
*) Диски - скорость метания голов для таких задач не критична. Сл-но, лучше упор на надежность делать. И энергопотребление. (Samsung ?)
*) БП класса FSP 400+ из расчета на 6-10 дисков 200G+. Чем менее энергоёмкие винты, тем больше можно будет насовать - это неизбежный процесс развития файл-серва.
*) PCI-66\X - возможно когда-нибудь шина станет узким местом. При втыкании второго, третьего гигабитного адаптера.

Llama · Сообщение **Llama** » 03 дек 2006, 00:11

ZZmey писал(а):Эко вас понесло на серверные мамки =)

Для файл-сервера домосети походу важнее будут следущие параметры железа:
*) Intel(CPU)+Intel(Chipset)+Intel(LAN) = надежность.

Ну и саму мамку от Intel тоже было бы вполне логично брать - балого недорого стоят относительно.
С AMD проблема с доступностью наормальных плат - тут либо оверклокерско-геймерские изделия, либо офисные обрезки, либо полноценный tyan, но дорого...

ZZmey писал(а): *) Рейды из доступных - LSI SATA. Перешиваются замечательно, просты как грабли, хороший перф.

А зачем из перешивать-то

Конечно чена у четырехпортового девайса хороша, но это наверное действительно самый дешевый из безгеморройных вариантов. Но тут стоит отметить, что 4-6 винтов повешеные на PCI благополучно скушают пропускнуб способность PCI33/32 (133Mb/sec всего)
А под PCI-E я что-то у них пока доступных девайсов не видел...
конечно, контроллеры сами позволяют пользовать PCI66/64, но где вы видели такие шины на десктопных платах?

ZZmey писал(а): *) Возможность напхать много памяти - для файл-серва объем рамы критичнее скорости CPU. (1-2Gb+ - хватит для раздачи 2-3Tb фильмов и софта по гигабиту)

Ну 4 DIMM - это есть почти везде, больше четырех - только на продуктах класса server/sorkstation. Опять же, не каждая плата позволяет полноценно поставить и использовать больше 3.5Gb памяти, хотя вроде бы на последних чипсетах эта порблема решена.

ZZmey писал(а): *) Диски - скорость метания голов для таких задач не критична. Сл-но, лучше упор на надежность делать. И энергопотребление. (Samsung ?)

ZZmey писал(а): вы видели что делает с производительностью диска параллельная запись 20-30 потоков хотя бы? А это вполне реально, тем более что тут скорость сети по условию позволяет качать с сервера быстрее скорости линейного чтения в диска в один поток. Возьмите iometer и посмотрите
Посему - минимальное время доступа, NCQ со стороны контроллера и диска все-таки актуально.
Что касается надежности - то практичка показывает, что нормально охладаемый и питаемый без перекосов напряжения диск который _редко_ выключается/выключается живет намного дольше чем братья-близнецы из мутных дескотопов. По сути, бренд тут выбирать бесполезно, все равно, если серия не явно провальная, то картинку по надежности можно будет составить только через два-три года минимум.

ZZmey писал(а): *) БП класса FSP 400+ из расчета на 6-10 дисков 200G+. Чем менее энергоёмкие винты, тем больше можно будет насовать -
это неизбежный процесс развития файл-серва.
А тут все еще веселее. Современные БП согласно стандарту ATX 2.x заточены на высокое потребление энергии по +12V, а диски прекрасно кушают по амперу-другом по +5V при включении. Хорошо что хоть delayed start теперь явленіе распространенное. А современные БП могут по +5V выдавать сущие копейки, причем эта линия может быть объединена по питанию с +3.3V - вобщем этот момент надо учитывать и спотреть на спеки БП, а не только на маркировку.

ZZmey писал(а): *) PCI-66\X - возможно когда-нибудь шина станет узким местом. При втыкании второго, третьего гигабитного адаптера.

Она станет узким местом при работе 4-6 винтов без всяких дополнительных усилий. В серверных платах встречается PCI 64 bit с частотами 66-133Mhz, да и шин PCI как правило больше одной. Но где вы такое видели на не-сервеных платах?

Мне пока что нравятся платы на чипсетах типа i965/i975 - там шестиканальный SATA-контроллер с NCQ висит на хабе, а не на шине. Говнорейд конечно, но можно пользовать либо софтовый, либо надеятся что в скором времени таки дапишут дрова, благо дизай у чипа открытый.
Всяческие "дополнительные" контроллеры распаяные на плате достаточно часто являются злом, ибо зачастую их вешают на ту же PCI32/33 что сводит их эффективность к нулю.
Т.е. по получается вариант на сегодняшний день:
1) SATA-контроллер на хабе + встроеный гигабитный интерфейс на нем же.
2) Дополнительный гигабитный интерфейс на PCI32/33 (работать будет не на 100%, но для систем с приоритетным r/o этого будет достаточно). Ну либо аппаратный RAID-контроллер на 4-6 дисков...

Вобщем грустно, неполучается никак сделать на дектопно плате сервер который бы нормально выдавал 1gbit да еще на несколько интерфейсах. Думаю 50-60Mb/sec при количестве одновременных клиентов порядка нескольких десятков будет близко к пределу.

ZZmey · Сообщение **ZZmey** » 05 дек 2006, 16:41

Тут надо учитывать, что upload на файл-сервере в домо-сети в порядки меньше download`a. Это про 20-30 потоков записи. Явление очень редкое.

Да, Intel-матери хороши. Значительно реже попадаются с дефектами в виде вспухших ёмкостей, в гайку черными стабилизаторами и выжжеными дорожками, чем десктопные матери в том же применении. И еще, хотя бы известны и официально заявлены несовместимости железа для них. Например, некоторые модели RAID Adaptec на E7xxx чипсетах.

Хм. По поводу шины - первое время узким местом может быть именно гигабитная сеть. Кто-нить видел прокачку с G выше 60 Мег ? Если нет - то у PCI32\33-шины еще есть запас. И какой тогда смысл объединять более 2х дисков в рейды (актуальность 4х-портовых), если 2x250 Maxtor SATA на LSI Mega Raid выжимают от 70-80 Мег\сек чтения (на Celeron 366)?

А еще когда-то AMD делало чипсеты (кажися 740-760) с шиной EV6, где каждый PCI имел отдельный канал в чипсет. Что-то вроде свитча.

Она станет узким местом при работе 4-6 винтов без всяких дополнительных усилий. В серверных платах встречается PCI 64 bit с частотами 66-133Mhz, да и шин PCI как правило больше одной. Но где вы такое видели на не-сервеных платах?

Видели =) У меня была мамка (AIR inc.) 2xPII c PCI-64\33. И совсем не серверная. Скорее класса workstation. Т.е. между desktop и server есть и промежуточные решения. Вот в них наверное можно и покопаться.

Llama · Сообщение **Llama** » 05 дек 2006, 19:14

ZZmey, начсет EV6 - сильно сомневаюсь, хотя могу попробывать проверить - благо дома tyan tiger mp, promise SATA2 300 и пара гигабитных сетевух есть

Что касается матерінскіх плат - то на современных действительно туго со слотами. У меня например есть pci64/33 - но толку-то? Современные контроллеры расчитаны либо на PCI32/66 либо на PCI64/133 (PCI-X), я совсем не уверене что PCI-X контроллер вообще будет работать в PCI64/33. С PCI64/66 обратная совместимость есть, я проверял, а вот как с 33Mhz - я не знаю, наоброт встречал упомінанія в документаціі на PCI-X девайсы вида "не суйте это в PCI 33Mhz"

ZZmey · Сообщение **ZZmey** » 05 дек 2006, 20:37

Мдя, по поводу PCI в AMD я соврал. До 760го маскимум было 32\33. EV6 больше к процу относилось, который работал с северным мостом на 266МГц. По поводу свитчевания PCI-шин - чипсеты Profusion® (Intel), Summit (IBM). Но эти штуки встречаются архиредко. Ну если только кому-то перепадет кусочек BlueGene или ProLiant DL760

azog · Сообщение **azog** » 06 дек 2006, 22:26

а где можно купить что-нибудь на AMD 760MPX ?
уж больно нравиться идея засунуть туда два Duron'a по 15$ штука, а потом как-нить грейдануть до бартонов.

Llama · Сообщение **Llama** » 06 дек 2006, 23:08

azog, в Москве можно, или в Минске - тоже изредка встречаются. Стоят баксов 80-150 в зависимости от кашерности... Ставить в дуал камни с кастрированм кэшем - смысла не вижу. Оптимально - Thoroughbred, ьартоны - весьма редки. Ну и естественно далеко не каждая материнская плата согласится работать с чем-то отличным от Athlon MP. Скорее - наиболее хорошие материнские платы будут работать исключительно с ними.

azog · Сообщение **azog** » 07 дек 2006, 00:01

смысл в дюронах один - денег жалко, от этих милых односетчан, фиг добьёшься скинуться, а мать такая ещё долго поживет, если конечно не блок питания

соединить разрез можн в районе L5,кажется, чтобы мать загрузила второй Athlon XP как MP, я надеюсь.

ещё проблема будет найти два похожих XP,она же ругаться будет, если частоты/кэш/степпинги разные ?
память можно и обычную ставить? сколько стоит регистровая ?
и где именно искать ? В КГ только недавно увидел первую объяву о продаже opteron на 939 сокете, двухпроцессорную мамку, думаю, там бесполезно искать.

Llama · Сообщение **Llama** » 07 дек 2006, 00:19

azog, соедініть можно, но работаь буде только на простеньких платах, впрочем простенькие и дешевле.
Насчт степиннгов - желательно одиноковые, по крайней мере с одиноковым напряжением. Естественно серьезные платы могут по капризничать, хотя по стандарту общность степпингов не оговорена - абы частота и ядро были одинаковыми... Регистровая стоит - как найдете, новая - дорого... Некоторые платы кушают обычную.
Я дуриков ставить смысла нет - это грабли пройдены на опыте Celeron mendocino которые ставились в дуал, но смысла это не имело низкая FSB и смешной размер кэша пріводили к тому чо полноценный PIII EB был быстрее даже в единичном экземпляре..

azog · Сообщение **azog** » 07 дек 2006, 02:52

я просто думал, что duron может быть быстрее третьего пентака, и точно быстрее селерона, а на паре тестов ещё один дюрон давал почти линейное приращение производительности. по-моему это был raytracing в cinebench.

нифига себе, $185 за Tyan Tiger MPX (s2466) на ebay. взято с forums.2cpu.com. Надеюсь это верхняя граница стоимости ?

Also I do have two AMD MP systems, one is a Tyan S2469 Thunder K7X Pro
running with two AMD MP 2800 cpus. The second is a much older, my second dual cpu system, Tyan S2466 Tiger MPX with just one AMD MP 1600 (i think) cpu. Both systems have been (sadly) downgraded to being just Linux routers.

эх, мне бы так sadly )

ZZmey · Сообщение **ZZmey** » 07 дек 2006, 11:54

Насчёт чипсетов двухстволок, имеет смысл ориентироваться на ОС, которая будет на них ворочаться. Например на i815 люних с ядром 2.6+ имеет грабли с ACPI, а BSD Darwin x86 в принципе не ставится =) Win2k+ неплохо живет даже на разнобойных процах (с одной FSB и одинаковым степпингом) i440LX\BX более универсальна и поддерживается практически всеми ОСями. Дальше - начинается лотерея. Наверное самая живучая система на многих экзотиках - NetBSD

Сорри за множество оффтопа.

Llama · Сообщение **Llama** » 07 дек 2006, 13:41

ZZmey, Гм, у меня лично было жижабайт GA-6OXT - работал года два 24x7, перегружался из-за отключения света и смены ядра - граблей небыло, ядро дебиановское. На ASUS CUSL2-C тоже все отлично и стабильно работает - машинка даже засыпает в любой позе и просыпается - и в память и на диск, использовался swsusp2 в составе патчсета archck. Так что если грабли и были - то сокрее всего в области bios кокретных моделей, чипсетные проблемы ИМХО в линуксе для i815 решены. Другое дело, что больше 512Mb SDRAM PC133 на этот чипсет не устанавливается.

ZZmey · Сообщение **ZZmey** » 07 дек 2006, 15:52

Я имел ввиду грабли с dual-CPU материнками. В общем и целом, проблема эффективности и стабильности работы разных ОС на SMP-системах - открыта по сей день.

Llama · Сообщение **Llama** » 07 дек 2006, 16:38

ZZmey, i815 не поддерживет многопроцессорные конфигурации вообеще. Укроповскй уродец - не в счет.
А BX - да жжот относітельно прочіх современников.

ZZmey · Сообщение **ZZmey** » 07 дек 2006, 18:13

Укроповскй уродец - не в счет.

Ну, кому уродец, а кому домашний комп последние 4 года

Из минусов - убогость самого чипсета: disabled AGP fast writes, 512MB Max. Последние стабильно работавшие на ней ядра люниха - 2.4.8+

Перешитый биос - поддерживает большие винты (втыкал 300g) и процы Tualatin. Перепаяные ёмкости - и мать крепко тянет 2xPIII со всеми забитыми слотами (экономят гады на деталях). И в даташитах совсем не сказано про невозможность сделать SMP. Поправка - чипсет i815E.

Собсно говоря, от чипсета мало зависит, сколько к нему можно процов подключить. Был бы ACPI-контроллер. Дальше количество камней определяется самими камнями. Их тоже можно наегорить, если имеется возможно работать хотябы в дуале. Вспомните платформу Aviion - умудрились слепить 6 PPro (4 max) на intel-чипсете. Или profusion - 8 штук (p3xeon - 4 max).