Страница 1 из 1

AMD NUMA

Добавлено: 03 мар 2009, 22:09
Llama
Кто-нибудь видел сабж в реальной жизни? Оно вообще работает?

Re: AMD NUMA

Добавлено: 04 мар 2009, 23:34
invox
Тебе руками надо попробовать или достаточно картинок:
http://images.google.com/images?q=amd+numa
?
А на ixbt два-три года назад исследования производительности разных конфигураций были. Погугли.

Или о чем был вопрос, в каком контексте?

Re: AMD NUMA

Добавлено: 05 мар 2009, 00:32
chuck
Llama писал(а):Кто-нибудь видел сабж в реальной жизни? Оно вообще работает?
C осени 2006 года системы коммерчески продаются. Вообщем, у некоторых вендоров достаточно успешно.
А что не так собственно?

Re: AMD NUMA

Добавлено: 05 мар 2009, 21:34
Llama
Я пытаюсь понять - NUMA работает на любой AMD64-системе с 2+ процессорами, ванильное ядро достаточно умное само в дистрибутивах, либо надо пересборку устраивать, как дружат Numa гипервизоры - ну и т.п.
Пока что планируется Dell 2970 с 2xOpteron 2376

Re: AMD NUMA

Добавлено: 06 мар 2009, 00:00
invox
Вроде не маленький уже... с чего ты взял, что любимый дистрибутив будет работать под выбраной железкой?
Отталкивайся от того, что написано в документации к железу. Из linux'ов, обычно, указывают только RHEL || SLES,
а там ядра далеко не ванильные.

Re: AMD NUMA

Добавлено: 06 мар 2009, 09:36
Llama
invox писал(а):Вроде не маленький уже... с чего ты взял, что любимый дистрибутив будет работать под выбраной железкой?
Не будет работать - будет другая железка. Но вообще, потроха там стандартные для железок такого класса.
invox писал(а): Отталкивайся от того, что написано в документации к железу. Из linux'ов, обычно, указывают только RHEL || SLES
Ну на заборе тоже много что написано. В случае Dell я убедился - можно купить у них несколько сотен набитых под завязку серверов с поддержкой, огрести проблем с поддерживаемым дистрибутивом влияющих непосредственно на качество работы и дальше трахаться несколько месяцев самостоятельно с вялыми репликами от саппорта типа "у нас тут новый драйвер/фирмварь, попробуйте - а вдруг...". И это все в USA.

invox писал(а):а там ядра далеко не ванильные.
Ну есть масса причин устанавливать Debian Lenny и не использовать для моей задачи RHEL/SLES, и несовместимые ядра - одна из них.

Я просто пытаюсь понять - NUMA в Linux/amd64 это нечто настолько само сабой разумеющееся, что про него даже не считают нужным писать?
Т.е для любой другой технологии (например, HyperThreading) в гугле есть масса всякого материала с ранних этапов внедрения типа ругани в lkml, советов в духе "попробуйте отключить HT в BIOS" и т.п. Есть технология - должны быть проблемы хотя бы в духе "у меня на 2.6.xx-mm10 не включается половина памяти и второй процесоор - почините все обратно", и должны быть способы решения.
Проблема с NUMA для меня заключается в отсуствии специфического контента в гугле. Складывается ровно два вывода:
Либо все настолько хорошо и распостранено, что вопросы о NUMA никого не беспокоят, либо технология ушла куда-то настолько далеко от реальностей SMB, что интереса для меня представлять не может.

Re: AMD NUMA

Добавлено: 06 мар 2009, 11:24
invox
Llama писал(а): Но вообще, потроха там стандартные для железок такого класса.
Ты несколько заблуждаешься. В брэндовых серверах много своего.
Даже в entry-level есть "необщие моменты". Соответственно, не всякий linux с лету заведется.
Из простых серверов я ставил Debian на HP (DL150, DL380) пару лет назад, возможно,
на "одноклассниках" из Dell будет похожая ситуация. Но надо пробовать, т.к. я пытался на
каком-то аналоге из Fujitsu-Siemens тогда же завести Alt-linux, узнал много нового.

А если будешь рассматривать железо посерьезнее, то вариантов с linux останется еще меньше - RHEL/SLES.
Llama писал(а): Ну на заборе тоже много что написано. В случае Dell я убедился - можно купить у них несколько сотен набитых под завязку серверов с поддержкой, огрести проблем с поддерживаемым дистрибутивом влияющих непосредственно на качество работы и дальше трахаться несколько месяцев самостоятельно с вялыми репликами от саппорта типа "у нас тут новый драйвер/фирмварь, попробуйте - а вдруг...". И это все в USA.
Пробуй виртуализацией побаловаться, ставить платный VMWare базовой ОС и поверх него уже linux'ы.
Правда, в твоем случае это будет малорентабельно, такой подход окупается при более серьезных
аппаратных ресурсах.
Llama писал(а): Т.е для любой другой технологии (например, HyperThreading) в гугле есть масса всякого материала с ранних этапов внедрения типа ругани в lkml, советов в духе "попробуйте отключить HT в BIOS" и т.п. Есть технология - должны быть проблемы
Это подход, который работает в opensource, но не в проприетарных вещах.
Есть многочисленные внутренние ресурсы у IBM, Sun, Dell, которые не для всех сервисных инженеров
доступны, не говоря про индексацию Google'ом. На торговле правами доступа к таким материалам делаются деньги.

Re: AMD NUMA

Добавлено: 06 мар 2009, 13:16
Llama
invox писал(а): Из простых серверов я ставил Debian на HP (DL150, DL380) пару лет назад, возможно,
на "одноклассниках" из Dell будет похожая ситуация.


HP поддерживать Debian полуофициально.
invox писал(а): Пробуй виртуализацией побаловаться, ставить платный VMWare базовой ОС и поверх него уже linux'ы.
Правда, в твоем случае это будет малорентабельно, такой подход окупается при более серьезных
аппаратных ресурсах.
Я буду баловаться, только это будет стоковый Xen поверх базового линукса.

invox писал(а): Это подход, который работает в opensource, но не в проприетарных вещах.
Есть многочисленные внутренние ресурсы у IBM, Sun, Dell, которые не для всех сервисных инженеров
доступны, не говоря про индексацию Google'ом. На торговле правами доступа к таким материалам делаются деньги.
[/quote]

Но мы ведь ведем речь об открытой реализованой в Linux (и не только в нем) технологии (вроде бы) общедоступной.

Собственно я и пытаюсь получить ответ: AMD NUMA реализована повсеместно, либо только в избраных пропиетарных решениях?

Тебя все уносит в сторону тяжелых машин и кровавого ентерпрайза с пропиетарными поделками.
А мне надо простой восьмиядерник под Debian LAMP.

Re: AMD NUMA

Добавлено: 06 мар 2009, 15:07
invox
Llama писал(а): HP поддерживать Debian полуофициально.
так бери железяку HP и экспериментируй. Аналог DL380 на AMD - это DL385
Или у тебя привязка именно к Dell?
Я буду баловаться, только это будет стоковый Xen поверх базового линукса.
Могу подсказать еще вариант - linux'ы в контейнерах Solaris.
Официально - RedHat и SuSE, но простейший google'жь показывает,
что и debian возможен - http://grahame.angrygoats.net/moinmoin/ ... and_Ubuntu
Сам - не пробовал на практике, такой нужды не было
Собственно я и пытаюсь получить ответ: AMD NUMA реализована повсеместно, либо только в избраных пропиетарных решениях?
NUMA - это реализовано железячно. О каком opensource может быть речь?

Сформулируй более общий вопрос, откуда выплыли сомнения в работоспособности в NUMA.
Может, станет более понятен контекст.

Re: AMD NUMA

Добавлено: 06 мар 2009, 16:47
Llama
invox писал(а): NUMA - это реализовано железячно. О каком opensource может быть речь?
NUMA - это термин.
MEM <-> CPU <-> CPU <-> MEM
В любой AMD системе более чем с одним процессром все выглядит именно так как я нарисовал - даже в самой дешовой MP-системе.
Вся что надо от OS - это грамотно распределять физическую память и шедулить процессы таким образом, чтобы каждый процесс пользовал свою память.
Кажется, слово "NUMA" на тебя оказывает гипнотиеческое влияние. :)

SMP на AMD64 не существует и для SMP-ОС - эмулируется.

invox писал(а): Сформулируй более общий вопрос, откуда выплыли сомнения в работоспособности в NUMA.
Может, станет более понятен контекст.
Сомнения взялись от малого количества информацуионного шума на эту тему в гугле.
Я просто не понял - вышеописаное свойство ядра ОС в linux реализовано повсеместно, либо это все ушло в дебри высоких технологий.