Запуск Windows программ в кластере или вычислительной ферме

[torvn77]

Не то,чтобы я хотел это сделать,но интересно узнать про возможность в принципе.

Вопрос вот какой:
Можно взять несколько компьютеров и через сеть объеденить их в один большой виртуальный.
На него поставить виндовс или линукс с вайном и запустить какуюнибудь виндовую CAD программу,
умеющею паралелить вычесления.
Ну и получить профит от вычеслении на большом количестве процессоров.
Скажем на одном компьютере восемь процессоров,а после объединения N таких компьютеров в один получить монстро в 8*N процессорных ядер.
Вроде как такое делают и называют не то кластерами,не то вычеслительными фермами.

[michael-yurov]

По моему для нормальной работы CAD программ достаточно хиленького Core i3, и современной видеокарты за 3000 руб.
А распараллелить вычисления не получится, т.к. большинство операций требующих быстроты происходят в одном потоке.

Я еще понимаю, что подобные кластеры нужны для расчета качественного 3d видео, но в этом случае затраты на дизайнеров обычно намного выше затрат на оборудование,
а модули для распределения вычислений уже есть в самих программах рендеринга.

[torvn77]

Ну я думаю о всяких художественных рельефах у которых куча завитушек,и всяких 4D~5D художествах.
В этом случае мощьность лишней не будет.

[michael-yurov]

Ну я думаю о всяких художественных рельефах у которых куча завитушек,и всяких 4D~5D художествах.
В этом случае мощьность лишней не будет.

Больше будет проблем с рапараллеливанием нагрузки, т.к. быстродействие нужно для скорости реакции программы на действия мышкой, а эти операции сложно распараллелить, если только не написать свою собственную CAD программу.
Некоторые CAM программы при расчете траекторий научились рапараллеливать нагрузку, но не всю, а только однотипную работу (где одно не зависит от другого). 8-ми потоков обычного i7 мне вполне хватает для работы со сложными моделями, а тормозят программы там, где распределить нагрузку почти невозможно.
Если нормальный процессор, хорошая мать, быстродействующая память, SSD диск, и, главное быстрая (не мощная для игр, а именно быстрая) современная видеокарта. То никаких проблем не возникает.
Если компьютер нормальный, то скорость работы ограничена только пользователем и ждать компьютер не приходится.

[NightV]

насколько я знаю при сьёмках фильма Titanic исползовалась подобная система распрееления ресурсов...
.... нам ждать Титаник 2 ?

[torvn77]

и, главное быстрая (не мощная для игр, а именно быстрая) современная видеокарта.

А в чём разница между быстрой и мощьной видеокартой?

Медленная реакция на мышь и есть один из моментов ради которого хочется убыстрить программу.
Ещё Арткам достал медленным рендерингом,но ему ферма не поможет,он не паралелится.

[michael-yurov]

А в чём разница между быстрой и мощьной видеокартой?

Мощная - это та, где вычисления распараллелены на много процессоров. Это хорошо для игр, где картинку на ресурсоемких стадиях отрисовки возможно разделить на части.
Для игр сейчас выгоднее купить старую модель, но с большим количеством ядер (мощную модель). Либо, модель на устаревших но мощных процессрах.
А для CAD программ лучше купить что-то недорогое но современное, желательно NVidia на PCI-Ex 3.0, например, GeForce GTX 650, или, если финансы позволяют - более новую модель.
Дело в том, что для CAD программ не нужен большой объем вычислений - там, обычно задачи простые, но выполнять их нужно максимально быстро.

Наверное, ситуацию в некоторой степени можно сравнить с автомобилями. Мощнее - не всегда быстрее.

Ещё Арткам достал медленным рендерингом,но ему ферма не поможет,он не паралелится.

Арткаму уже вообще ничего не поможет.
Хотя, он почему-то жутко тормозит на древних видеокартах и ноутбуках.
А о каком рендеринге идет речь? Об отрисовке 3d картинки?
У меня никогда с этим проблем не было. Может быть не работает ускорение OpenGL?

[Uglykoyote]

вы уточните - что он имеет ввиду про кластер, мне на другом форуме он начал ссылками кидаться, не слушая ответы из практики.

[torvn77]

Арткам у меня в virtualbox'се,и opengl конечно нет.
Но особой разницы в перемещении-верчении не большого клише нету,
главные тормоза это расчёт визуализации как таковой.
И к сожалению делаются это процессором в один поток
и установка на прямую винду поэтому результатов не даёт.

Как я понимаю,речь идет о моём посте в теме на mir-cnc.
И там вы зовётесь ТoрТoр.
Идея у меня та,что судя по обсуждениям есть софт,позволяющии физические процессор
и память "удалённого" хоста представить в локальном как его часть.
В результате может получится монстро с тысячами процессоров и терабайтами ОЗУ,работающии как единый ПК.

Про XEN я свою ссылку посмотрел,там похоже не то,что я имел ввиду.
Но описание технологии путанное,хрен поймещь с моим разумом,то это или не то.

[michael-yurov]

Арткам у меня в virtualbox'се,и opengl конечно нет.

Ну тут уж простите, хотели секеса - получайте.

главные тормоза это расчёт визуализации как таковой.

Зачем делать в арткаме визуализацию? Или я что-то не понимаю? Что вы называете визуализацией?

И к сожалению делаются это процессором в один поток

Визуализацию обычно программы без проблем разделяют на много потоков. Только не пойму, при чем здесь арткам?

В результате может получится монстро с тысячами процессоров и терабайтами ОЗУ,работающии как единый ПК.

Да не будет такого никогда, т.к. распределение нагрузки и ограничение скорости передачи данных между компьютерами будет бочкой дегтя с каплями меда.

Года два назад обрабатывал в фотошопе файл размером в 108 гигапикселей, и, в общем-то обычный компьютер вполне сносно справлялся, правда пришлось установить 32 ГБ оперативки и твердотельный диск для кэша.
А вы ради арткама с рельефом в 16 мегапикселей хотите кластер создать. Я бы сказал - из "Катюши" по воробью.

[torvn77]

Ну тут уж простите, хотели секеса - получайте.

На моих моделях уровень удовольствия не зависит от того,в виртуалбоксе винда или поставлена прямо на компьютер.
В виртуал боксе держать винду удобней,а потеря производительности софтварной эмуляции не существенна
Повторюсь:

Но особой разницы в перемещении-верчении не большого клише нету,
главные тормоза это расчёт визуализации как таковой.

Зачем делать в арткаме визуализацию? Или я что-то не понимаю? Что вы называете визуализацией?

Берёте русифицированный арткам с рутреккера и смотрите Меню-Траектории-Имитация-`Визуализация траектории`
Я понимаю так,что правильнее перевести это используя слово Рендеринг.
Но в Арткаме написано таквизуализация,и так как скорее всего этот перевод и является общеизвестным,то я им и пользуюсь.

А вы ради арткама с рельефом в 16 мегапикселей хотите кластер создать. Я бы сказал - из "Катюши" по воробью.

Для Арткама этого я делать не буду,так как не знаю сколько он создаёт при вычеслении потоков,
но оказываются они все на одном ядре при семи других свободных.
Я предпочту поискать другую программу,которая равномерно распределит вычесления по ядрам и вот ради неё уже и стараться.

[michael-yurov]

В виртуал боксе держать винду удобней,а потеря производительности софтварной эмуляции не существенна

Так в этом режиме почти ничего не работает из оборудования, аппаратного ускорения и т.п.
Да и многопоточность, возможно, не поддерживается. Хотя, я не знаю этого, просто помню старый опыт общения с виртуальной машиной.

смотрите Меню-Траектории-Имитация-`Визуализация траектории`

Аааа! понял о чем речь!
Это называется "Симуляция"!

Я то думал, что речь про фотореалистичный рендеринг. Я еще удивился, что это можно делать в арткаме.

А визуализация траектории действительно не всегда быстро работает, особенно при очень высоком разрешении и с профильными и сферическими фрезами.

так как не знаю сколько он создаёт при вычеслении потоков,

Я сейчас проверил 2008 арткам, он только в одном потоке проводит симуляцию.

Я предпочту поискать другую программу,которая равномерно распределит вычесления по ядрам и вот ради неё уже и стараться.

У меня в таких программах многопоточные вычисления происходят очень быстро, а вот то, что нельзя распределить - отнимает большую часть времени.

[Serg]

В результате может получится монстро с тысячами процессоров и терабайтами ОЗУ,работающии как единый ПК.

Не получится.
Ещё не научились создавать кластеры, где один процесс (программа) может исполнятся одновременно несколькими процессорами на разных компах.
Вернее как это сделать знают - для этого нужны сети передачи данных со скоростью порядка 300 Gbit/s и выше. Правда стоимость реализации таких сетей получится неоправданно высокая.

[torvn77]

Если так.то можно сеть сделать через scasi или sata порты?

И софт для организации такого вычислительного центра существует?
(Делать я такую систему не буду,но интересно)

[Serg]

Если так.то можно сеть сделать через scasi или sata порты?

Это как минимум в 100 раз медленнее, чем нужно.

И софт для организации такого вычислительного центра существует?

Для исполнения одного процесса на нескольких компах? - Нет, ибо его негде запустить.

[Maxekb77]

Собрать то ферму можно, только как обычно все в софт упираться начнет.