Как из нескольких фоток/рисунков получить 3d векторный файл?

[Гармонист]

Целый месяц ушло на изучение этой темы...

еще одну медальку

Спасибо. Мне невероятно приятно...

[Гармонист]

модели проходят несколько стадий:
1. Облако точек - первичная стадия на которой находятся точки на модели и вычисляются их трехмерные координаты.
2. Полигонная модель, на основе облака точек создается поверхность модели из треугольников.
3. Улучшенная полигонная модель - модель из предыдущего шага улучшается, выравнивается сетка полигонов, сглаживаются шумы и т.д.

Ник, ты Очень правильно сказал еще на 1й странице этого форума!
чем больше узнаёшь, тем больше понимаешь, что знаешь очень мало...

Разделение труда

Большинство из описанных ранее программ (кроме Microsoft Photosynth, хотя я и в нем уверен) занимаются только построением облака точек!
Мало продуктов которые и облако точек строят, и полигональную модель и позволяют немного редактировать модель...

Наконец-то я понял как MeshLab относится к ARC3D и EPOCH Viewer.
ARC3D - строит облако точек (пункт 1)
MeshLab - занимается "Триангуляцией этих точек" в полигоны (треугольники) (пункт 2)
EPOCH Viewer - улучшает, выравнивает, и т.д.... (пункт 3)

К программам "триангуляторам" относятся MeshLab и boujou

[Гармонист]

сравнение My3Dscaner и ARC3D

Оба сервиса онлайновые. Т.е. вы только можете пользоваться ПО, которое стоит на сайте,
со всеми вытекающими отсюда преимуществами и недостатками...
Так выглядит загруженный и отрендеренный проект в My3Dscaner

My3Dscaner

Из плюсов хочется отметить то, что мы сразу видим время потраченное на рендеринг.
В результате рендеринга My3Dscaner генерит 2 файла.
1й - ply файл - облако точек
2й - obj файл - уже отрендеренных триангулированных полигонов
Сервис поддерживает рендеринг не только из серии фоток, но и из небольшого видео(хочу пробовал).
Фотки/видео на сервер загружается запакованное архиватором, т.е. одним файлом, что тоже порадовало.

ARC3D
Для загрузки материалов на их сервер понадобится установить клиент.

Так выглядит клиент.
В клиент одной кнопкой загружается фотки,
которые потом второй кнопкой отправляются на сервер. Все просто.
На емэйл приходит письмо о начале рендеринга, и в конце приходит письмо со ссылками на файлы с готовым результатом.


Расстроила ошибка возникающая из-за неумения клиента работать с русскими буквами в именах файлов фоток или в названии папок в которых расположены эти фотки. Причем вызывается критическая ошибка вплоть до зависания клиента.
А т.к. я сливал на комп фотки стандартным виндовым механизмом и назвал слив "котэ", то в результате пришлось переименовывать все 80 фотографий английскими буквами.

Теперь о результатах рендеринга:

Тест 1 стеклянная статуэтка Дракон

Оказалось что My3Dscaner опирается на цвет, тени, ... т.е. на точки расположенные на поверхности модели.
Выливается это в то что стеклянные, покрашенные краской с эфектом "хамелион" или "Кошачий глаз", а так же модели без рисунков, узоров,... т.е. однородного цвета - не в состоянии отрендериться. Такой уж несовершенный метод.
В ProForma например используется другой метод, который в комбинации с методом "цепляния к точкам" мог бы дать лучшие результаты.
Из-за этого недостатка не отрендерился мой стеклянный дракоша:

dragon

заметьте как классно отрендерилась ткань на стуле, но дракона нет. В этом есть конечно и часть моей вини в том что во 1х я не выключил вспышку, а во 2х на многих фото я не сфокусировался на самом драконе, а сфокусировался на ткани.
В ARC3D дракона я загружать не стал чтобы не тратить время.

Тест 2 керамическая статуэтка КотЭ
Замечу - фотки использовались одинаковые и для My3Dscaner и для ARC3D
Сразу предупрежу о минусе - задняя сторона без рисунков, цвет - однородно белый, нужно было хотя бы маркером пару точек поставить чтобы рендер мог на них зацепиться... итак:

киски

результат работы My3Dscaner

как видите, совсем не отрендерился задний фон, но в целом это уже что-то...

результат работы ARC3D

киски Франкенштейна-аниматора )))

Результаты говорят сами за себя.

[Гармонист]

Тест 3 все та же керамическая статуэтка КотЭ,
но больше фоток и лучшего качества, а так же я попытался не перескакивать, т.е. чтобы каждая следующая фотка цеплялась за предыдущее изображение...

результаты:
My3Dscaner

киски 2 My3Dscaner

ARC3D

[Гармонист]

тест 4 статуэтка КотЭ на КитЕ
отличается от предыдущего примера тем что поверхность статуэтки не только покрыта рисунками,
но и рельефом.

результаты My3Dscaner

Обратило на себя внимание тот факт, что мелкий рельеф не отрендерился.

Так же, подтвердились мои догадки. Нос кита, часть хвоста,.. и другие места без узора не отрендерились т.к. имеют равномерный цвет.
В следующий раз нужно будет попробовать нанести узор на такие места самому карандашом или стираемым маркером...

[master_70]

вот глянь может поможет http://www.youtube.com/watch?v=nd6It9aE ... r_embedded#!

[Гармонист]

вот глянь может поможет http://www.youtube.com/watch?v=nd6It9aE ... _embedded#!

спасибо за помощь. Рад что не меня одного интересует эта тема...


класс №7 - 3D grayscale (градации серого) или "чем чернее - тем глубже" или "гравюра"

По сути это та же гравюра
http://ru.wikipedia.org/wiki/Гравюра
причем этот метод относится к виду "гравюра глубокой печати"
http://ru.wikipedia.org/wiki/Глубокая_печать
Метод известен с XV века когда гравюра на металле начала вытеснять ксилографию.

Как это делали в древности(цитата с вики):

На пластине из металла (медь, бронза, цинк, сталь) гравировали или вытравливали кислотой рисунок, затем покрывали краской. Краску очень аккуратно стирали так, чтобы на печатной форме осталась лишь краска в выгравированных углублениях. Пластина под давлением цилиндрического пресса прижималась к бумаге.

Итак представители:

Sebastian Korczak

На 1й странице я уже писал про инженера-одиночки по имени Sebastian Korczak из Польши,
который на основе этого принципа сделал 3D видео

ZBrush

Еще один представитель это функция наложения на модель альфа-кистей в ZBrush
вот как это выглядит:
https://www.youtube.com/watch?v=lV71BSzeFIc
https://www.youtube.com/watch?v=3Wibt9qhwB8
судя по видео ZBrush как мне показалось определяет даже тени!

еще представитель image-to-gcode

ссылочку к сожалению не имею...

даже gCodeToolsможет делать нечто подобное...

http://cnc-club.ru/forum/viewtopic.php? ... code#p2632

вообще таких разработок очень много...
https://www.youtube.com/watch?v=R9QryPYqJDM


Выводы: минус этого метода как раз в тенях. Если например тень от носа падает на щеку, то на щеке образуется впадина, а её там быть не должно.
По этой причине этот метод работает только при "правильном" освещении объекта, что не всегда возможно.
Конечно если научить программы распознавать тени и источник света, то так же можно повысить эффективность данного метода, но это не возможно без распознавания предметов. Вобщем много серьезных ограничений, из-за которых данный метод не будет работать еще очень долго.

Kinect

Рекомендую всем Очень Интересный Открытый проект Kinect
основанный на распознавании теней и цветов
http://openkinect.org/wiki/Gallery#Kinect_Themed_Sites

взгляните на видео:
управление мышью взмахами руки в семерке
https://www.youtube.com/watch?v=-3-TA6URf9M
а вот реальное распознавание образов !!!
https://www.youtube.com/watch?v=cRBozGoa69s
игра в ХалфЛайф - в качестве манипулятора - метла!!!
https://www.youtube.com/watch?v=uvP2u2yOcNw
игра в компьютерный теннис не прикасаясь к мыши, клавиатуре, джойстику...
https://www.youtube.com/watch?v=bO3YwW3WajI
игра на пианино ногами )))
https://www.youtube.com/watch?v=a0mdgdQfa-Q
ну и конечно-же 3d преобразование
https://www.youtube.com/watch?v=nYsqNnDA1l4

и еще один проект kinecthacks по мотивам kinect http://www.kinecthacks.com/
https://www.youtube.com/watch?v=ttrWeG6LOZY


Но этот метод хорошо подходит к созданию как я называю "псевдо 3D фотографий",
но для моей задачи он не подходит, т.к. мне требуется точное 3D,
хотя взглянув на возможности kinect - я начал в этом сомневаться...

[Nick]

Тест 1 стеклянная статуэтка Дракон
Оказалось что My3Dscaner опирается на цвет, тени, ... т.е. на точки расположенные на поверхности модели.Выливается это в то что стеклянные, покрашенные краской с эфектом "хамелион" или "Кошачий глаз", а так же модели без рисунков, узоров,... т.е. однородного цвета - не в состоянии отрендериться. Такой уж несовершенный метод.

Слово стеклянная для меня сразу все сказало. Такие объекты не реально "3д сканировать" обычной фотокамерой. Это все равно, что рассматривать воздух глазами. Объект для сканирования должен быть не прозрачным! Не должен быть зеркальным! По возможности иметь текстуру и четкие точки для привязки.

Вообще, такой вид сканирования подразумевает, что множество деталей будет потерянно, но при сканировании, например, зданий это не так уж и важно. Т.е. если сканируем целое здание, рельеф кирпичей нас интересовать не будет.

Кстати, имхо, будет лучше, если ты поставишь камеру на штатив, и будешь поворачивать предмет, причем лучше взять вращающуюся подставку и поворачивать на ней, скажем по 10 градусов на снимок.

ZBrush Еще один представитель это функция наложения на модель альфа-кистей в ZBrush

В blender есть такая штука - называется режим скульптуры.

еще представитель image-to-gcode ссылочку к сожалению не имею...

Image-to-gcode строит градиентную модель, aka bump map в 3д графике (http://ru.wikipedia.org/wiki/Рельефное_текстурирование).

[Гармонист]

. Объект для сканирования должен быть не прозрачным!

Я ожидал что их программа ориентируется еще и на границы объекта. Если взять два снимка одного объекта под небольшими углами, то можно легко найти фон и границы объекта. А если взять серию снимков, то мне кажется можно сложить границы в замкнутый 3D объект.

В blender есть такая штука - называется режим скульптуры.

Увы, не нашел. У этой функции другое название есть?

ссылка по "Рельефное_текстурирование"

спасибо за ссылку на рельефное текстурирование. Я почерпнул много нового.

Но все же так и остается загадкой ссылка на описание и скачку программы Image-to-gcode

[Nick]

Увы, не нашел. У этой функции другое название есть?

Там есть моды - редактирование на уровне объекта - перемещать вращать и т.д., редактировать объект - редактировать его точки, плоскости и т.д. и sculpting mode вот урок:
Этот урок от более старой версии blender, но в новой примерно так же. На ютюбе есть еще куча уроков по блендеру.
https://www.youtube.com/watch?v=lz1iTiDnmME

Но все же так и остается загадкой ссылка на описание и скачку программы Image-to-gcode

Мда... с ней есть загадка... Она идет в комплекте с EMC2, но наверняка можно и отдельно скачать, просто никогда не задавался такой целью. Причем самое прикольное, что emc2 можно настроить таким образом, чтобы при открытии любой картинки, картинка сначала прогоняется через image-to-gcode, а потом gкод напрямую попадает в emc2. И все выглядит как обычный диалог открыть файл .

[Гармонист]

Там есть моды - редактирование на уровне объекта - перемещать вращать и т.д., редактировать объект - редактировать его точки, плоскости и т.д. и sculpting mode

Это ведь обычное 3D рисование, а я говорил как автоматизировать этот процесс. Посмотри внимательнее мои ролики по ZBrush. В ZBrush берется гладкая 3D поверхность(часть шара, куба, рука,... что угодно, любая 3D модель) сверху накладывается картинка, которая по яркости продавливает на 3D модели такой же рельеф автоматически. И не нужно ничего рисовать руками.

[Nick]

так это просто brush (т.е. кисть, т.е. формы кисти) - тоже 3д рисование. В блендере тоже такая штука должна быть.

[Гармонист]

В блендере тоже такая штука должна быть.

случайно нашел когда смотрел вот это:
https://www.youtube.com/watch?v=Ah8M72cZOqk
на 48-й секунде

называется эта штука Blender Heightmaps
вот видео его работы
https://www.youtube.com/watch?v=rC4I3zpIFdE

и еще о пример

[Nick]

Ну штука простая. Имея просто картинку в grayscale ее можно сразу начать вырезать на EMC2 через встроенный процессор image-to-gcode.

[Гармонист]

EMC2 через встроенный процессор image-to-gcode

согласен - так проще.

[porshe]

Лучшая на мой взгляд програма для создания 3d из фотографий http://agisoft.ru/

[Гармонист]

http://agisoft.ru/

Спасибо, porshe. Очень перспективная прога.

AgiSoft

Впервые вижу чтобы программа полностью автоматически оцифровывала MPO формат- Multi Picture Object File
(т.е. формат 3d фотоаппаратов) http://cnc-club.ru/forum/viewtopic.php? ... 1107#p8268

Both image alignment and 3D model reconstruction is fully automated.

Правда для этого у них отдельный продукт Agisoft StereoScan
хотя и с "Free download for Win32, Win64, MacOS, Linux" http://agisoft.ru/products/stereoscan/

Приятно что хорошо русифицирована http://downloads.agisoft.ru/pdf/photoscan_0_8_4_ru.pdf .
Неприятно, что стоит стандарт эдишн $179.
Сеть дилеров по всему миру говорит о качестве менеджмента компании.
В России дилер http://www.plaz.aero/products/ps_processing.html - стоит зайти, сайт хорошо русифицирован.

Интересные видео о работе:
https://www.youtube.com/watch?v=Qq4BUrEBvhA
https://www.youtube.com/watch?v=39eJV6tdhtA

правда в описании Agisoft PhotoScan Professional edition сказано, что он поддерживает

Input formats: JPEG, TIFF, PNG, BMP, JPEG Multi-Picture Format (MPO).

а видео - не поддерживает! Как же удалось оцифровать видео

[Nick]

а видео - не поддерживает! Как же удалось оцифровать видео

по-кадрово - не?

[Гармонист]

3 страницы форума и никто до сих пор меня не поправил, что нужно писать не MOP формат, а MPO формат !
Для правильной индексации гуглом и яндексом и иже с ними придется переименовать в каждом посте!

MPO - формат Multi Picture Object File

Стереоскопическое изображение с цифровой камеры.
Тип файла - Растровые изображения.

Как, чем открыть файл .mpo?

Stereomerger
STOIK Imaging Imagic
StereoPhoto Maker
NVIDIA 3D Vision Photo Viewer
MPO2Stereo
CyberLink PowerDVD 10 Mark II

информация с http://open-file.ru/types/mpo

а вот тут рассказано как можно распечатать mpo формат http://stereomania.at.ua/index/pechat_mpo/0-30

[Гармонист]

по-кадрово - не?

вот тут http://www.ir-ltd.net/4d-capture-10-camera-array
что-то написано про самописные скрипты.

Alexey is developing a script to batch process the data, to then stream back in Softimage with colour information to track with.