И снова DPP! Сколько ядер он использует?

от:feog
Да в том-то и дело, что у меня 2 Сигмы и 5 Кэнонов, из этих пяти- два частоиспользуемые. Но придётся перебиваться без Dual Pix преимуществ, потому что вот понял, что не могу просто столько времени терять на обработке в DPP.

Подробнее

А я давно смирился с тем, что одной программы мало, не придумали пока что такой чтобы все умела хорошо делать :)
Если нужен фирменный цвет то только DPP, ретушь в Photoshop без вариантов, по быстрому обработать и снимать в комп в Capture One а выбирать из кучи лучшие файлы в Photo Mechanic быстрее всего, особенно если файлы тяжелые, он только для этого и заточен

от:iTuner
А я давно смирился с тем, что одной программы мало, не придумали пока что такой чтобы все умела хорошо делать :)
Если нужен фирменный цвет то только DPP, ретушь в Photoshop без вариантов, по быстрому обработать и снимать в комп в Capture One а выбирать из кучи лучшие файлы в Photo Mechanic быстрее всего, особенно если файлы тяжелые, он только для этого и заточен

Подробнее

А как хотелось бы ограничиться чем-то одним :D

от: Alex Veles

Ну или запускать теперь 2-3 DPP одновременно на обработку :-)

А отличная мысль, кстати! Сейчас в DPP выделил половину raw файлов и запустил обработку группой, потом выделил вторую половину файлов и тоже запустил обработку группой. Так вот время обработки одного файла увеличилось всего на 10 процентов (с 27 сек до 30 сек), а так как обрабатывается по два файла одновременно, то получается 15 сек на обработку 1 файла. С этим уже вполне можно жить! Темп процессора 42 - 44 градуса при этом плавает, изредко до 46 на мгновение поднимается.
Надо будет попробовать ещё тройную обработку и немного оверклокингом заняться :D

Собрал себе комп на процессоре AMD Ryzen 7 3700X. Система стоит на M2 SSD, для обработки и конвертации фото выделил отдельный SSD.
На старом ноутбуке на одно фото с Canon EOS R уходило где то 70 секунд. Сейчас 15 секунд. Загрузка всех ядер при конвертации 60-85 процентов. То есть использует все 8 ядер. Частоту выставил фиксированную 3800, чтоб не грелся процессор.

от:feog
А отличная мысль, кстати! Сейчас в DPP выделил половину raw файлов и запустил обработку группой, потом выделил вторую половину файлов и тоже запустил обработку группой. Так вот время обработки одного файла увеличилось всего на 10 процентов (с 27 сек до 30 сек), а так как обрабатывается по два файла одновременно, то получается 15 сек на обработку 1 файла. С этим уже вполне можно жить! Темп процессора 42 - 44 градуса при этом плавает, изредко до 46 на мгновение поднимается.
Надо будет попробовать ещё тройную обработку и немного оверклокингом заняться :D

Подробнее

Абсолютно правильное решение. 8) Но немного гемморойное для обычного пользователя.

Такое решение давно используется на серверах с Кзионами (Xeon). - виртуальные машины на Huper-V (и на других гиперовизорах также).

Ведь достаточно сложно распаллелить 1 задачу на 24 потока, а если 2 проца на сервере - то на 48 потоков.

А тут, как вы пробуете, всё классно получается - 24 ядра- 24 задачи парралельно/24 рава парралельно обрабатываются.

Не думаю, а знаю что DPP3 не использует 4+4 ядра I7-3770К одновременно - каждое для своего РАВа - это видно по прогрессу движения обработки РАВов в Batch Process /пакетная обработка/ (Progress bar):

- DPP3 1 закончил рав и только затем берется за следующий (а не 4-8-16-24-48 сразу парралельно и одновременно обрабатывает). :?

- а так, при пакетной обработке 100-2000рав - намного более эффективно было бы - если бы 1 рав обрабатывался только 1 ядром. - Но это серверные технологии, подозреваю что программисты (а вообще это вся команда на проекте) - стоит гораздо дороже чем команда на десктопные компы. Я сталкивался по работе - изначальная задача другая/разная у них.

от: Порядочная Сволочь

- намного более эффективно было бы - если бы 1 рав обрабатывался только 1 ядром.

Наоборот, это совершенно неэффективно!
Каждое ядро будет лезть за разными данными в разных файлах.
А так как современный рав файл это примерно сотня МБ данных, никакого личного кеша одного ядра не хватит (он сейчас примерно 30-256KB на ядро).
Лучше разбивать рав файл на области по несколько тысяч пикселей и раздавать всем ядрам по кускам.

от: Порядочная Сволочь

- Но это серверные технологии

[/quote]
Архитектура CPU примерно одинакова, что xeon что i9.
Серверные технологии это в основном про надежность и масштабируемость, а не про отдельный какой-то код или подход к разработке :-)

Re[Alex Veles]:

Порядочная Сволочь писал(а):

- намного более эффективно было бы - если бы 1 рав обрабатывался только 1 ядром.



Наоборот, это совершенно неэффективно!
Каждое ядро будет лезть за разными данными в разных файлах.
А так как современный рав файл это примерно сотня МБ данных, никакого личного кеша одного ядра не хватит (он сейчас примерно 30-256KB на ядро).
Лучше разбивать рав файл на области по несколько тысяч пикселей и раздавать всем ядрам по кускам.


Порядочная Сволочь писал(а):

- Но это серверные технологии



Архитектура CPU примерно одинакова, что xeon что i9.
Серверные технологии это в основном про надежность и масштабируемость, а не про отдельный какой-то код или подход к разработке :-)

Подробнее

1. Опыт feog (выше пост) - говорит, что это немного не так.

2. Ключевое слово "примерно". Возможно в I9 - что-то изменили по сравнению с I7.
Из опыта - на I7-3770 и тех же годов (а точнее более старом года на 2) сервере на Xeon - ненагруженные по обращению к дискам виртуалки - на одном тормозят, на другом "летают". Raid5 - и там и там.
А если несколько запустить, более 4-х на I7 - то вообще невозможно работать. А на Xeon - хоть 20 (Сервер на работе, и столько виртуалок на нём).

от:feog
А отличная мысль, кстати! Сейчас в DPP выделил половину raw файлов и запустил обработку группой, потом выделил вторую половину файлов и тоже запустил обработку группой. Так вот время обработки одного файла увеличилось всего на 10 процентов (с 27 сек до 30 сек), а так как обрабатывается по два файла одновременно, то получается 15 сек на обработку 1 файла. С этим уже вполне можно жить! Темп процессора 42 - 44 градуса при этом плавает, изредко до 46 на мгновение поднимается.
Надо будет попробовать ещё тройную обработку и немного оверклокингом заняться :D

Подробнее

Попробуйте 4-8 DPP парралельно запустить (8 - это если на вашем компе 8 полноценных ядер). 8)
По 100 Raw на каждом.

Интелы современные не греются вообще, а старые, с разгоном, до 78С доходили.
Intel Pentium E2200 2.2 Ггц - на хороших мать-платах разгонялись до 3Ггц, на тогда моей дешевой - 2.8Ггц. Но грелись те, что были ранее, этот не грелся особо.

от: Порядочная Сволочь

1. Опыт feog (выше пост) - говорит, что это немного не так.

Какой еще опыт?
DPP как раз и разбивает каждый raw на блоки и раздает ядрам-потокам.
Просто загрузить все современные ядра эффективно в этом коде не получается, ядра в основном простаивают в ожидании данных из кэша.
Поэтому запуск нескольких DPP улучшает загрузку ядер, загружают ядра, которые ждут данные из первого запуска например

от:Порядочная Сволочь

2. Ключевое слово "примерно". Возможно в I9 - что-то изменили по сравнению с I7.
Из опыта - на I7-3770 и тех же годов (а точнее более старом года на 2) сервере на Xeon - ненагруженные по обращению к дискам виртуалки - на одном тормозят, на другом "летают". Raid5 - и там и там.
А если несколько запустить, более 4-х на I7 - то вообще невозможно работать. А на Xeon - хоть 20 (Сервер на работе, и столько виртуалок на нём).

Подробнее

А ничего, что например у 3770K (у чистого 3770 не помню) вообще отключены Intel vPro и Intel Virtualization Technology for Directed I/O в угоду разгону?
Или что у xeon может быть 4 канальная память и т.п.?
Ну и просто, что xeon может быть многопроцессорным и более ядерным(вы не указали какой просто)?

Значит ли это, что при выборе процессора под 1150-й разъём, при примерно равных характеристиках лучше брать Ксеон?
Например: Core i5-4570 или Xeon E3-1220v3

от: Мих72
Значит ли это, что при выборе процессора под 1150-й разъём, при примерно равных характеристиках лучше брать Ксеон?
Например: Core i5-4570 или Xeon E3-1220v3

В данном случае нужно брать что дешевле...

Спасибо.
Ксеон - от 35$, i5 примерно 50$ и дороже.

от: Порядочная Сволочь
Попробуйте 4-8 DPP парралельно запустить (8 - это если на вашем компе 8 полноценных ядер). 8)

У меня вроде 18 ядер.
Я сделаю так: (1 и 2 DPP уже делал, но сделаю ещё для чистоты эксперимента):
1, 2,3,4, 5, 6, 7, 8 :D
И можно будет график построить

У меня на не самом крутом конфиге AMD Ryzen 7 2700X (8 ядер 16 потоков 3700-4300ghz) + 16gb 3200 памяти + NVMe samsung 970 EVO

DPP4 использует все потоки от 0 до 80% какими то порциями, при этом Capture One 20 преобразует в разы быстрее и грузит систему равномернее правда как то странно там с поддержкой open CL, с включенной open CL видео не участвует и проц загружается меньше но память поболе. а когда выключаешь open CL, проц загружается 45-83% и видео на 4-7 процентов.
Не пойми как оно там работает там в C1, но с OpenCL Capture One 20 работает быстрее в три раза, при этом проц и видяха загружены меньше если судить по диспетчеру задач :) Но и без openCL она быстрее DPP4.

Потому DPP использую только когда сильно надо и не вижу смысла вбухивать в железо очередные килобаксы ради этого софта :)
Не самая эффективная программа :)

от: iTuner

Потому DPP использую только когда сильно надо...
не самая эффективная программа :)

Так в том-то и дело, что иногда сильно надо! А есть ещё конвертер какой-нибудь, который может обрабатывать dual pixel эффекты, всякие там смещения точки фокусировки и тому подобное?

от: feog
Так в том-то и дело, что иногда сильно надо! А есть ещё конвертер какой-нибудь, который может обрабатывать dual pixel эффекты, всякие там смещения точки фокусировки и тому подобное?

С DP RAW никто не работает кроме Canon и вряд ли будут поддерживать сторонние программы, как мне кажется.
У меня в R-ке почти всегда выключено, крайне редко пользую. и серийная съемка с ним у R ограничена, слабенький проц видимо.

от: iTuner
С DP RAW никто не работает кроме Canon и вряд ли будут поддерживать сторонние программы

Значит, навечно в отношениях с DPP, в той части кадров, где включаю DP :D

от: feog
У меня вроде 18 ядер.
Я сделаю так: (1 и 2 DPP уже делал, но сделаю ещё для чистоты эксперимента):
1, 2,3,4, 5, 6, 7, 8 :D
И можно будет график построить

Спасибо.
Вы похоже тут на форуме только один, у кого столько много ядер на компе. 8)

По идее и на серверную ОС DPP должен стать, хотя не факт.
Прошлым летом приходил новый сервак 2U Dell 2проца х 22 ядра (или 2 проца по 12+12виртуальных, не помню точно) Xeon. Но как-то не додумался на него поставить DPP, хотя можно было - стоял рядом неделю - пока ОС накатили, тестировали и в серверную не отнесли. ~10к$ стоил. 768Гб памяти, Raid 5-10. Но это не комфортно для дома (если только в шкаф в прихожей не спрятать) - ревёт вентиляторами что реактивный самолет. При нагрузке еще более "завывает".

от: Мих72
Значит ли это, что при выборе процессора под 1150-й разъём, при примерно равных характеристиках лучше брать Ксеон?
Например: Core i5-4570 или Xeon E3-1220v3

Сложно сказать... Они одинаковые по ядрам.
На Xeon-е нет встроенной графики. А Видюха - это большая доп. трата денег. :(


Core i5-4570
Макс. разрешение (HDMI 1.4)‡ 4096x2304@24Hz
Макс. разрешение (DP)‡ 3840x2160@60Hz
Главное чтобы на материнке был выход DP (Дисплэй Порт). На некоторых его нет/не распаян.

ИМХО - я за i5-4570.

Материнка Гигабайтовская GA-P85-D3 (rev. 2.x), выход на ней только один - HDMI, есть видеокарта, но какая есть - GeForce 9600, выходы на ней синий дэ-саб, белый ди-ви-ай и HDMI:D проц пока Pentium G3220 :D