Super resolution

Написал на коленке программу, которая склеивает несколько снимков снятых последовательно один за другим. Результат удивил: получилось отличное шумоподавление, а детализация при этом не только не ухудшилась, но даже улучшилась. Очень хочется использовать такое почаще, особенно для мобильной фотографии, которая страдает сильными шумами. На прилагаемой картинке слева - кадр снятый на мобильник, а справа - результат склейки десяти подряд снятых кадров. (Картинка увеличена в два раза, чтобы удобнее было смотреть.)
Вопрос: подскажите программы, которые могут качественно делать такую операцию? Смог найти только PhotoAcute3, который все хвалят, но он давно не поддерживается разработчиками и его нельзя купить. А демо-версия лепит ватермарки поверх картинки.

demo by makecase, on Flickr

Цитата:

от:makecase
Написал на коленке программу, которая склеивает несколько снимков снятых последовательно один за другим. Результат удивил: получилось отличное шумоподавление, а детализация при этом не только не ухудшилась, но даже улучшилась. Очень хочется использовать такое почаще, особенно для мобильной фотографии, которая страдает сильными шумами. На прилагаемой картинке слева - кадр снятый на мобильник, а справа - результат склейки десяти подряд снятых кадров. (Картинка увеличена в два раза, чтобы удобнее было смотреть.)
Вопрос: подскажите программы, которые могут качественно делать такую операцию? Смог найти только PhotoAcute3, который все хвалят, но он давно не поддерживается разработчиками и его нельзя купить. А демо-версия лепит ватермарки поверх картинки.

Подробнее

А Фотошоп-то чем не устраивал? Он уже сто лет как умеет подобное делать. Инструмент называется "Загрузка файлов в стек" в режиме... медианы по моему.

Фотошоп не устраивает тем, что не умеет качественно выравнивать слои. Функция Auto Align Layers выравнивает слои лишь приблизительно. А здесь нужно попиксельное идеальное соответствие. Иначе при наложении получим ожидаемые артефакты.
Если снимать со штатива, то можно и в Фотошопе, да. Но если с рук, то уже нет.

Цитата:

от:makecase
Фотошоп не устраивает тем, что не умеет качественно выравнивать слои. Функция Auto Align Layers выравнивает слои лишь приблизительно. А здесь нужно попиксельное идеальное соответствие. Иначе при наложении получим ожидаемые артефакты.
Если снимать со штатива, то можно и в Фотошопе, да. Но если с рук, то уже нет.

Подробнее

Ну а кто ж с рук то подобное снимать будет? Это нелепо... Снимать кучу файлов для наложения и без штатива... разгильдяйство. :D

Ну, это нелепо, если нет качественных инструментов.) А если они есть, то это крайне удобно). Кстати, тут и штатив не очень спасает: если ветки дерева чуть сдвинулись от ветра, то фотошоповский Auto Align Layers это не исправит, поскольку учитывает лишь общие геометрические искажения при небольших сдвигах/поворотах камеры. Чтобы качественно выравнять картинки я в своей программе разбивал изображение на несколько тысяч небольших квадратов, для каждого из них искал идеальное соответствие на базовой фотографии, а потом эластичной сеткой деформировал каждую дополнительную фотографию. Возможно, есть фильтр для фотошопа, который умеет делать такое. Буду благодарен, если подскажете.

ACR умеет совмещать ветки и другие предметы, которые недалеко убежали, в режиме склейки HDR. Функция называется "устранение двоения", её надо включить и экспериментально определить нужную степень её силы. Что никакого HDR не предусматривалось при съёмке, пусть Вас не смущает, ACR всё равно всё склеит даже при съёмке с рук.
Пример склейки кадров с брекетингом, снятым с рук, был сильный ветер и трава, и ветки метались:



И-да, уменьшение шумов при такой склейке тоже есть. Но если Photoshop справляется сам (а он всегда справляется, если в кадре нет масштабного движения), то всё равно лучше совместить прямо в нём и собрать в смартобъект, а затем режим стека/ усреднение или медиана. Режим медиана убирает неожиданные эксцессы, типа на одном кадре муха пролетела, а на других её нет, а усреднение лучше убирает шум.

Спасибо за подробный ответ! Насчёт медианы - я тоже ее использовал в своей программе именно для того, чтобы эффективно отсеивались случайные объекты и сдвиги.
ACR - это Adobe Camera Raw? А он сможет использовать набор кадров в jpg или обязателен raw? Можно ли использовать снимки со смартфона? (Вряд ли он есть в списке поддерживаемых камер)

>Но если Photoshop справляется сам (а он всегда справляется, если в кадре нет масштабного движения), то всё равно лучше совместить прямо в нём

Под "прямо в нём" вы имеете в виду без использования ACR а только силами Auto Align Layers?

Цитата:

от:makecase
Спасибо за подробный ответ! Насчёт медианы - я тоже ее использовал в своей программе именно для того, чтобы эффективно отсеивались случайные объекты и сдвиги.
ACR - это Adobe Camera Raw? А он сможет использовать набор кадров в jpg или обязателен raw? Можно ли использовать снимки со смартфона? (Вряд ли он есть в списке поддерживаемых камер)

>Но если Photoshop справляется сам (а он всегда справляется, если в кадре нет масштабного движения), то всё равно лучше совместить прямо в нём

Под "прямо в нём" вы имеете в виду без использования ACR а только силами Auto Align Layers?

Подробнее

Надо включить поддержку жопег и тогда АКР жопеги так же будет собирать. Настройки АКР находятся там же где и настройки Фотошопа.

Цитата:

от: makecase

ACR - это Adobe Camera Raw? А он сможет использовать набор кадров в jpg или обязателен raw? Можно ли использовать снимки со смартфона? (Вряд ли он есть в списке поддерживаемых камер)

В настройках ACR есть возможность включить поддержку jpeg и tiff.
Цитата:

от:makecase


>Но если Photoshop справляется сам (а он всегда справляется, если в кадре нет масштабного движения), то всё равно лучше совместить прямо в нём

Под "прямо в нём" вы имеете в виду без использования ACR а только силами Auto Align Layers?

Подробнее

Да.
В случае, если что-то собралось неправильно, можно это доделать в Photoshop-е локально вручную.
Часто помогает сортировка перед сборкой кадров, которые никак не хотят собираться сразу все. Тогда будет два или более этапов сборки.
То есть, когда локальные объекты слишком далеко отклоняются в крайних кадрах и не дают собраться, то можно собрать группы, у которых отклонения приемлемы, а затем попытаться собрать групповые сведённые результаты.
Более того, можно после части работы в Photoshop-е результаты, которые не собрались в Photoshop-е вывести в tiff и снова попытаться дособрать в ACR.
Правда, нужно ещё сознавать, стоит ли игра свеч, результат не всегда адекватен усилиям.

>ACR умеет совмещать ветки и другие предметы, которые недалеко убежали, в режиме склейки HDR.

Подскажите, пожалуйста, как это делается? Установил в настройках, чтобы JPG открывался в Camera Raw, затем File -> выбираю несколько JPG, они открываются в Camera Raw, слева над иконками открытых картинок две кнопки "Select All" и "Synchronize". А на всех видео, которые гуглятся - там должно быть Filmstrip, при клике в угол которой доступно Merge to HDR. Как попасть в это меню?

Цитата:

от:makecase
>ACR умеет совмещать ветки и другие предметы, которые недалеко убежали, в режиме склейки HDR.

Подскажите, пожалуйста, как это делается? Установил в настройках, чтобы JPG открывался в Camera Raw, затем File -> выбираю несколько JPG, они открываются в Camera Raw, слева над иконками открытых картинок две кнопки "Select All" и "Synchronize". А на всех видео, которые гуглятся - там должно быть Filmstrip, при клике в угол которой доступно Merge to HDR. Как попасть в это меню?

Подробнее

Выделить с контролом все превьшки которые объединять надо и кликнуть правой мышью по ним, появится контекстное меню, где есть "объединение в ХДР".

Цитата:

от: RFT
Выделить с контролом все превьшки которые объединять надо и кликнуть правой мышью по ним, появится контекстное меню, где есть "объединение в ХДР".

Кстати, там ещё есть объединение в панораму HDR, но в этом способе нет устранения двоения. И появился новый пункт, "улучшение", но он актуален только для raw, с jpeg-ом он работать откажется.
И-да, нужно уточнить, что Ваш совет относится уже к открытым в ACR кадрам, выделить их перед отправкой в ACR недостаточно, нужно ещё раз выделить уже в самом ACR.

Сменил версию и HDR появился. А как сделать, чтобы ACR не пытался делать реальный HDR? Сейчас даже из исходных картинок с одинаковой экспозицией при слиянии получается пересвеченная картинка. А нужно только выравнять сдвинутые детали и объединить медианой.
Из настроек в этом окне всего лишь:
"Выровнять изображения" (включено)
"Применять автоматическое изменение тона и цвета" (выключено)
"Устранение двоения" (включено)
Результат объединения: пересвеченная картинка, а шум наоборот никуда не делся.)

Цитата:

от:makecase
Превьюшки открыты в ACR, но контекстное меню по правой кнопке мыши не появляется. Ни по одиночке, ни когда все выделены. После длительного гугленья нашёл на форуме коммент от человека с такой же проблемой, ему ответили, что фотошоп должен быть CC, а не CS6. У меня как раз CS6 + ACR 9.1.1
Похоже, дело в этом?

Подробнее

Естественно, в CS6 и ACR 9.1.1 этой функции нет.
И в самом Photoshop СС (2019) автоматика совмещения работает совсем по-другому.
Мы тут советы раздаём, а оказывается, у Вас наган не той системы...

Этот этап уже прошёл, теперь вопрос по склейке HDR.) В посте выше.)

Цитата:

от:makecase
Сменил версию и HDR появился. А как сделать, чтобы ACR не пытался делать реальный HDR? Сейчас даже из исходных картинок с одинаковой экспозицией при слиянии получается пересвеченная картинка. А нужно только выравнять сдвинутые детали и объединить медианой.
Из настроек в этом окне всего лишь
"Выровнять изображения" (включено)
"Применять автоматическое изменение тона и цвета" (выключено)
"Устранение двоения" (включено)
Результат объединения: пересвеченная картинка, а шум наоборот никуда не делся.)

Подробнее

Есть такое явление, если кадры не raw.
Единственное что можно сделать - понизить экспозицию в ACR на глаз у результата, сравнив с одним из исходников.. Так как результат идёт в формате DNG, то его можно (и нужно) получить в 16 бит, тогда постеризации при изменении экспозиции, в светах не будет. Естественно, если она не пришла изначально вместе с файлами jpeg.
Почему так сделано мне неведомо, скорей всего очередной глюк. К счастью, легко поправимый.

Вы написали про пересвет, а как быть с шумом? Он ведь никуда не делся, а только ради шумоподавления всё это и затевалось?)
Получается, что ситуация выглядит так. Есть два способа:
1. Мерж в HDR. Он умеет попиксельно совмещать картинки перед склейкой, но не позволяет экспортировать результат выравнивания. Сама же склейка в этом режиме шум не убирает, только портит экспозицию.
2. Второй вариант не использовать HDR, а испозовать Auto Align Layers + наложение по медиане. Тут с шумоподавлением всё хорошо, но плохо с выравниванием. Вот только сейчас обработал так десяток картинок и остаются сдвиги до 4-5 пикселей, которые делают бессмысленным наложение таких картинок.
Как итог, рабочего варианта нет?)
Поправьте, пожалуйста, если ошибаюсь.

Цитата:

от:makecase
Вы написали про пересвет, а как быть с шумом? Он ведь никуда не делся, а только ради шумоподавления всё это и затевалось?)
Поправьте, если ошибаюсь, но, кажется, что ситуация выглядит так. Есть два способа:
1. Мерж в HDR. Он умеет попиксельно совмещать картинки перед склейкой, но не позволяет экспортировать результат выравнивания.

Подробнее

Смотря что понимать под экспортом и результатом. Подозреваю, что HDR-склейка просто распознаёт двоение и маскирует один из вариантов или несколько.
Цитата:

от: makecase
Сама же склейка в этом режиме шум не убирает, только портит экспозицию.

что в jpeg и tiff экспозиция сдвигается - это явный глюк, так быть не должно. В raw же этого нет...
Цитата:

от: makecase

2. Второй вариант не использовать HDR, а испозовать Auto Align Layers + наложение по медиане.

У меня русскоязычный интерфейс и там есть два варианта: автоналожение слоёв и автоматическое выравнивание слоёв. Какой из?
Цитата:

от:makecase
Тут с шумоподавлением всё хорошо, но плохо с выравниванием. Вот только сейчас обработал так десяток картинок и остаются сдвиги до 4-5 пикселей, которые делают бессмысленным наложение таких картинок.
Как итог, рабочего варианта нет?)

Подробнее

Есть. Использовать ликвифай для локальной подгонки того, что не совместилось автоматом. Иногда полезно воспользоваться прикольной штукой под названием "масштаб с учётом содержимого". Вообще в новейшем Photoshop-е много таких неожиданных закоулков, на которые наткнуться случайно в нужный момент нереально, нужно внимательно смотреть уроки по темам по Photoshop-у. Например, в liveclasses.ru/profile.
Не исключено, что и автоматическое совмещение слоёв а-ля HDR где-то под носом сидит, а мы его не видим. Например, мне в голову не приходила полезность пункта Масштаб с учётом содержимого, пока мне не продемонстрировали его работу.
В целом я со многими кадрами стараюсь делать статику, а когда не получается совместить качественно - просто урезаю свои аппетиты. Например, отбрасыванием кадров, которые не бьются с остальными.
Простейший случай - просто выделять несовместимые места и маскировать их.

Подгонка ликвифаем - это ж не вариант. Для того, чтобы кадры качественно объединились, необходимо подгонка с точностью до пиксела. На самом деле, даже этого мало - нужна субпиксельная точность. Для этого картинки увеличиваются в 2 (лучше в 4) раза, после этого подгоняются попиксельно. Ликвифаем это невозможно сделать даже если неделю двигать пикселы.
Да и большое число ручной работы делает бессмысленным это. Всё должно выполняться автоматически. В приниципе, у меня есть рабочий вариант - фильтр, который написал. Единственно, он феерически долго работает. 10 картинок разрешением 16000х12000 он подгоняет друг под друга 18 часов с использованием трёх ядер процессора. Сейчас оптимизировал его и это делается менее, чем за 4 часа. То есть, можно запустить, пойти на работу, а вечером получить пару готовых красивых кадров склеенных из 10 кадров каждый.
Просто, думал, вдруг есть коммерческий софт, который делает то же самое (или лучше) за минут 15, скажем. PhotoAcute3, похоже, так и делает, но, как писал выше, он уже не продаётся, а без покупки клеет вотермарки.

Цитата:

от:makecase
Подгонка ликвифаем - это ж не вариант. Для того, чтобы кадры качественно объединились, необходимо подгонка с точностью до пиксела. На самом деле, даже этого мало - нужна субпиксельная точность. Для этого картинки увеличиваются в 2 (лучше в 4) раза, после этого подгоняются попиксельно. Ликвифаем это невозможно сделать даже если неделю двигать пикселы.

Подробнее

Это почему? Загоняем все файлы в слои, делаем верхнему слою полупрозрачность, увеличиваем картинку до умопомрачительных 1600% и совмещаем ... Если не нравится ликвифай (который рекомендуют профи), можно "масштаб с учётом содержимого". Эта фишка позволяет не только изменять масштаб, но и двигать выделенный фрагмент без изменения масштаба. Конечно, если трава шевелится, хотя бы три перекрещивающиеся травинки, то такой метод уже на десятке кадров будет каторгой. Ну так кто запрещает эти ничего не значащие детали просто ликвидировать? Прыщики на лице ведь никто не старается сохранить, тем более сделать их более чёткими, так почему другие идиотские никому не нужные детали надо беречь?!
Цитата:

от: makecase

Да и большое число ручной работы делает бессмысленным это. Всё должно выполняться автоматически.

Это другое дело. Тогда снова возвращаемся к HDR в ACR и Photoshop-е, которые сшивают шевелёнку практически идеально, и к панораме, которую опять же те же самые сшивают практически всегда идеально. Хочется побить шумы многими кадрами? Да без проблем, но с одним условием: в кадре всё должно быть статично.
А с другими вариантами - в Ваш рабочий вариант:
Цитата:

от:makecase
В приниципе, у меня есть рабочий вариант - фильтр, который написал. Единственно, он феерически долго работает. 10 картинок разрешением 16000х12000 он подгоняет друг под друга 18 часов с использованием трёх ядер процессора. Сейчас оптимизировал его и это делается менее, чем за 4 часа. То есть, можно запустить, пойти на работу, а вечером получить пару готовых красивых кадров склеенных из 10 кадров каждый.

Подробнее

Вы не ошиблись? Точно 16000х12000? Под 200Мп каждый? Со смартфона??
А если это 1600х1200, то Photoshop их склеит за несколько секунд. Ну, да, с тем, что шевельнулось в кадре, придётся повозиться с часик. И-да, сдаётся мне, что ошибки совмещения могут иметь совсем не те причины, о которых мы думаем, а просто это артефакты jpeg, которые возникают при сжатии слегка несовпадающих кадров. Если есть регулировка качества jpeg, то его нужно ставить наивысшим и больше ничего с этим не поделать. Естественно, raw радикально изменит обстановку, потому что там нет сжатия с артефактами.


Цитата:

от:makecase

Просто, думал, вдруг есть коммерческий софт, который делает то же самое (или лучше) за минут 15, скажем. PhotoAcute3, похоже, так и делает, но, как писал выше, он уже не продаётся, а без покупки клеет вотермарки.

Подробнее

Если не жалко, закиньте какой-нибудь десяток фото, которые никак не желают правильно сшиваться в Photoshop-е, покручу на досуге. У меня в Photoshop-е сшивается и выравнивается десяток за несколько секунд, самая долгая операция - перевод в смарт-объект, десять секунд с гаком.
Недавно я сшивал 12 кадров, снятых с рук, 5 из них удалил из-за тотальной шевелёнки, специально поставил iso 800 для шума, оставшихся семи хватило, чтобы шум стал на уровне меньше, чем при iso 100.