Борьба с шумами ФОВЕОНа.

Ну, открытое ПО в камере - это привлекательно (ведь есть попытки в него влезть, например www.pentax-hack.info), а демонстрируемая в новости идея - это ж обычный HDR...

Цитата:

от:Madf
Ммм...в воскресенье малец появилась одна идейка, очередной "простой" способ как-то потирать шумы...в общем реализовал очередную потугу на эту тему.
(теория) За идею взято два подхода:

1. Имеем кадр с шумами и сам исходник(фото).
Здесь главное выдержать пропорциональность реакции камеры на видимую информацию, т.е. используем минимум обработки самим аппаратом и СППешки. Аппарат ставим в мануальный режим, подготавливаем экспозицию (выдержка, диафрагма, исо...), фотаем, а потом закрываем объектив и фотаем с теме же параметрами темноту. Эта темнота и будет являться примером шума. Этой махинацией, мы как бы отсекаем все внутренние пред обработки переходных процессов.

2. Имеем два кадра из серии (кадры не должны различаться между собой, т.е. аля штатив), производим вычитание одного кадра из другого, результатом будет оставшийся мусор, шум, потом этот шум вычитаем из одного кадра.

Прога почти готова, осталось малец её ещё причесать и можно пробовать разные комбинации, может что путное и выйдет. Я конечно пробовал брать спонтанные кадры, заранее не подготовленные для этого, результаты были понятное дело экзотическими, иной раз получалось да же убрать пятнистость (зелёную..) в кадре.

Подробнее

Если есть желание проверить математику, есть два кадра (даже три, но третий не годится, он с дефектом - полкадра подсвечено залипшей подсветкой автофокуса). Это уже поюзаный всеми :) кадр с со спящим сынишкой. Готов выложить исходники. Какой нужен формат?

Цитата:

от:SpectreLX
А разве камера сама так не делает?
Если бороться с шумами на высоких ISO - это почти бесполезно, думается мне. А до ISO400 - можно чуть больше света давать... А потом просто "откатывать" экспозицию.
Вобщем, мне интересно, что у madf-а получится...

Подробнее

Обвязка матрицы делает примерно так - http://www.foveon.com/files/CIC13_Hubel_Final.pdf,

Цитата:

от:Влад_и_мир
Если есть желание проверить математику, есть два кадра (даже три, но третий не годится, он с дефектом - полкадра подсвечено залипшей подсветкой автофокуса). Это уже поюзаный всеми :) кадр с со спящим сынишкой. Готов выложить исходники. Какой нужен формат?

Подробнее

Если два кадра, то должны быть с малейшими изменениями, но думаю вы с рук снимали и расхождение будут большими и тогда не выйдет. :?
А формат простой, tiff сделаный СППешкой (можно попробовать с режимом "авто" и по умолчанию x3f).

Цитата:

от:Madf
Если два кадра, то должны быть с малейшими изменениями, но думаю вы с рук снимали и расхождение будут большими и тогда не выйдет. :?
А формат простой, tiff сделаный СППешкой (можно попробовать с режимом "авто" и по умолчанию x3f).

Подробнее

В том то всё и дело, что снимал со штатива (выше писал, что не мог использовать вспышку даже в потолок, жена бы убила).
Снимал с помощью пульта три кадра, но на третьем камера сглюкнула. ;)
Ок. Предлагаю просто x3f/ Сегодня загружу и ссылку выложу.

О-о-пс. Не выложу.
Жена удалила два кадра, как неудачные. Звиняйте за ложную тревогу. ((((((
В след раз буду защиту ставить. :(
Попробую посмотреть более старые фото. Там тоже должны быть серии на штативе.

Жаль. :(

Здесь я выложил эксперементик на скорую руку с старым, баянистым материалом: http://files.mail.ru/RU5QZ5

Файлы в архиве:

- Original.tif - оригинал;
- New_Prog_out.tif - итог прогонки по 2-м кадрам новой прогой (примера шума отдельно не было, высчитывалось на лету);
- Output_two_programs.tif - маньячный вариант мега-микс итога работы двух моих детищь.
Т.е. взято 3 кадра.
Пропущены все они были через новую прогу по схеме: 1-2, 2-3, 3-1.
Потом обработаны первой прогой (та, что работала с сериями 3 или 5 кадров (SD14Noise.exe)).
Если взглянуть на оригинал и на последний вариантик, то видна очень разница.
Получается, что первая программа убирала зернистые шумы, вторая случайные цветовые пятна.

зы: Дамы и Господа, если есть какие либо алгоритмы, идеи новые, формулы.., не стесняйтесь, излагайте, попробую реализовать, если конечны они будут из разряда не "на авось" (иметь логику под собой и не то, что реализовывает производитель).

Цитата:

от:Madf
Жаль. :(

Здесь я выложил эксперементик на скорую руку с старым, баянистым материалом: http://files.mail.ru/RU5QZ5

Файлы в архиве:

- Original.tif - оригинал;
- New_Prog_out.tif - итог прогонки по 2-м кадрам новой прогой (примера шума отдельно не было, высчитывалось на лету);
- Output_two_programs.tif - маньячный вариант мега-микс итога работы двух моих детищь.
Т.е. взято 3 кадра.
Пропущены все они были через новую прогу по схеме: 1-2, 2-3, 3-1.
Потом обработаны первой прогой (та, что работала с сериями 3 или 5 кадров (SD14Noise.exe)).
Если взглянуть на оригинал и на последний вариантик, то видна очень разница.
Получается, что первая программа убирала зернистые шумы, вторая случайные цветовые пятна.

зы: Дамы и Господа, если есть какие либо алгоритмы, идеи новые, формулы.., не стесняйтесь, излагайте, попробую реализовать, если конечны они будут из разряда не "на авось" (иметь логику под собой и не то, что реализовывает производитель).

Подробнее

Вот есть пара других серий.
Первая - 24 и 25
Вторая - 27,28 и 29
Все ссылки ниже.
SDIM3024.X3F
SDIM3025.X3F
SDIM3027.X3F
SDIM3028.X3F
SDIM3029.X3F

Первая серия, ИМХО, между первым и вторым кадром сдвиг на 1-2 пиксела. Вторая серия без сдвига.
Правда в них проблем с шумами маловато (эх жаль серию с сынишкой :(. Буду проводить разъяснительную работу.)
Попробую ещё поискать. Это то, что всплыло из памяти на скорую руку.

Цитата:

от:Влад_и_мир
Вот есть пара других серий.
Первая - 24 и 25
Вторая - 27,28 и 29
Все ссылки ниже.
SDIM3024.X3F
SDIM3025.X3F
SDIM3027.X3F
SDIM3028.X3F
SDIM3029.X3F

Первая серия, ИМХО, между первым и вторым кадром сдвиг на 1-2 пиксела. Вторая серия без сдвига.
Правда в них проблем с шумами маловато (эх жаль серию с сынишкой :(. Буду проводить разъяснительную работу.)
Попробую ещё поискать. Это то, что всплыло из памяти на скорую руку.

Подробнее

Я конечно скачал, но на ваших кадрах нет шума вообще (в понимании моём, вариант хороший попался).
Вычитанием шума произвести корректо не получится, т.к. на всех кадрах есть движение (машины по дороге пролетают..).
А вот по старому алгоритму можно пропустить: http://files.mail.ru/Z2MMOG

Цитата:

от:Madf
Я конечно скачал, но на ваших кадрах нет шума вообще (в понимании моём, вариант хороший попался).
Вычитанием шума произвести корректо не получится, т.к. на всех кадрах есть движение (машины по дороге пролетают..).
А вот по старому алгоритму можно пропустить: http://files.mail.ru/Z2MMOG

Подробнее

Я ещё поищу. Был штатив, но сходу не ищется. :(
Кстати, это ещё раз подтверждает слова о том, что чем длиннее выдержка на фовеоне тем лучше. Да и штатив рулит. :)

Цитата:

от: Влад_и_мир
Я ещё поищу. Был штатив, но сходу не ищется. :(
Кстати, это ещё раз подтверждает слова о том, что чем длиннее выдержка на фовеоне тем лучше. Да и штатив рулит. :)

Что-то мне подсказывает другое, что у вас моделька аппарата не для "африки" (5-й регион).

Цитата:

от: Влад_и_мир
Обвязка матрицы делает примерно так - http://www.foveon.com/files/CIC13_Hubel_Final.pdf,

Это, как текст дипломника. Видать для презентации готовили... :))

Ну да, ну да, со значком ростеста (снизу). ;)
Только сдаётся мне что дело в штативе. Там выдержка 11 сек. :D
А баланс поехал, так там эти дурацкие лампы. :(
Но по воспоминанию всё было немного желтоватым.

Типа того. Зачем смысл перевирать. Там и так не слишком много информации. Года 3-4 назад был большой файл на эту тему там же, я даже его скачивал и просмотрел, только помню смутно. Валялся где-то в архиве, только найти сложно после краха и восстановления хранилища на работе. :(
Покопаюсь. Если найду - выложу.

Попробовал сегодня то, что уже давно позабыто..

В общем результат никакущий на мой глаз.

Если делать как думал (брать один кадр шума (черный) и кадр с данными), то эффект очень сомнительный, просто чуть темнее/контраснее кадр выходит, причем внезависимости от ИСО. Видимо при извлечении при помощи СПП данных в режими X3F, всё равно она делает предобработку кадра с учетом шума (давит его). :(

А вот если взять просто два кадра (штативные), то да, после обработки проподает ряд цветовых шумов (которые так часто обсуждались). Но этот вариант мало интересен, на сколько я понимаю...

В общем, чтобы получить и правда какой-то эффект, придется видимо пробовать обрабатывать данные вообще минуя СПП, прям из X3F брать tif, там правда будут вообще "сухие" данные и вообще придется заниматься полным востановлением цвета из ранее известных формул/информации. Правда и разрешение там поболее будет чем заявленое. ;)

Думается мне, что возможностей у сигмовских программеров все-таки больше, чем у одного человека, которому никто не даст неофициальной информации об аппаратной части камеры...
Может попробуем расковырять прошивку?

Ковырять прошивку нет никакого смысла без принципиальной схемы стройства, т.к. мы не знаем точно на каком железе это всё собрано, всех блоков. Так просто взять прошивку и ковырять - ничего не даст, кроме приблизительного понимания идей (и то сомневаюсь).

Цитата:

от:Madf
В общем, чтобы получить и правда какой-то эффект, придется видимо пробовать обрабатывать данные вообще минуя СПП, прям из X3F брать tif, там правда будут вообще "сухие" данные и вообще придется заниматься полным востановлением цвета из ранее известных формул/информации. Правда и разрешение там поболее будет чем заявленое. ;)

Подробнее

Я могу тебе давать данные прямо из X3F, скажем со снимка с эффективным ISO порядка 6400 - тогда ты увидешь, что такое шумы сенсора... Я попробовал подавить их; простые методы генерируют знакомую блочную картину.

Проблема по-моему в этом, что шум сенсора имеет очень широкий частотный спектр. Обработывая его например с использованием матрицы 7x7 несложно подавлять высокчастотные шумы; остается низкочастотныи шум в виде блоков.

Для декодирования X3F файлов мозно использовать X3F SIGMA Raw file unpacker.

Что касается вычитания 'black frame', то камера делает это самостоятельно, во всяком случае для продолжительных снимок, а может и всегда. В основном эта поможет избавиться о градиенте черного и о некоторых систематических шум; никакой пользы для подавления обычных цветовых шум сенсора вычитание черной картины к сожалению не дает.

Использование двуx снимков и вычитание информации может подавлять шумы приблизительно 1.4 раза; делать два идентичных снимка к сожалению не так легко.

Цитата:

от:Arvo
Я могу тебе давать данные прямо из X3F, скажем со снимка с эффективным ISO порядка 6400 - тогда ты увидешь, что такое шумы сенсора... Я попробовал подавить их; простые методы генерируют знакомую блочную картину.

Подробнее

1. Как-то протеречиво звучит с далее написаным про вычитания черной картинки) (или я что-то не понял)
2. Непонятно откуда у СД14 исо 6400)
3. Уже не секрет, что вся ИСОшность - это синтетика, при увиличении которой просто увеличивается программно чувствительность ПО, а железо при этом как было на одном уровне, так и осталось, тем самым мы наблюдаем только раздутую, огрублённую чувствительность матрицы и при таком подходе, мы с любой матрицы получим одни шумы АЦП, поэтому задирать сильно ИСО нет смысла.

Цитата:

от:Arvo
Проблема по-моему в этом, что шум сенсора имеет очень широкий частотный спектр. Обработывая его например с использованием матрицы 7x7 несложно подавлять высокчастотные шумы; остается низкочастотныи шум в виде блоков.

Подробнее

Это я не понял вообще, про какие 7х7 идет речь.

Цитата:

от:Arvo
Для декодирования X3F файлов мозно использовать X3F SIGMA Raw file unpacker.

Что касается вычитания 'black frame', то камера делает это самостоятельно, во всяком случае для продолжительных снимок, а может и всегда. В основном эта поможет избавиться о градиенте черного и о некоторых систематических шум; никакой пользы для подавления обычных цветовых шум сенсора вычитание черной картины к сожалению не дает.

Использование двуx снимков и вычитание информации может подавлять шумы приблизительно 1.4 раза; делать два идентичных снимка к сожалению не так легко.

Подробнее

Доставать данные из X3F-а нет проблем, но хотелось бы конечно не лазать в образ матрицы.

Прошу прощения за мой ржавый русский язык - если что не понятно, попробую объяснить.

ISO6400 получается от ISO100 при выдержке 64 раза (-6EV) покороче - так как ISO синтетическая, результат должен быть приблизительно идентичное. Один знакомый сделал кучу снимок (43, с +4 до -10EV) для понимания динамическиx xарактеристик сенсора, оттуда и такие шумные снимки :)

7x7 матрица - я имел ввиду обработки цветовыx каналов сглаживающим фильтром размером 7x7 пиксел.

Цитата:

но хотелось бы конечно не лазать в образ матрицы.

Но вот это часть я не понял :(