Тестируем уровень шумов матрицы своих фотоаппаратов

В предыдущей, поднятой мной теме (см.:https://foto.ru/forums/topics/144359&page=1#listStart

"Тестируем разрешающую способность своей фототехники по упрощенной методики") , обсуждалось оправдано ли увеличение числа мегапикселей при сохранении размера матрицы.
ВЫВОД: с точки зрения разрешающей способности увеличение числа мегапикселей однозначно хорошо. Результаты замера разрешающей способности показали, что чем больше, число мегапикселей, тем лучше. И даже профессиональные модели с качественной оптикой
не способны сравнится с 8 мп аппаратами более низкого класса.

Какова цена увеличения числа мегапикселей? Ответ - повышение уровня шума. Несмотря на то, что разрешение довольно просто измерить в подавляющем большинстве обзоров сравнение моделей формируется из высказываний "более мыльный", "менее мыльный".
С уровнем шума еще хуже. Оценки еще более субъективные. Шумит не шумит, ответы только на уровне эмоций.

Возникла идея, а нельзя бы получить более объективную оценку, не завязанную на предубеждения типа "кэнон рулит - никон ацтой" и т.д. Получить численную оценку уровня шума.

Идея следующая: фотографируется по максимуму однородная поверхность (лист цветной бумаги, побеленный потолок и т.д)
разными фотоаппаратами с разным уровнем ИСО. Файлик скачивается на компьютер, и замеряем уровень шума малюсенькой программкой.
Программку такую может написать любой имеющий опыт программирования минут за 15-20. Написанную мной программку можно взять тут:
http://nasasoft.narod.ru/NoiseTester.rar (280 кб)

Алгоритм работы программы: 1) загружаем фотографию. Как известно цвет пикселя, можно представить числом. 2) Пробегаемся по всем точкам и находим средний цвет (среднее арифметическое). 3) Опять пробегаясь по всем точкам находим сумму отклонений цвета каждого пикселя от среднего цвета. В идеале, если у нас идеально однотонная поверхность и идеальная матрица, то в результате все пиксели будут равны среднему цвету и суммарное отклонение будет равно 0.
На практике, особенно при высоких уровнях ИСО, изображение будет содержать примеси точек постороннего цвета (шум). И чем больше их будет и чем сильнее по цвету они будут отличаться от цвета поверхности, тем большее число мы получим. Для уменьшения ко-ва нулей, его можно пронормировать к числу пикселей.

Визуально программа очень адекватно оценивает уровень шума, т.е. если визуально видно, что одна картинка шумнее другой, то и число соответственно у первой будет больше, чем у второй.
( см. скриншот http://nasasoft.narod.ru/noise_tester.jpg )
Т.к. программа писалась вспешке, только для проверки работоспособности алгоритма, то работает она пока толька с BMP файлами (т.е. фотографии нужно конвертнуть в BMP).

ВАЖНО!!! Сфотографирована должна быть одноцветная поверхность с как можно меньше выраженной текстурой.

С помощью программы можно также проверять качество матрицы на предмет наличия горячих пикселей. Проверяя снимкм сделанные при закрытом объективе на больших выдержках с отключенным шумоподавлением.

Для моей минолты для выдержки 1 сек:

на ИСО 50 результат 0 !!! (приятно удивило)
на ИСО 100 результат 33
на ИСО 200 результат 61
на ИСО 400 результат 99
на ИСО 800 результат 188
(приведенные цифры не означают, что там 188 битых пикселей, они просто показываю, что в изображении не все пиксели абсолютно черные)
Кстати при разглядывании на мониторе это видно только для ИСО 800.

Кто-нибудь может затестит, какой уровень будет на зеркалках с большой матрицей при тех же условиях: выдержка 1 сек, шумодав отключен, температура камеры комнатная (20 градусов)


А вот результаты при фотографировании минолтой белого листа очень слабо освещенного:
на ИСО 50 результат 292
на ИСО 100 результат 317
на ИСО 200 результат 366
на ИСО 400 результат 445
на ИСО 800 результат 602

Но в этом тесте сравниваться бесполезно, так как все очень зависит от условий освещенности. Разве, что каждый может сам для себя оценить как растет уровень шумов с ростом исо.

(Что-то у меня с народа совсем плохо качается, если кому интересна программа, а не качается, напишите, выложу где-нибудь еще)

[Обновления: Вто, 07 Июнь 2005 22:08]

Учти, на снимке серой картинки легко может быть плавный градиент (к примеру, левый край чуть темнее правого). Глазом это незаметно, а твоя программа градиент шумом посчитает.

имхо грамотней делать так - для каждого пикселя считаешь средний цвет его окрестности (радиусом пикселей 10-20, это можно как параметр задавать), а величину шума считаешь как разницу среднего и значения в точке.

Цитата:

от: vvkot

ВЫВОД:
И даже профессиональные модели с качественной оптикой
не способны сравнится с 8 мп аппаратами более низкого класса.

Лучше оставить это высказывание без комментариев. А то, за тот комментарий, который хочется написать могут и забанить...


Цитата:

от:vvkot

Возникла идея, ...

Идея следующая: фотографируется по максимуму однородная поверхность (лист цветной бумаги, побеленный потолок и т.д)
разными фотоаппаратами с разным уровнем ИСО. Файлик скачивается на компьютер, и замеряем уровень шума малюсенькой программкой.

Подробнее

Если уж у Вас возникла такая идея, то и реализация ее должна быть более корректной. Разные цветовые каналы "шумят" по разному, следовательно желательно фотографировать, что-то а-ля пластины ColorChecker с ее 24-мя цветами, для которых заранее(!) известны RGB компоненты для каждого цвета.

Цитата:

от: vvkot

Визуально программа очень адекватно оценивает уровень шума, т.е. если визуально видно, что одна картинка шумнее другой, то и число соответственно у первой будет больше, чем у второй.

Что Вы подразумеваете под "числом". Если число пикселов с отклонением от среднего значения, то Ваш вывод неверен. Если среднеквадратичное отклонение, то ближе к истине.

Цитата:

от: vvkot

Для моей минолты для выдержки 1 сек:

на ИСО 50 результат 0 !!! (приятно удивило)

Только удивило?
Дальше просто можно не смотреть Ваш тест. Либо ошибка в программе, либо ошибка в самом тестировании.

Скорее всего произошла интерполяция при конвертации в BMP.

Все это очень интересно ,но!) шли бы вы ,барин,фотографировать.)))Что толку от ваших тестов?
Смысл? Цель?
Все что могло быть сказано уже сказали). Все остальные кустарные измерения .....результат будет гулять от одного экземпляра к другому...
Все это конечно сугубо мое ИМХО.

А стоит ли заниматься кустарными вычислениями, чтобы лишний раз убедиться в том, что "Волга впадает в Каспийское море"?... И так ясно уже, какие камеры шумят больше, а какие меньше - это и без "числового выражения" видно. Разве только если, вместо фотографирования, заниматься соревнованием типа "у кого длиннее"... Тогда да, тогда стоит иметь к цифре ещё и "число"...

аффтар убей сибя. обработанная картинка, интерполрованая, непргодна для измерение шума ваще.

там может быть абсолютно любые числа ниимеющии отношения к чему либо вааще., взависимости от оброботки. нуль там вааще панмаиш. , вааще.
на зеркалке в максимуме сигнал/шум 150 шум отлчно виден (если нет, это к окулисту) . в вашх кривых 8 битах с интерполяцией и задранным (или убитым) контрастом может быть абсолютно что угодно.

да мерить можно но немного нетак. снмаем в RAW берём оттуда отдельный канал его щитаем. после чего убеждаемся что щитать тут вобщем то нечего т.к. всё и так 95% ложится на теоретическую кривую.

хреново качается твоя программка

Цитата:

от: vitaly75
хреново качается твоя программка

Зачем ее качать, несколько строчек Matlab-code:
m = imread(" имя файла " );
m = m( :, :, k ); % k - номер нужного канала R - 1, G - 2, B - 3
std( m( : ) )

Причем можно читать в любом формате, хоть jpg, хоть bmp, хоть tif ...

Цитата:

от: vvkot

Для моей минолты для выдержки 1 сек:

на ИСО 50 результат 0 !!! (приятно удивило)

Только удивило?
Дальше просто можно не смотреть Ваш тест. Либо ошибка в программе, либо ошибка в самом тестировании.

Скорее всего произошла интерполяция при конвертации в BMP.

[/quote]


Почему на Ваш взгляд такого не может быть. При ИСО 200
картинка получается абсолютно черная (при 24 битном цвете). Все пиксели имеют цвет 0,0,0 (R,G,B), и просмотр на мониторе с максимальным увеличением это подтверждает. Для других ИСО при большом увеличении становится видно, что часть пикселей становится отлична от чисто черного цвета.

А на предмет зачем я этим занимался. Ну просто нравится мне это. Кому-то нравится пасьянс раскладывать, а мне нравится что-нибудь поисследовать, почитать обзоры тесты. Мне это не в напряг, а типа в отдых.

А насет высказывания, что всем известно какие как шумят. Это, на мой взгляд, не верно. Конечно, если сравнивать зеркалки и незеркалки то ответ очевиден, а для одного класса технике - все только на уровне эмоций.

Цитата:

от: vvkot

Почему на Ваш взгляд такого не может быть. При ИСО 200
картинка получается абсолютно черная (при 24 битном цвете).

Потому, что, как правильно заметил L4m3r, говорить о шумности матрицы анализируя цвета в jpg, это тоже самое, что говорить о средней температуре по госпиталю.
Надо смотреть RAW данные.
jpg - это и так, грубо говоря, усреднее по окрестности. Получается, убрали шум, а потом удивляемся, куда он делся.
Более того, я очень сомневаюсь, что даже в jpg с отключенным шумодавом, камера выдает "чистые" нули. ИМХО, "нули" получились при конвертации в bmp, который Вы потом анализируете.

Да, я в предыдущем сообщении описался, при ISO 50 - чистые нули.

А почему Вы говорите, что при конвертации в BMP, должна потеряться информация. BMP был 24 битный, по 8 бит, на канал, т.е. столько-же сколько у JPEG. Из RAW можно вытянуть конечно 16 бит на канал, но это будет уже не JPEG. При 16 битах на канал, наверно, уже не будет чистых нулей. А при 8 битах они есть, я не придумал.

Выкладываю ссылку на JPEG скаченный с камеры
без какой-либо обработки, параметры съемки можно
посмотреть в EXIFE (шумодав отключен - видно там же)
На картинке чисто черный цвет

http://spnet.ru/~nasa/PICT0002.JPG (всего 300 кб, для 8 мп - размер говорит сам за себя, типа жать нечего)

для сравнения тоже, но для ИСО 800
http://spnet.ru/~nasa/PICT0003.JPG (уже 2.6 мб)

Кстати, прогу можно взять тут, быстрее будет
http://spnet.ru/~nasa/NoiseTester.rar (280 кб)









.

я думаю вам надо взять учебник по матстату и ознакомится с нормальным стохастическим анализом, а так это все баловство ИМХО

Учебников я в свое время начитался (имею математическое образование), поэтому представлени о среднеквадратическом отклонении имею.

Кстати програмулю обновил, теперь она умеет читать
JPEG, для избежания лишнего конвертирования.

Скачать можно здесь:

http://spnet.ru/~nasa/NoiseTester.rar

Несколько картинок с зависимостями шумов от уровня ИСО
можно глянуть здесь:

http://spnet.ru/~nasa/Noise.doc

Цитата:

от: vvkot

ВАЖНО!!! Сфотографирована должна быть одноцветная поверхность с как можно меньше выраженной текстурой.

Если хотите избавиться от текстуры на снимке, то просто расфокусируйте объектив при съемке и мелкие детали размоются... Не дурно бы по картинке пройтись каким-то hi-pass фильтром, иначе неравномерность освещения проявится как шум, что не есть правильно...

Может, наименьшая конвертация будет в TIFF?
jpeg - уже само по себе кодировка. А так кто хочет снимает в raw -- и вперед конвертация в tiff или сразу в tiff.

Здравая мысль сравнивать с соседними пикселами.

Так же можно попробовать выкидывать "аномально" большие значения, дабы отфильтровать швы на потолке.

Интересная мысль была, что раз мы оцениваем именно матрицу, объектив должно расфокусировать.

Да, и интересно по отдельным каналам!

Единственная здравая мысль здесь уже была - пойти пофотографировать.
Ну и в самом деле - чего можно добиться при самом удачном исходе тестирования? Вывода: Матрица на таком то Никоне менее шумная, чем на другом Каноне? Все равно женятся на претендентке с самыми большими сиськами. Т.е. тьфу, хотел сказать, выбирают систему, а не матрицу. И совсем по другим критериям. А шумит, не шумит, больше на 3% или меньше.... Ну какая разница?

Смысл тестирования:

1) Лично я когда выбирал фотоаппарат столкнулся с тем, что мнения на одну и ту же техническую характеристику сравниваемых моделей в обзорах Модель1 vs Модель2 разнятся до противоположных. Причина субъекьтивность оценок. Исключение человеческого фактора с точки зрения повышения объективности плюс.

(Хотя я понимаю, что в искустве (а фотография это искуство), не все можно померить линейкой. Про те же шумы можно сказать, что одни смотрятся красивее других).

2) Создание программы позволяющую за считанные секунды оценить качество матрицы конкретного экземпляра. (Оценить количество и уровни "горячих" пикселей) А при наличии возможности выбора при покупке взять наименее шумную. Согласитесь не везде при покупке удобно исследовать матрицу даже на наличие "битых" пикселей. А эту (или подобную) программу можно портировать даже на КПК, и сделав тестовый снимок с закрытой крышкой объектива, сунуть карточку в КПК и увидеть результат в виде числа.

3) Насчет того, что выбирают не матрицу, а систему. Это действительно так. Но ведь система складывается из комплекса технических, функциональных и эргономических параметров. Если с функциональными параметрами все ясно, маркетологи работают вовсю и каждую пимпочку описывают во всех проспектах, то с рядом технических параметров затык. Часто Вам приходится встречать в характеристиках модели указанную разрешающую способность? Нет - ее не пишут. А уровни шумов? Тоже нет.

Лично я свой выбор на N-лет уже сделал. Но поднимая тему про "тестирование разрешающей способности",
"тестирование уровня шумов", надеялся, что найдутся те, кто не поленится и выложит характеристики своих моделей, тем самым, облегчив выбор тем людям, кто находится в поиске. Правда, к сожалению, никто "не ведется".

блин.. да поймите наконец. ваш тесты по jpeg-у дадут не больше пользы чем субьектвное разглядыване прмеров в jpeg.. патамучта это jpeg (или tiff неважно)
а ваш якобы уровень шума будет напрмер от текстуры обьекта тоже зависить (потомучто гдето шарпнет внутрикамерное шарпомыло а гдето мыльнет шум вместе с текстурой) поэтому пр выборе jpeg обмылка смотретьнадо ФСЁ вы неотделаетесь формальным измирением..

если в jpeg/tiff чисто чёрный цвет то нафотике сразу пишем большими буковами КГ/АМ

в RAW и так всё понятно.. есть 2 числа шум матрицы (в тенях) и её ёмкость (качество всветах).. ну насамм деле ещё скорость накопленя утечки при длинной выдержке кому интересно.. но это уже и от конкретного екземпляра матрицы зависит и от того как она там грееца ффотике.. ёмкость весьма прямо пропорцональна площади, а шум щщитывания современных матриц порядка одинаков (кстати от темпиратуры он ещё плывёт), ну у кэнона вроде получше новая матрца которая в 20D. вот эти 2-3 параметра и следовало бы песать в спецыфикацыях грёбаным цыфромылоклепателям фсёбы фстало насвои места..
берёте datasheet на соотв. матрицу и смотрите параметры..

[quot]по упрощенной методики[/quot]

По-русски гораздо правильнее будет так: "по упрощённой методикЕ".

Цитата:

от: vvkot
Учебников я в свое время начитался (имею математическое образование), поэтому представлени о среднеквадратическом отклонении имею.

ну тогда вам не составит труда привести строгое математическое обоснование вашей методики измерений, и тогда другие посетители с математическим образованием смогут включиться в дискуссию по ее обсуждению. Тема то может получится интересной. Я правда подозреваю, что некоторая доля физиков тут тоже весьма не помешала бы.