В D70 Сжатый NEF? Видны артифакты сжатия.

Цитата:

от:OlegV
[quot] пока, что из всех Ваших аргументов не видно, почему алгоритм становится lossy[/quot]
Не похоже, чтобы Вы когда нибудь имели дело с алгоритмами.
Преобразование F(x) с обратным ему X(f) является lossy, если найдется такое x, что X(F(x)) != x. В случае с NEF такие x есть. О чем спорим дальше ?

Подробнее

Да, что Вы говорите? :)
Надо читать определение полностью. Полезное занятие.
ЭТО ВЕРНО ЕСЛИ x ПРИНАДЛЕЖИТ ОБЛАСТИ ОПРЕДЕЛЕНИЯ ФУНКЦИИ F(x).
Если, скажем, сенсор способен выдвать значения только 2000 и 2002, то 2001 будет вне области определения, как бы Вам этого не хотелось. Или если погрешность сенсора больше сенсора больше 0.05, или если нечетные отсчеты передаются в соседние ячейки и потом это учитывается, или .. таких или может быть тьма...
Я ж говорю, надов видеть, что происходит в камере, а не строить догадки...

А она что у нас не включает все целые числа от 0 до 4095?
Тогда кто это интерестно определил такую область определения? А если включить в нее единственную точку, тогда можно вообще без флэшки обходиться :P

Цитата:

от:OlegV
А она что у нас не включает все целые числа от 0 до 4095?
Тогда кто это интерестно определил такую область определения? А если включить в нее единственную точку, тогда можно вообще без флэшки обходиться :P

Подробнее

Если у вас погрешность сенсора всего 0.05% вы сможете гарантировать разницу между 4092, 4093 и 4094?
И одна камера выдала вам 4092, 4093, 4094 для соседних точек, а другая 4093, 4093, 4093. Какая камера более "правая"?
Заметьте, Олег, я с самого начала ВСЕГДА подчеркивал, что надо знать, что происходить в камере, прежде, чем сделать вывод. На математическом языке это означет знать ОБЛАСТЬ ОПРЕДЕЛЕНИЯ функции.
Вы посмотрите на алгоритм, подайте ему на вход значение 4096? Тогда он и по Вашему определению станет lossless.
Так значит дело то не в алгоритме...

Я бы предложил отделить для начала мух от котлет. Есть матрица и ADC к ней, а есть компрессор. И ему все равно, есть на входе шум или нет. И lossless он или нет зависит только от алгоритма. Если он вносит дополнительное квантование, значит lossy. При этом средний квадрат шума на выходе декомпрессора будет равен сумме среднего квадрата шума матрицы и шума квантования. Так что говорить о том, что квантование пофиг, если оно не превышает шум, бессмыссленно, это просто не верно. Если кто то не согласен, я не настаиваю, каждый волен заблуждаться в чем угодно.

Цитата:

от: amateur_andy
На математическом языке это означет знать ОБЛАСТЬ ОПРЕДЕЛЕНИЯ функции.

Область определения функции - 0..4095 = выход 12-разрядного АЦП.

Спецификации Соневского сенсора, на основе которого сделана матрица в Д70 можно найти. Уверен там нет такой чудесной таблицы (0,1,2,3,4,5,...,215,217,... 4055, 4070, 4085, 4095).

Сигнал/шум этого АЦП и природа сигнала к вопросу lossy/lossless не имеют отношения. Кодек lossy, но потери округления меньше фотонного шума поэтому теряется только шум. Но, тем не менее, света у Д70 из-за этого округления могут выглядеть более пластмассово, хотя на реальную детализацию сжатие не влияет.

Цитата:

от:OlegV
Я бы предложил отделить для начала мух от котлет. Есть матрица и ADC к ней, а есть компрессор. И ему все равно, есть на входе шум или нет. И lossless он или нет зависит только от алгоритма. Если он вносит дополнительное квантование, значит lossy. При этом средний квадрат шума на выходе декомпрессора будет равен сумме среднего квадрата шума матрицы и шума квантования. Так что говорить о том, что квантование пофиг, если оно не превышает шум, бессмыссленно, это просто не верно. Если кто то не согласен, я не настаиваю, каждый волен заблуждаться в чем угодно.

Подробнее

Олег, Ваше утверждение 100% верно!
Я, может, объясняю коряво, но я говорю тоже самое, что и Вы. Есть алгоритм F(X), преобразующий X в Y, X - это то, что он получает на входе, а Y на выходе, и, как правило Вы заметили, без разницы, X это шум или сигнал. Есть обратный ему алгоритм G(Y). Если G(Y) = X, то это lossless, если не равно то lossy.
Осталось определить это самое Х - которое выдает выдает матрица. Для этого надо разобрать камеру и замерить :) Мне свой фотоаппарат жалко, может Вы свой дадите? :)
Если Вы постороите график этой самой кривой curve в алгоритме, то в начале он линейный(!) и очень долго остается линейным, т.е. то, что получаем, то и выдаем, и только для больших значений, когда вступает погрешность сенсора она становится не линейной. Где это делается в алгоритме или в сенсоре, лично я не знаю ...

Насчет фотонного шума вообще вопрос не ясен. В выходном сигнале он зависит от установленного ISO и квантового выхода матрицы. Конкретных цифр я нигде не видел.

Для такой матрицы можно ожидать фотонный шум порядка 0.5% при максимуме.

А квантование перестаёт бить в глаз когда RMS шума порядка 4 единиц..

Цитата:

от: amateur_andy
Для этого надо разобрать камеру и замерить :)

Для этого не надо разобрать камеру. Таблица эта находится в прошивке от D70 (http://www.dpreview.com/news/0501/05011101d70_fwb103.asp), со смещения 0x85308. Можете ее там исправить, будет NEF по-другому паковаться :)

Впрочем, это конечно может быть такой особый АЦП (секретной разработки для Д70) который меняет свою схему и параметры в зависимости от таблицы. Пути Никона неисповедимы, и на что только не пойдут чтобы вместо "virtually lossless" настоящий "lossless" сделать :)

Цитата:

от: delx
Цитата:

от:amateur_andy
Для этого надо разобрать камеру и замерить :)

Для этого не надо разобрать камеру. Таблица эта находится в прошивке от D70 (http://www.dpreview.com/news/0501/05011101d70_fwb103.asp), со смещения 0x85308. Можете ее там исправить, будет NEF по-другому паковаться :)

Впрочем, это конечно может быть такой особый АЦП (секретной разработки для Д70) который меняет свою схему и параметры в зависимости от таблицы. Пути Никона неисповедимы, и на что только не пойдут чтобы вместо "virtually lossless" настоящий "lossless" сделать :)

Подробнее

О чем спор то?
Пока, что мне ни кто не ответил на вопрос,
если у сенсора точность измерения сигнала 0.05% (а с учетом шума вносимого соседними ячейками и того меньше), то при сигналах в соседних ячейках 4092, 4093, 4094 какой результат будет более "точным"?
1. 4092, 4093, 4094
2. 4092, 4092, 4092
3. 4093, 4093, 4093
4. 4094, 4094, 4094
Не хотите равные значения, пожалуйста:
5. 4093 + [(-1+2*rand())], 4093 + [(-1+2*rand())], 4093 + [(-1+2*rand())]
6.-10. Пункт 5 применяется несколько раз :)
Так какой же?
Если Вы знаете, что можно измерить скорость автомобиля с точностью до 0.1 км/ч, то если на спидометре будет 127.454596859685 км/ч, Вы, что подумаете про конструкторов этой фирмы?
Если расстояние между звездами можно измерить с точностью до сантиметра, то зачем хранить информацию о миллиметрах?
Чем фотоаппарат хуже?
Вы же сами пишете, что эта кривая прописана в "железе", это и означает, что Никон утверждает, что не может мерять сигнал с большей точностью. Как только смогут мерять точнее поменяют прошивку. При этом заметьте, что алгоритм останется прежним.

Цитата:

от:amateur_andy
то при сигналах в соседних ячейках 4092, 4093, 4094 какой результат будет более "точным"?

..

Вы же сами пишете, что эта кривая прописана в "железе", это и означает, что Никон утверждает, что не может мерять сигнал с большей точностью.

Подробнее

Вы невнимательно читаете. Эта кривая прописана в софте. Если Вы ее исправите в прошивке (забьете нулями, например), то скорее всего будут просто черные NEF-ы :)

Какой сигнал признать более точным - это не камере решать. Там 12 разрядный АЦП как и в D100, хотелось бы полные данные на бочку получить, а не их обрезки. Если я сделаю 50 экспозиций одного кадра в uncompressed NEF и сложу вместе, то у меня сигнал/шум вырастет сильнее чем если я это проделаю с compressed NEF. И все из-за того что канал АЦП-компьютер теряет данные и из 12 бит доходит только 9.5.

Цитата:

от:delx
Цитата:

от:amateur_andy
то при сигналах в соседних ячейках 4092, 4093, 4094 какой результат будет более "точным"?

..

Вы же сами пишете, что эта кривая прописана в "железе", это и означает, что Никон утверждает, что не может мерять сигнал с большей точностью.

Подробнее

Вы невнимательно читаете. Эта кривая прописана в софте. Если Вы ее исправите в прошивке (забьете нулями, например), то скорее всего будут просто черные NEF-ы :)

Подробнее

А, если Вы туда забьете значения от 0 до 4095, то будут все 12-ть бит, и дальше, что?

Цитата:

от: delx

Какой сигнал признать более точным - это не камере решать.

Как скажите, если Вам нужна скорость 127.454596859685 км/ч на спидометре, то флаг Вам в руки.

Цитата:

от: delx

Там 12 разрядный АЦП как и в D100, хотелось бы полные данные на бочку получить, а не их обрезки.

Ну, набросайте датчиком случайных чисел эти 2.5 бита, разницу в результате Вы не заметите.
А, лучше датчиком с "нормальным" законом, так как шум распределен по Гаусу.
И еще не понятно, в каком случае результат будет ближе к "истинному", т.к. значения все равно выходят за точность измерения.

Цитата:

от: amateur_andy
И еще не понятно, в каком случае результат будет ближе к "истинному", т.к. значения все равно выходят за точность измерения.

Дорогой 12-разрядный АЦП с точностью в +-3 младших разряда в светах? Это очень странно.

Вообще спор-то был о чем?

Теряет ли "сжималка" compressed NEF-а данные? Да, теряет. На вход поступает 4096 уровней, на выходе максимум 683. 3413 промежуточных уровней безвозвратно теряется.

Почему использован именно примитивный lossy алгоритм? Очевидно потому что про сжатие вспомнили в последний момент, а процессор в D100 был дохлый, более сложный алгоритм реализовать было невозможно, а размер NEF файла надо было сделать не хуже чем у D60. В D70/D2H сжатие было оптимизировано аппаратно, могли вставить более совершенный алгоритм вроде Хаффмана/lossless JPEG как у Кэнон/Кодак, но новый формат файла создавать по каким-то причинам не захотели.

Влияет ли это сжатие на изображение? Трудно сказать. Можно взять D100 или D2H где есть обычный и cжатый NEF, и попробовать.

Мне кажется, мы начинаем приходить к согласию :)

Цитата:

от: delx

Дорогой 12-разрядный АЦП с точностью в +-3 младших разряда в светах? Это очень странно.

+-1 рубль, если у Вас миллион не имеет значения, а если только 10 рублей, то имеет.
+-3 - это 0.05% в младших разрядах.

Цитата:

от: delx

Вообще спор-то был о чем?

Так и я о том же :)

Цитата:

от: delx

Теряет ли "сжималка" compressed NEF-а данные? Да, теряет.

Как я понимаю, остался единственный вопрос, где происходят потери.

На мой взгляд в камере две функции, одна "обрезалка" сигнала в соответствии с точностью, которую легко и быстро реализовать аппаратно, и вторая "сжималка", которой на вход подается уже "обрезанный" сигнал, т.е. функция с ограниченной областью определения. Согласитесь, что не разумно каждый раз перестраивать в софте хэш таблицу.

Цитата:

от: delx

На вход поступает 4096 уровней, на выходе максимум 683. 3413 промежуточных уровней безвозвратно теряется.

Для Вас существенно, что на спидометре будет:
127.454596859685 км/ч
127.454352243948 км/ч
127.453276345961 км/ч
Если точность измерения 0.1 км/ч?

Цитата:

от:delx

Почему использован именно примитивный lossy алгоритм? Очевидно потому что про сжатие вспомнили в последний момент, а процессор в D100 был дохлый, более сложный алгоритм реализовать было невозможно, а размер NEF файла надо было сделать не хуже чем у D60. В D70/D2H сжатие было оптимизировано аппаратно, могли вставить более совершенный алгоритм вроде Хаффмана/lossless JPEG как у Кэнон/Кодак, но новый формат файла создавать по каким-то причинам не захотели.

Подробнее

Возможно Вы и правы, я не знаю "кухню" компании Никон.
Просто, разница в коде "сжималка"/"разжималка" для любого алгоритма составит несколько строчек, время выполнения будет тоже близким. Спецификации на формат NEF нет, так, что весь "внутренний" софт начал бы пользоваться новой "читалкой", а "стороннии" производители софта быстро бы перестроились.

Цитата:

от: amateur_andy
Для Вас существенно, что на спидометре будет:
127.454596859685 км/ч
127.454352243948 км/ч
127.453276345961 км/ч
Если точность измерения 0.1 км/ч?

Точность измерения АЦП в идеале +/-0.5 младшего разряда. Возможно немного хуже. Но +/-3 младших разряда бывает редко.

Что до примера, то если спидометр выдает скорость с точностью до 9-го знака, а канал передачи округляет ее до единиц километров, то такой канал является каналом с потерями. И совершенно неважно что на стрелке спидометра 127.1 и 127.5 отличаться на глаз не будут - канал передачи "lossless" от этого не станет.

Цитата:

от: delx

Точность измерения АЦП в идеале ...

Что до примера, то если ...

Ваши утверждения содержат только одни условности.
Отвечу Вашими словами, если Ваши утверждения верны, то Вы правы.
Только пока, что уровень фотонного шума превосходит 0.01% от уровня сигнала, необходимые для получения в младших разрядях +-0.5.

ну чё за базар внатуре сымите чё нибудь равномерное возьмите етот неф в етих квантованых еденицах и посмотрите скока там шум.
вот и увидите наскока ето квантование бъёт вглаз.
ваще принцып логичный но нафик ето надо если в ихнем процесоре команда xlat идёт полсекунды а может просто там лохи сидят (где вы видели хоть 1 нормальную програму от Никона) ето другой разгавор.
Кстати чё тормозит так может там dithering?

Мудрый Человек, умный мысля говорит :)

Цитата:

от: L4m3r

ну чё за базар внатуре сымите чё нибудь равномерное возьмите етот неф в етих квантованых еденицах и посмотрите скока там шум.

На все 4 младших бита наберется, не только на 2.5-ой :)

Цитата:

от: L4m3r

ваще принцып логичный но нафик ето надо

Тоже поддерживаю, когда без всяких "выпендрежей" можно получить тот же коэффициент сжатия.

Цитата:

от: VETO
Даже и не знаю что думать
http://www.hafra.hotmail.ru/Test_artifac.jpg ~250kb

А я думаю так:

1.
а. Зачем использовалась Шоповская интерполяция, если в Никон Кэпчер есть отличный встроенный интерполятор?
б. Зачем использовалась Шоповская интерполяция, если есть Фрактал?

2. На представленном примере я вижу шум. О каких артефактах речь? Вы можете показать к.-либо обычный снимок, а не черную поверхность, снятую в экстремальных условиях.


P.S. То ALL: люди-и-и-и!!! Ау! Мне было интересно читать эту ветку, но давайте вернемся к изначальной теме ;) :) .

Предлагаю подвести следующий итог теоретическому анализу алгоритмов компрессии и сопутствующих вопросов: "Сжатие NEF файла не в состоянии вызвать появление заметных артефактов на "обычных"(название в противоположность спец. тестовым снимкам для выявления тонких нюансов работы матрицы и софта) фотографиях, особенно на таком небольшом формате, как А4"

Цитата:

от:L4m3r
ну чё за базар внатуре сымите чё нибудь равномерное возьмите етот неф в етих квантованых еденицах и посмотрите скока там шум.
вот и увидите наскока ето квантование бъёт вглаз.
ваще принцып логичный но нафик ето надо если в ихнем процесоре команда xlat идёт полсекунды а может просто там лохи сидят (где вы видели хоть 1 нормальную програму от Никона) ето другой разгавор.
Кстати чё тормозит так может там dithering?

Подробнее

Да Вы че такое говорите-то, такая крутая камера ;)