БЛОГ ДМИТРИЯ ЕВТИФЕЕВА
Здравствуйте, друзья!
Тема «шумов» на цифровых снимках это тема которая нас всех волнует т.к. ошибки экспозиции или желание фотографа показать детали в тёмных областях снимка ведут нас к осветлению изначально темного снимка и из ТЬМЫ появляются ШУМЫ :)
Сегодняшняя моя статья будет краткой (но наглядной и важной!) т.к. и без того немало сил вложено в измерения, приспособление скрипта графиков и чтение огромного количества литературы по теме. Всё не охватить, у меня еще заготовлено для вас много интересной информации, в том числе в переведённом с английского языка виде.
Все ваши конструктивные замечания по теме я учту и отвечу т.к. на первый взгляд всё просто, но чем глубже вникаешь, тем сложнее.
Итак, ШУМЫ
Существует много типов «шумов», которые влияют на цифровое фотографическое изображение.
Краткое описание шумов приведённое мной здесь основано на статье Emil Martinec, профессора по физике в университете Энрико Ферми и колледже университета Чикаго и других сходных статьях.
Фотонный шум
Свет состоит из отдельных сгустков энергии названных фотонами. Фотоны попадают на светочувствительный элемент в разное время и разные точки. Из-за этой неравномерности мы получаем разные результаты в разных сенселях и можем говорить о том что световой поток шумит (у нас нет единого уровня света, он всё время неоднородный по площади сенсора). Чем больше фотонов попадает на сенсель, тем лучше отношение сигнал / шум (SNR) благодаря которому мы можем высветлять картинку без видимого шума.
Важно: фотонный шум возникает при наличии света. Если я плотно закрою объектив крышкой, то фотонного шума на чёрном кадре не будет.
Шум чтения.
Зависит от электронной начинки камеры. Это процесс измерения количества попавшего на сенсель света и перевод этого значения в цифровой вид. Касается как качества сенселей, так и качества АЦП и потерь на электрической обвязке. Т.е. это тот «шум», который генерирует сама фотокамера.
Структурный шум (бандинг)
Структурный шум это разновидность шума чтения, но мы выделим его в отдельную категорию т.к. он визуально может быть отличим от других видов шума.
Человеческий глаз легко различает узоры и потому мы замечаем повторяющиеся рисунки на общей картине шумов.
Тепловой шум
Тепловой шум связан с нагревом сенсора. Чаще всего проявляется на длинной выдержке когда сенсор нагревается, выдержки примерно с минуту и более.
Особенно проявляются «горячие» пиксели, которые в обычных условиях не видны.
Кроме того тепловой шум генерирует нагрев усилителя сигнала, он виден как свечение.
Nikon D800, свечение в нижней части кадра
Неоднородность сенселей
Характеристики отдельных сенселей отличаются т.к. нет ничего идеального и таким образом измеренное ими количество фотонов тоже отличается.
Ошибки дискретизации
Округление значений до целочисленных, влияет слабо.
Резюме по шумам
Из всех типов «шумов» нас будет больше волновать шум чтения т.к. во-первых, он играет наиболее важную роль при слабом сигнале в тенях (это те самые тени, которые мы собрались «вытягивать»), а во-вторых, мы можем его уменьшить выбрав камеру, которая меньше «шумит».
Для того чтобы выделить шум чтения мы закрываем объектив или байонет камеры крышкой (лучше байонет), ставим выдержку 1/125 sec, диафраму f8 и наименьшее ISO.
Если мы делаем наши измерения с объективом, то поставьте его на метку бесконечности и используйте телеобъектив чтобы не было виньетирования. Для той же цели мы прикрываем диафрагму.
Снимаем в RAW на всех значениях ISO с интервалами 1/3 EV, т.е. 100, 125, 160, 200 и т.д.
На разных фотокамерах наименьшее ISO отличается. Минимальное я пока нашёл ISO 31 у Nikon D850.
Графики шума чтения
Данные по камерам будут мной время от времени пополняться и они будут еще быстрее пополняться, если вы увидите что вашей камеры в списке нет, сделаете серию снимков по моему описанию (закрытый крышкой байонет, выдержка 1/125s, диафрагма f8 и изменение ИСО от минимума до максимума с шагом 1/3 EV. Все снимки в RAW), выложите куда-то в облако (Яндекс.Диск или подобное) и пришлёте мне ссылку на di@vargone.ru. И я буду признателен и всё фотографическое сообшество!
Данные по тем камерам, которые уже есть среди протестированных я тоже принимаю, по ним я построю график колебания шумности в пределах одной модели фотокамеры. Пока все дублирующиеся камеры которые я проверял, что старые, что новые, «шумят» очень близко в пределах одной модели, но кто знает? Может именно ваша камера отклоняется от заводских норм...
Итоги и выводы
Сегодняшняя заметка касается в основном желающих вытаскивать детали из теней и я знаю, что таких фотографов много. Хороший способ иметь мало шумов на снимке это не вытаскивать тени, оставляя их там где они есть. Вот темно под скамейкой и правильно. Свет туда не попадает, ничего интересного там нет — оставьте, пусть будет темно. А если «вытаскивать», то вот они шумы, в полном объеме.
С шумом чтения можно бороться если делать «темновой» кадр и вычитать его из следующего. Так поступают некоторые современные фотокамеры. Я лично пока заметил это только за FUJI GFX 50s, которая и лидирует по низким шумам чтения среди всех остальных фотокамер.
Вот как раз про методы борьбы с шумами это следующая отдельная тема. Пару приёмов я вам расскажу.
Удачных снимков! :)
(79 votes, average: 4,87 out of 5)
Загрузка...
Здесь мой инстаграм
Я на Facebook
Я Вконтакте
Подписаться на RSS ленту
Сравнение сенсоров: Canon vs Sony
Как читать MTF-графики. Брошюра от Carl Zeiss
Обзор фотокамеры Fuji X-E1 — ч.3
Обзор новой линейки светофильтров FalconEyes HDslim. Поляризационный и ультрафиолетовый
Спасибо Вам за интересную статью!
Если я правильно понимаю, ну очень «обобщённо», уменьшение шумов на высоких «ISO» (3200 и выше) в современных фотоаппаратах достигается уменьшением шума чтения за счет более совершенных АЦП, процессоров.
Александр, здравствуйте!
Тут важно что «шум чтения» играет роль только в тенях. Потому я его и взял как «шум фотокамеры» ибо шумы из-за нагрева сенсора и фотонный свет мало влияют на то что мы обычно хотим получить на снимке — вытащить недоэкспонированные области.
ISO это, на сегодняшний день, виртуальное понятие. Потому что в цифровой технике нет изменения чувствительности сенсора — она одна какая есть.
Зато есть другие факторы и режимы работы сенсора.
В статье написаны три фактора: качество сенселей, качество АЦП и потери на электрической обвязке.
Сюда можно добавить еще программный «шумодав» и бывает еще аппаратный «шумодав».
АЦП хороший поставить не сложно. Сложно улучшить два других фактора. Особенно сделать сенсели более чувствительными тк используется один и тот же физический материал для сенсора, а сенсели всё меньше и соответственно на каждый сенсель приходится очень мало фотонов, особенно в темных условиях когда их и без того мало.
Это и отражается на результатах — камеры у которых сенсель очень маленький сильно «шумят». Но прогресс есть. В сравнении с камерами старых технологий у которых сенсель примерно такой же они «шумят» меньше.
Спасибо, Дмитрий, интересная информация!
Правда, я так с лету в общем понял, но люблю докопаться до полного понимания, так что придется тему в будущем изучать подробно и детально.
Читал на www.ixbt.com/digimage/res-noises.shtml их методику, но у вас тут другой подход.
Кстати, интересно узнать, а вот насколько тот же ACR приукрашивает картинку по части шумов. Вы, случайно, таких измерение не делали?
Графики интересные и полезные. Удобно сравнить по шумам. Единственно, что это цифры. Мы с вами недавно говорили о критериях оценки объектива и сошлись на том, что цифровая и визуальная оценка дает наиболее полную картину. Вот мне не хватает именно визуальной картинки шума. Правда, я не знаю как это все лучше представить, но, наверное, можно найти какой-то способ. Есть же на некоторых сайтах картинки снятые на разных ISO. Хотя тут надо, наверное, использовать какой-то более общий сюжет, чем часто используемая ночная съемка. Лучше что-то при малой освещенности, но более привычное, что все снимают. Чтобы сразу понятно было, устроит это человека или нет. Да, конечно, для разных жанров фотосъемки это разные картинки получатся, пейзажника ведь портрет не интересует, но можно, я думаю, подобрать нечто общее, среднее. Главное, чтобы было сразу наглядно и ясно. Так бы сразу убили 2 зайцев, и качественно все видно и количественно. Но это я так, мысли вслух. Понятно, что у вас не сайт посвященный шумам в разных камерах) Это я больше сам размышляю, чего бы мне видеть хотелось.
Тем более у каждого свои представления о допустимом шуме. Поскольку и люди разные и фото разные, для разных целей. Меня вот уже минимальный шум раздражает на фото)
Кстати, Дмитрий, а вы еще ведете работу по анализу фото на шум? Если ведете, то я снимки сделаю и ссылку скину вам на почту на яндекс диск. Методика у вас описана, байонет закрыть крышкой и снимать как вы пишите, с шагом 1/3 EV в RAW.
Да, другой. Они решили считать один реальный кадр идеальным и сравнивать с ним, потому возникла проблема совмещения кадров и проч. В моём случае такой проблемы нет т.к. фоном является черный цвет, ноль. Все что отлично от него — «додумано» камерой.
Если же крышку объектива открыть, то кроме этой очевидной проблемы, с которой столкнулись ребята из iXBT есть еще вопрос фотонного шума, который они не учитывают. Свет разного спектра и разной интенсивности даст разный фотонный шум.
Не знаю зачем они решили «изобретать велосипед». Методики давно известны и описаны теми кто занимается измерением «шумов».
Мне тоже не хватает и я планировал вставить в эту базу фрагменты кадров для которых даны цифры, но увы, времени нет.
Проблема в интенсивности освещения и спектре света. «Шумность» картинки зависит не столько от выставленного ISO сколько от освещенности снимаемой сцены. А вот этот момент практически никакие сайты фотографические не учитывают. Тот же dpreview не то что слабо освещает мишень, но еще и неравномерно. При том что он, наверное, лучший в плане «посмотреть как картинка будет смотреться на нужном ISO».
Мне был интересен этот вопрос и я основательно в нём покопался и даже сделал графики. Но поняв что ключевым моментом будет являться освещенность сцены, а параметр ISO официально упразднён я несколько остыл к вопросу. Сейчас я провожу эти тесты больше не для выяснения какая камера сильнее шумит, а для выяснения какая камера включает внутрикамерный «шумодав» в какой момент.
Вот и это тоже. «Шумность» камеры не может быть единственным критерием. Тем более что времена когда сенсоры были очень «шумные» ушли в прошлое. Теперь эти тесты актуальны больше для смартфонов.
Если мне присылают данные с какой-то новой фотокамеры, то я анализирую и добавляю её на график. Если вы пришлёте, то буду благодарен и добавлю (только посмотрите список камер в статье чтобы не делать лишнюю работу, камеры не должно быть в списке). А такой активной работы как раньше не веду.
Следующим моим проектом было измерение длины импульса вспышки, если вам вдруг будет интересно. Там тоже много нюансов.
Закончив с длиной импульса (постигнув вопрос на достаточную глубину) я задался вопросом спектра света. И вот тут пока остановился тк спектрометр купить не удалось, жду предпосылок для продолжения работы.
Вот и мне показалось, что ребята с ixbt «нашли себе проблему» с этим совмещением. Да, еще и фотонный шум. Если учесть ваши слова, что фотонный шум меняется при разном спектре и разной интенсивности, то все становится слишком непредсказуемо. Они, правда, упоминали, что их графики в целом похожи на графики измерения шумов у других авторов, но я не проверял, читал чисто ознакомительно.
Вы и так много сделали. Если все тут у вас дорабатывать и отслеживать все перемены, то и жизни не хватит.
Интенсивность и спектр. Спасибо, что обратили внимание, надо запомнить. Значит ISO и освещенность, два фактора.
Насчет «параметр ISO официально упразднен», вы не подскажете, в каком смысле? Вроде как на камерах он присутствует? И по поводу «включения внутреннего шумодава», вы имеете в виду официальный порог когда начинает срабатывать внутренний включенный шумодав или может нелегальное т.с. включение шумодава?
Да, я проверю ваш список камер, конечно. К чему высылать то, что уже есть.
«Измерение длины импульса вспышки», вы знаете, я как-то до этого не дошел, но ознакомлюсь. Наверное, тема важная, ведь не только из чисто познавательного интереса вы за нее взялись.
Спектр света, да, тема интересная. А вот, что же вы тут хотели понять в плане влияния на снимок? Или вас спектр интересовал в каком-то ином смысле?
Вот у меня лично сомнения, учитывая что методика кардинально отличается и я в ней вижу непредсказуемые факторы. Написали бы хотя бы каких именно авторов.
Освещенность и спектр света. Лампы могут быть светодиодные, флюорисцентные, накаливания и т.п. Нужно смотреть CRI и чтобы баланс белого был 5500К.
А ISO само собой, мы же его влияние и смотрим.
Присутствует, но в официальном документе его отменили для файлов RAW.
По сути мы пришли к тому что есть одна базовая чувствительность, а все остальные будут достигаться банальным осветлением картинки. Так что измерять тут нечего станет скоро. По-крайней мере на всех ISO смысла иметь не будет, достаточно одного — базового.
Вот именно оно. Когда вы ставите более высокое ISO, а камера берет картинку с предыдущего, осветляет и применяет шумодав выдавая за повышение чувствительности.
Это важно для студийной фотографии ибо многие фотографы, да и я тоже не могли понять почему при источниках освещения 5500К, даже дорогих, плавает баланс белого. Спектрометр даёт возможность в этом разобраться. Но эту тему я только начал и меня тогда просили не выкладывать результаты для конкретного осветительного прибора.
Наверное, поэтому на ixbt и не привели никаких ссылок на другие исследования, типа «из достоверных источников стало известно...»)
Спектр это хорошо, но только как его мерять без спектрометра? Понятно, что если «при источниках освещения 5500К... плавает баланс белого», то плавает он не спроста. И кто тут «мясо съел» довольно очевидно) Поэтому вас и попросили, не оглашать)
С этим ISO вообще какие-то странные игры. И что теперь будет? Снимаю в RAW, а в данных ISO все время 100, минимальное, или вообще прочерк? А камера творит что хочет?
Первейшая ошибка — аксиома. И чтобы не проверить было. А то вдруг кто проверит, найдет ошибку и все тесты «коту под хвост».
Никак, конечно. Потому я так сожалею, что у меня его нет.
Само собой... Тут только скажи что модификаторы света (софтбоксы, рефлекторы и проч.) меняют спектр и начнётся вой не слишком образованных пользователей. Они же не станут разбираться почему так, а не иначе. Почему без модификатора спектр уходит в одну сторону, а с модификатором исправляется и становится белым. Им хочется думать что всё идеально, что ткани прозрачные и металлы отражают идеально то что на них падает.
Будет снято на базовом ISO, самом малошумном, а для RAW конвертера метка на сколько ступеней осветлить программно. Камеры уже и сейчас творят много чего «за спиной» пользователя. И RAW конвертеры тоже
А в чем проблема со спектрометром, если не секрет? Их вроде как много разных делается, но вам, наверное, нужен не самый простой? Тут только цена, наверное, может остановить.
Ну и пусть себе воют. Интересная картина выходит, «вой фотографов на спектрометр») Хоть маслом пиши на холсте)
Я думал, что идеалистов уже не осталось, ан нет. Хотя, по мне, это все кулики, хвалящие свое болото. Пусть кривое и косое, но мое, тем более клиентов парят, что все у них тип-топ. Да, поднимать планку у нас желающих мало, крайне мало. Лучше вниз, легче, проще, доходней. Чем тупей заказчик, тем лучше, можно что хошь впарить и не заморачиваться. Как там раньше на офенском или мазовецом языке продавцы говорили: «Обтыривай, маз! Дулец-то яманный!» Ничто под Луной не меняется, только больше, к сожалению, становится, особенно в наше время...
Странное решение с ISO. Может формально создатели нового стандарта по своему правы, если уж бренды брешут как сивые мерины жонглируя дутыми цифрами, то лучше убрать это «непонятно как измеряемое ISO», не знаю. Как по мне, так лучше бы ввели наоборот, жесткий стандарт. Хотя кому это нужно? Пользователю? А кому нужен пользователь? Нужен платежеспособный потребитель, в одном смысле, покупатель. Мне все «Мертвый сезон» вспоминается.
«- А человек, прошедший психо-химическую обработку будет радоваться непрерывно.
— Радоваться, что ему тепло. Что помидор красный.
— Что солнце светит.
— Что ровно в 2 часа, что бы не случилось, он получит свой питательный бобовый суп.
— А ночью — женщину. При условии, если он будет прилежно трудиться.
— Ну, разве это не милосердно?»
Я бы еще добавил:
-Радоваться, что он купит новую камеру. Ведь производитель сказал, что она самая хорошая.
-Радоваться, что он купит новый смартфон. Ведь производитель сказал, что он самый лучший.
etc
Про фокусы камер и конвертеров уже даже добавлять не хочется.
Ладно, не веселый у меня комментарий получился. Ну, как есть. Не все ж сиять как медный пятак)
Более-менее хороший спектрометр стоит 100 тыс.руб. Или стоил... Сейчас и подорожать мог и вообще может отсутствовать в продаже в РФ.
Пока плюс от аналогового усиления сигнала был они честно использовали понятие ISO.
А сейчас усиление сигнала в камере потихоньку теряет смысл, удобнее и качественнее осветлять на компьютере где стоит мощный процессор. Файлы, правда, тяжелее открываются из-за таких перерасчётов, но это для общества потребления хорошо — фотографы купят новые компьютеры.
Когда вы спрашиваете «Почему?» мне тоже немного грустно что столько планов не реализовалось. Но значит в этом месте и в это время они не востребованы. Как там в песне:
"Но точно знаю, что вернусь...
Пусть даже через сто веков...
В страну не дураков, а гениев... "
© Тальков
Я не хотел вас огорчать, Дмитрий, извините. У вас и так сейчас, наверное, дел невпроворот.
Да, я понимаю, это грустно, когда мечты и планы не сбываются. Но тут есть 2 высказывания, тоже в тему.
«Делай что должен и будь что будет!» Если вы сделали все, что могли, то вам не в чем себя упрекнуть по самому большому счету. Выше головы не прыгнешь, во всех смыслах. Вселенная слишком велика чтобы отвечать всем чаяниям человека. А когда человек сделал все, что мог, он выполнил свою задачу, и может пребывать в мире сам с собой, а если это так, то «Дьявол и Бог не в счет».
«Когда караван поворачивает назад, впереди оказывается хромой верблюд») Главное, чтобы партия (в игре) продолжалась.
Да и потом, человек и все что с ним происходит это не застывший факт и не приговор, кто знает, что будет завтра, если вы прилагали большие усилия сегодня? Иногда и тактическое поражение не отменяет стратегической победы.
Спасибо на добром слове!
Да, я знал, что canon 80d-шумный, но чтобы на столько... а нет ли данных при проявке в RD ?
Вам отсылал ещё с canon 2000d, там тоже 24 мегапикселя матрица, но видимо следующего поколения, тоже очень интересно сравнение.
Спасибо.
Да, надо загрузить тестовые снимки с EOS M6, обязательно напишу!
А можно в двух словах про вычитание темного кадра?
Как я понимаю это дубликат с поправкой экспозиции в минус, а как вычитание сделать одного из другого?
Эх, жаль, что еще Canon 5D Mark II. Но сравнение Первого пятака и третьего удивили. :)
Александр, скоро еще несколько камер добавится и качественно переработаю материал (добавлю примеры фрагментов снимка с шумами)
Похоже, данные в вашем графике по шумам не совсем корректны. Из них следует, что шумы у Никон Д750 будто бы больше, чем у Никон Д7100. В отношении Пентакс К-1 можно вообще заподозрить зловещий заговор ))
cloud.mail.ru/public/8cNH/GJJUwHmRB
Дмитрий, спасибо за большой и полезный труд!
Хотелось бы также увидеть краткое описание методики, с формулами, использованными для обработки данных, если это возможно.
Павел, конечно, описание методики в ближайшее время!
Не хотел писать сразу чтобы другие сайты банально не скопировали.
Я об этом не подумал. Может, тогда не надо все нюансы? Просто в общих словах — берем кадр, делаем то-то... Потому что ничего не написать о методике тоже плохо, как и написать всё
Согласен!
Если вкратце. Была такая книга «Desktop scanners : image quality evaluation / Robert Gann.».
Там впервые (насколько знаю) было предложено оценивать шум по формуле: SNR = Mean / Std.Dev
Предложение очень здравое и им пользуются все до сих пор.
SNR — соотношение сигнал / шум (signal to noise ratio)
Mean — уровень сигнала (average intensity value)
Std Dev (Standard deviation) — стандартное отклонение (how widely intensity values vary)
При закрытой крышке уровень сигнала ноль. А вот отклонение как раз показывает насколько камера шумит сама по себе, без фотонного шума. Т.е. если бы мы оценивали не абсолютно чёрный кадр с шумом, а реальную картинку, то использовали бы еще и Mean, чтобы можно было сопоставлять результаты измерений снимков сделанных в разных условиях освещения.
Для оценки результатов можно использовать фотошоп, он даёт нам значения Mean и St.Dev, но тут кроется подвох... Если мы будем смотреть в фотошопе, то проявлять будет RAW конвертером, а они давно уже не нейтральны, для разных камер повышают яркость, используют шумодав и правят дисторсию _не информируя_ об этом пользователя и, как правило, эти функции неотключаемы. Т.е. ползунок шумоподавления есть, а реакции на него нет т.к. он всегда включен.
Если RAW конвертер вмешался в обработку снимка, то результаты не могут считаться корректными. Конвертеры у многих разные (Adobe Camera Raw, Capture One, RawTherapee, Irridiant, RPP и т.д.).
Потому я использую программу для исследования RAW файлов — RAW Digger. Он делает только демозаику с помощью бесплатной библиотеки Libraw и всё. Таким образом берутся RAW снимки на разных ISO, загружаются в RAW Digger и проводится анализ по центру кадра где нет виньетирования.
Проверка
Понятно, что методику нельзя использовать без перепроверки результатов. Потому кроме как тестировать на темновых кадрах я проверял проходящие через меня камеры и на обычных кадрах. Делал снимок со штатива с одинаковыми параметрами, находил однородную плашку (например, ровная серая стена здания) и измерял шум по Mean / St.Dev. Результаты пока подтверждались.
Также я сравниваю результаты с сайтом Photons to Photons, который измеряет ДД (ДД ограничен шумамми в тенях) по той же примерно (!) методике. Результаты близкие, графики имеют изгибы в тех же местах и менее «шумящая» камера по моим тестам у них также имеет преимущество по ДД.
Итоги и выводы
Конечно, нужно собрать массу материала, его внимательно проанализировать и к каждому графику приложить семплы сравнения с другими камерами. Это в будущем. Но сейчас уже можно что-то говорить о «шумах» и, главное, об использовании «нечестных» способов улучшить картинку (шумодавах, инвариантном ИСО и т.д.)
Вычитание темнового кадра есть почти на всех фотоаппаратах, но по умолчанию часто выключено. Эту функцию включал даже на древних Nikon D70 и Canon 10D.
Спасибо за статью. Жду продолжения.
У меня камера Fujifilm X-E1. Есть ли с нее равки для исследования шумов или выслать? Или эта камера не представляет интереса?
P.S. Небольшая поправочка по физике света. В современной науке засилие бюрократии, потому до сих пор многими физиками считается, что свет это летящие фотоны, но это не так. Свет это волны, то есть колебания среды. В то, что является средой, углубляться не буду, скажу лишь, что это связано с гравитационными полями. Давайте вспомним извесный всем фотографам закон обратного квадрата, по которому интенсивность света от источника в точке пространства обратно пропорциональна квадрату расстояния до него. А теперь вспомним формулу силы тяготения между телами и забудем навсегда про фотоны.
Здравствуйте!
Все камеры которых нет в списке представляют интерес! Это база знаний и потому я там и Nikon D700 вставил и другие не самые новые камеры. Чтобы можно было увидеть технологический прогресс, который не всегда присутствует в новых моделях в аспекте шума.
Я, конечно, не физик. И учил физику в электротехническом университете больше двадцати лет назад. Но я еще не слышал что отменили корпускулярно-волновую теорию и теперь осталась только волновая...?!
Давайте не будем писать фигню! В квантовой электродинамике свет и «корпускулы» рассматриваются, как квантовые поля разных типов, имеющие, впрочем, существенные различия. Это и является современным представлением.