Методика тестирования видеокамер по программе Imatest

До сих пор наши оценки видеокамер носили в значительной мере субъективный характер. Судите сами - цветопередача оценивалась человеком, производящим тестирование в терминах "синее"-"краснее", "холоднее"-"теплее", сама оценка производилась по изображению на экране телевизора (который сам по себе потенциально является источником искажений цветов). Так что с некоторых пор встал вопрос о выработке и применении методики объективного (численного) тестирования цветопередачи. При этом было понятно, что субъективные оценки тоже играют важную роль при оценке той или иной модели видеокамеры и потому новая методика должна была не заменить, а, скорее, дополнить старую. Дискуссии о том, какой должна быть эта методика (применительно к оценке цветопередачи видеокамер) велись на протяжении полугода как на форуме "Видеозоны", так и на форуме "Видеомакса" . Надо сказать, что по моей оценке эти дискуссии были очень плодотворными и привели к выработке основных критериев, которым должна была удовлетворять искомая методика. Были предложены и несколько методов оценки цветопередачи, удовлетворяющие этим критериям. Но, в конце концов, вышла программа Imatest , которая не только удовлетворяла сформулированным требованиям, но и добавляла некоторые новые возможности для тестирования. В конце концов было принято решение остановиться на ней. Данный обзор посвящен тому, чтобы рассказать о возможностях программы Imatest , которые будут нами использоваться в наших будущих тестах, а также краткому объяснению результатов работы программы. При желании вы можете познакомиться с этой программой гораздо более подробно на её официальном сайте -

Инструментарий

Для работы с программой в нашем случае необходимы следующие инструменты: цветовая таблица GretagMacbeth ColorChecker (на фотографии - в середине) - для оценки цветопередачи; эталонный белый лист  GretagMacbeth WhiteBalance Card (на фотографии - слева) - для точной настройки баланса белого; сенситометрический клин  Kodak Step Tablet №2 - для оценки динамического диапазона камер (на фотографии он сверху, вместе с системой подсветки); и, наконец, специальная мишень для определения MTF (Modulation Transfer Function - Функция передачи модуляции, о ней мы подробно поговорим ниже) - на фотографии она находится справа. Все числа и графики, которые будут приведены в  данном обзоре (если противное не оговорено отдельно) относятся к моей камере - Sony DCR-TRV940E, она также изображена на вышеприведенной фотографии.

Итак, что-же мы измеряем с помощью всего этого инструментария и какие результаты получаем?

Цветопередача

Основной инструмент тут - GretagMacbeth ColorChecker Chart. Она представляет из себя цветовую карту, состоящую из 18 квадратов (полей) разного цвета, причем используются цвета, которые наиболее часто встречаются на реальных снимках (например - телесный цвет) и 6-ти нейтральных полей разной интенсивности - всего 24 поля. Качество изготовления этой таблицы очень высоко (цена, соответственно, тоже немалая) - каждое поле печатается индивидуально с использованием тщательно отобранных красителей. Эта таблица уже давно стала эталоном во всех измерениях связанных с цветопередачей.

Методика тут такова: делается съемка тестовой таблицы в интересующих нас условиях освещения, баланс белого выставляется вручную - нижний ряд таблицы (6 нейтральных полей) должен оставаться нейтральным. Установка баланса белого производится с использованием GretagMacbeth WhiteBalance Card - она имеет прецизионно тот-же цвет,  что и поле №19 цветовой таблицы (первое поле нижнего, нейтрального, ряда). После этого из получившегося видеоклипа в программе Adobe Premiere Pro извлекается один кадр таблицы в формате BMP и подается в модуль Colorcheck программы Imatest. На выходе мы имеем две основных картинки (рассмотрим их на примере камеры Sony DCR-TRV940E, съемка проводилась при естественном освещении):

Первая часть этого рисунка представляет собой изображение тестовой таблицы. Цвет внешнего квадрата представляет из себя цвет, полученный с камеры, цвет внутреннего квадрата - цвет данного поля в эталонной таблице, приведенный к цвету, полученному с исследуемой камеры по яркости и контрастности. То есть, если камера вообще не ошиблась в цветопередаче на данном поле, то внутренний квадрат просто не должен быть виден. Ну и, наконец, маленький прямоугольник внутри внутреннего квадрата представляет из себя цвет данного поля эталонной  таблицы безо всяких преобразований.

Средняя строчка цифр показывает нам численную оценку ошибки баланса белого в единицах цветового пространства HSV, а точнее по координате S - saturation (насыщенность) - цифры красного цвета, и в градусах Кельвина [Миредах (Mireds)] (цифры синего цвета). Если говорить о допустимой величине ошибки баланса белого, то (речь идет об ошибке по координате S в HSV) при ошибке S < 0.02 ошибка практически незаметна, в то время как при ошибке S > 0.10 она видна уже очень хорошо, особенно на нейтральных полях большей яркости.   Нижняя строка представляет собой изображение 6-ти нейтральных полей таблицы, на которых ошибка цветового баланса специально увеличена так, чтобы стать заметной (внешний квадрат), особенно в сравнении с эталонным цветом (внутренние квадраты - как и раньше с коррекцией на яркость и контрастность и без всякой коррекцией). В данном конкретном случае видно, что ошибка баланса белого для камеры TRV940 незначительна для первого поля, но становится заметной для более темных полей, причем растет с понижением яркости поля.

Данная таблица хороша для визуальной оценки правильности цветопередачи, ну а для численной оценки служит вторая диаграмма:

На этой диаграмме в графической форме представлены отклонения зарегистрированных камерой цветов от идеала в цветовом пространстве CIE LAB. В этом пространстве цвет представляется тремя координатами - L, a, b. При этом координата L характеризует яркостную составляющую, в то время как собственно цвет характеризуется двумя координатами - a, b. Цифры соответствуют номерам полей, квадратики соответствуют эталонным, а кружки измеренным камерой a, b координатам. Представленные на графике отклонения (Delta-E) вычисляются по формуле:

,

где индексы i, m, e относятся к номеру поля таблицы, измеренным и эталонным координатам соответственно. В правом верхнем углу приведены очень важные числа. Первое из них - средняя цветовая насыщенность картинки с камеры в процентах от средней насыщенности эталонной картинки:

Второе и третье число в наибольшей степени характеризуют общую цветопередачу камеры (среднюю по всем цветовым полям таблицы):

Отметим, что при расчете этих величин используются величины Delta-E откорректированные на цветовую насыщенность (измеренные величины координат a и b приводятся к эталонным по цветовой насыщенности):

Ну и, соответственно, чем эти два числа ( )меньше - тем лучше общая цветопередача. Хороша ли она для данного случая (TRV940)? Неизвестно... для того, чтобы ответить на этот вопрос надо набрать банк результатов по многим моделям видеокамер и тогда будет ясно, какие значения являются хорошими, а какие - не очень.

Динамический диапазон

Одной из важнейших величин, характеризующих видеокамеру, является динамический диапазон. Эта величина показывает способность камеры регистрировать детали как в светлых, так и в темных участках снимаемой сцены одновременно. То есть камера обладающая широким динамическим диапазоном сможет на одной сцене проработать детали как в светах, так и в тенях, в то время как камера с узким динамическим диапазоном покажет на той-же сцене света белыми, а тени - черными, без проработки деталей. Для оценки динамического диапазона программа Imatest использует программный модуль Q-13 и сенситометрический клин Kodak Step Tablet №2 (с диапазоном оптических плотностей от 0.05 до 3.05, всего 21 поле). Как это выглядит на деле вы можете увидеть на нижеприведенном рисунке:

Динамический диапазон измеряется в проходящем свете, для чего необходима лампа подсветки, установленная за сенситометрическим клином (между лампой и клином должен быть диффузор, чтобы обеспечить равномерное освещение клина). В нашем случае все устройство в сборе выглядит так:

Съемка производится в темной комнате, экспозиция на камере выставляется так, чтобы самая яркая часть клина (первое поле) имело уровень яркости в районе 255 (то есть было переэкспонировано, но при этом следующее поле клина должно быть хорошо различимым и иметь уровень яркости ниже 255). После этого программа Imatest Q-13 определяет число раздельно различимых на картинке полей сенситометрического клина, которое как раз и характеризует динамический диапазон камеры. Еще немного теории:

Пусть на данное поле оптического клина падает световой поток , а после прохождения оптического клина (и поглощения части света) световой поток становится равным . Тогда оптическая плотность данного поля определится по формуле

То есть если, например, данное поле уменьшает проходящий через него световой поток в 1000 раз, то оптическая плотность этого поля равна 3.0. Программа Imatest измеряет оптическую плотность в других единицах , называемых f-stops (они хорошо знакомы любителям фотографии). Один f-stop соответствует

Между двумя  единицами существует простое соотношение:

То есть оптическая плотность 3.0 в единицах f-stops будет равна 9.97.

Ну а теперь о том, какие значения выдает Imatest. Их можно представить в виде таблицы (в данном случае - для моей TRV940):

Full Dynamic Range = 8.47

Как вы можете видеть, программа Imatest измеряет не только полный динамический диапазон камеры, но и полезные динамические диапазоны, привязанные к определенному максимально допустимому уровню шума. Понятно, что чем больше оптическая плотность данного поля, тем больше уровень шумов на нем (при одном и том-же световом потоке). Полезный динамический диапазон для данного уровня шума определяется по полю, на котором измеренный уровень шума (который в данном случае также выражается в единицах f-stops) еще не превышает максимально заданного. При этом уровень шума, характеризуемый стандартным отклонением 1.0 - очень большой, зарегистрированный камерой световой поток флуктуирует из-за шума в среднем в 2 раза! Значения 0.5 и 0.25 характеризуют средний и низкий уровень шума, в то время как значение 0.1 говорит об очень низком уровне шума и, соответственно, высоком качестве изображения. Ну и, соответственно, чем больше значение числа, характеризующего динамический диапазон - тем лучше.

MTF, Sharpness и хроматическая аберрация 

Так что-же это такое - функция передачи модуляции (modulation transfer function - MTF)? Посмотрим на следующий пример.

На этом рисунке изображена мира, представляющая собой чередующиеся белые и черные полосы следующие с возрастающей частотой. Верхняя половина представляет собой эталонную миру, нижняя - снимок эталонной миры фотоаппаратом (видеокамерой). Хорошо видно, как на снимке падает контраст между черным и белым по мере увеличения частоты следования черных и белых полос. Если мы обозначим контраст на эталонном изображении за 1 (100%) и будем выражать частоту следования черных и белых линий (соседние черная и белая линии образуют один цикл) в циклах на миллиметр (или другую единицу длины, Imatest например использует количество циклов на один пиксель), то зависимость контраста от частоты и называется функцией передачи модуляции (MTF). Данная функция несет в себе гораздо больше информации, нежели простое разрешение в линиях (измеренное, скажем, по таблице EIA 1956), поскольку показывает отклик камеры для разных частот. К слову, разрешение камеры есть значение частоты соответствующее значению MTF=2-5% (0.02 - 0.05). Важной величиной является частота при значении MTF= 0.5 (50%) - MTF50. Именно по этому параметру часто сравнивают резкость (sharpness) изображения различных камер, чем она больше, тем изображение резче.

Еще одним способом сравнения резкости различных камер является построение профиля перехода от черного к белому. Возьмем тестовую миру такого вида:

заснимем её на фото-видеокамеру и построим профиль изменения от черного к белому (или наоборот) на границе раздела между цветами. Он не будет вертикальной линией (как на эталоне),   а будет представлять собой относительно плавную кривую (как мы видели при рассмотрении MTF все камеры в той или иной мере размывают изображение). Так вот, эта кривая также является хорошей характеристикой резкости изображения, полученного с фото-видеокамеры. Аналогом MTF50 для такой кривой (называемой краевым профилем - edge profile) является параметр называемый 10-90%  edge rise distance - расстояние в пикселях на котором происходит изменение уровня белого (черного) на 80% - от 10% до 90%. Очевидно, что чем оно меньше, тем резче изображение. К слову сказать - краевой профиль (а точнее - его первая производная) может быть переведен в MTF c помощью соответствующего преобразования Фурье, именно так Imatest, который изначально работает именно с краевым профилем, строит MTF. Но это уже тема для особого разговора, выходящего за рамки настоящего обсуждения.

Теперь несколько слов о повышении резкости (sharpening). Большинство камер используют тот или иной алгоритм повышения резкости изображения. Проблема в том, что если переусердствовать, то повышение резкости может привести к заметным артефактам изображения, читатели наших обзоров уже знакомы с подобными артефактами на примере камер Panasonic, которые традиционно используют очень "агрессивные" алгоритмы повышения резкости. Давайте посмотрим, как выглядит выход программы Imatest SFR (которая как раз и строит MTF и краевой профиль) для камеры Sony TRV940, отличающейся очень "мягкой" картинкой и камеры Panasonic GS400 c очень "резкой" картинкой:

Sony DCR-TRV940E

Panasonic NV-GS400GC

На каждой из этих картинок верхний график представляет собой краевой профиль, для которого приведено значение 10-90% rise distance в пикселях, а нижний график представляет собой MTF, для которой приведен параметр MTF50 в циклах на пиксель. Краевой профиль и MTF полученные с камеры показаны черными сплошными линиями. Хорошо видно, насколько резче изображение у Panasonic GS400 - 10-90% rise distance для него более чем в два раза меньше, чем для Sony TRV940, а MTF50 почти в два раза больше.  Но достигается это за счет "сурового" повышения резкости (oversharpening) - посмотрите, в довольно большом диапазоне частот MTF больше единицы, то есть контраст на изображении выше, чем на эталоне! И платой за это является белая "кайма" на границе контрастных деталей, которая хорошо видна на краевом профиле в виде "всплесков" в начале и, особенно, в конце восходящего участка кривой. Кстати, для наглядности, над графиком краевого профиля показан переход от черного к белому на изображении в увеличенном виде - там хорошо видна эта пресловутая "кайма" как раз соответствующая наибольшему "всплеску" на краевом профиле. Красной пунктирной линией показаны краевой профиль и MTF полученные с помощью встроенного в Imatest алгоритма повышения резкости, который, по утверждению создателей программы, близок к оптимальному. 10-90% rise distance и MTF50 написанные красным цветом тоже относятся к этому алгоритму. Хорошо видно, что TRV940 и GS400 представляют собой пример диаметрально противоположных подходов к повышению резкости - на TRV940 оно, похоже, вообще не проводится, а на GS400 наоборот проводится слишком агрессивно. Надо еще отметить, что значения undersharpening и oversharpening приводятся по отношению к встроенному в Imatest алгоритму повышения резкости.

Ну и несколько слов об измерении хроматической аберрации в программе Imatest. Вот как выглядит соответствующий график (на самом деле это тот-же краевой профиль, только построенный отдельно по каждому цвету):

На этом профиле хорошо видна хроматическая аберрация на границе перехода черное-белое    и приведен параметр CA (area), который её характеризует (чем он больше, тем она заметнее). В описании программы Imatest приведена следующая таблица:

В нашем случае (Sony DCR-TRV940E) хроматическая аберрация (ХА) практически незаметна.

Заключение

Как уже говорилось выше, данный обзор не претендует на полноту рассмотрения и изложения возможностей и результатов работы программы Imatest. Я лишь кратко коснулся тех тестов, которые мы планируем применять в наших будущих обзорах видеокамер. Причем коснулся в том объеме, который будет достаточен для понимания основных результатов, не особо вдаваясь в детали. Для тех кто хочет знать больше будет полезно гораздо более подробное изложение возможностей программы, представленное на её официальном сайте.

Ну а я, в конце данного обзора, хочу поблагодарить всех участников обсуждения методики тестирования цветопередачи на на форуме "Видеозоны" и форуме "Видеомакса" за плодотворное обсуждение, а также магазин "Видеомакс" за финансовую помощь, оказанную при покупке тестовых инструментов и самой программы Imatest.

Алексей Попов (popov_al@mx.ihep.su)

Дата последних изменений: 13.03.2005