ИДЕНТИФИКАЦИЯ ЦИФРОВЫХ ОПТОЭЛЕКТРОННЫХ УСТРОЙСТВ И АЛГОРИТМ ДЕПЕРСОНАЛИЗАЦИИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ

Постановка проблемы. При создании цифровых изображений всегда существует возможность идентификации цифровых оптоэлектронных устройств (ЦОЭУ) (фото, видео, web-камер, сканеров) по создаваемым ими цифровым образам (цифровым изображениям) [1].

В общем случае решение задачи идентификации ЦОЭУ, существенно зависит от его индивидуальных характеристик и применяемых алгоритмов постобработки создаваемого цифрового изображения. В традиционной фототехнической экспертизе исследование цифровых изображений выполняется в двух направлениях [2]:

· исследование фотографических изображений;

· исследование фотографических материалов.

Задача однозначной идентификации цифровых изображений заключается в определении ЦОЭУ, которое использовалось для создания цифрового изображения.

Идентификация ЦОЭУ, которое применялось для создания цифрового изображения, в большинстве случаев решается при условии, что представленное на экспертизу цифровое изображение пригодно для идентификационного исследования.

Идентификационные данные ЦОЭУ, которые могут быть получены при проведении экспертизы цифрового изображения:

· установление условий съемки;

· определение времени создания изображения;

· восстановление первоначального изображения;

· тип ЦОЭУ, которое применялось для получения изображения;

· производилась ли съемка объектов на цифровом изображении с использованием идентифицируемого ЦОЭУ;

· наличие последующей цифровой обработки изображений (в графических редакторах и медиаконвертерах);

· оценка степени изменения изображения при графической обработке;

· какое программное обеспечение (ПО) применялось для обработки изображения.

Анализ последних исследований и публикаций, в которых начато решение данной проблемы. К общим признакам документирования характеристик ЦОЭУ, которые отражаются в создаваемом им цифровом изображении относятся размеры кадра и EXIF-данные.

Если цифровое изображение имеет формат JPEG, алгоритм создания которого основан на дискретном косинусном преобразовании (ДКП), применяемом к матрице исходного изображения для получения некоторой новой матрицы коэффициентов (цифрового изображения в новом формате) [3]. Поэтому коэффициенты ДКП получаемой матрицы цифрового изображения можно отнести к групповым признакам ЦОЭУ. Они являются индивидуальными для его модели или серии моделей [4]. ДКП матрицы исследуемого цифрового изображения и полная информация о нем называется EXIF-данными¹ [5].

Цель статьи. Провести анализ признаков цифровых изображений, которые однозначно позволяют идентифицировать ЦОЭУ, с помощью которых они были созданы и разработать алгоритм деперсонализации цифровых изображений.

Изложение основного материала

В общем случае к EXIF-данным относятся:

1. Название модели ЦОЭУ;

2. Ориентация ЦОЭУ (вертикально/горизонтально – для устройств со встроенным акселерометром²;

3. Адрес места съёмки – географические координаты (положение точки на земной поверхности);

4. Дата и время съёмки;

5. Размер цифрового изображения в точках по длине и ширине;

6. Разрешение цифрового изображения по горизонтали и вертикали;

7. Глубина цвета в битах;

8. Тип баланса белого;

9. Фокусное расстояние;

10. Эквивалентное фокусное расстояние³;

11. Диафрагма;

12. Использование вспышки;

13. ISO⁴;

14. Светочувствительность сенсора (матрицы), которая была установлена при съемке;

15. ПО, в котором было сделано цифровое изображение (если изображение делается в JPG формате, то будет указано ПО ЦОЭУ, которое обработало изображение, если изображение делается в RAW формате, то будет указано ПО с помощью которой был совершен экспорт в JPG формат, например, Adobe Photoshop Camera RAW);

17. Выдержка в секундах⁵ с которой снято цифровое изображение;

18. Компенсация выдержки;

19. Информация о правообладании.

Дополнительно для медиафайлов можно отнести следующие EXIF данные:

20. Видеоданные;

21. Аудиоданные;

22. Flash-содержимое (SWF формат);

23. Категории⁶.

Анализ EXIF-данных цифровых изображений

Анализ EXIF-данных цифрового изображения можно выполнить с помощью ПО JPEGSnoop, которое поддерживает следующие форматы изображений: JPG, THM, AVI, DNG, CRW, CR2, NEF, ORF, PEF, RAW, MOV и PDF, файлы ПО Photoshop [6]. Полученные EXIF-данные экспортируются в TXT файл. Одной из важных функций ПО JPEGsnoop является наличие внутренней базы данных, которая сравнивает исследуемое цифровое изображение с большим количеством подписей сжатия^7.

Это позволяет однозначно определить, какое ЦОЭУ применялось для формирования цифрового изображения. ПО JPEGsnoop извлекает из цифрового изображения следующую информацию:

1. Квантование матрицы (таблицы цветности и яркости);

2. Цветность подвыборки;

3. Качество JPEG контейнера;

4. Настройки разрешения JPEG контейнера;

5. Таблицы Хаффмана⁸;

6. Makernotes⁹;

7. RGB гистограмму¹⁰;

8. Маркеры JPEG, JFIF¹¹;

9. Тип VLC декодирования¹²;

10. Определить параметры качества, используемые в ПО Photoshop;

11. Извлечение встроенных изображений в Adobe PDF документы.

Индивидуальные признаки ЦОЭУ

Для ЦОЭУ можно выделить следующие аппаратные свойства и признаки, на основе которых возможно проведение их идентификации:

1. Для цифровых фото-, видео-, web-камер:

· Объектив и система крепления байонет¹³ (формирует среднеустойчивые признаки);

· Размытие¹⁴ (формирует средне- и высокочастотные устойчивые признаки);

Примечание: На силу размытия влияют такие физические параметры:

· Геометрическая светосила объектива (диафрагма) – F. Чем меньше число F, тем тоньше глубина резко изображаемого пространства и тем сильней размыт передний и задний фон изображения;

· Фокусное расстояние объектива. Чем больше фокусное расстояние объектива, тем сильней будет размыт фон изображения;

· Дистанция фокусировки до объекта съемки (расстояние между фотоаппаратом и тем, что снимаете). Чем меньше дистанция фокусировки, тем сильней размыт фон изображения;

· Дистанция между объектом съемки и задним фоном. Чем дальше задний фон от объекта съемки, тем он сильней размыт;

· Оптическая схема (больше влияет именно на характер размытия);

· Размер модуля светочувствительной матрицы – фотосенсора¹⁵. Чем больше его размер, тем больше угол обзора и тем ближе нужно подойти к объекту съемки. Поэтому полноформатные ЦОЭУ сильнее размывают фон изображения;

· Специальные насадки и фильтры на объектив;

· Фотосенсор (формирует устойчивые признаки всех частот).

2. Для цифровых сканеров изображений:

· неоднородности светочувствительных элементов линейки сканера;

· отклонения перемещения каретки сканера от линейного;

· неравномерность засветки и прижатия к стеклу сканируемого оригинала и т.д.

Кроме перечисленных выше признаков ЦОЭУ, их индивидуальные признаки в значительной степени определяются применяемыми встроенными алгоритмами обработки создаваемых цифровых изображений:

· алгоритмы восстановления изображения из мозаичной структуры¹⁶ фотосенсора;

· повышение контурной резкости¹⁷ и шумоподавления¹⁸.

В цифровых фото-, видео- и web-камерах алгоритмы постобработки создаваемых цифровых изображений могут быть как отключаемыми, так и не отключаемыми.

В цифровых сканерах получаемое изображение может проходить двухуровневую обработку – в самом сканере на основе калибровочных кривых, подавления следов пыли на (сканируемом носителе и стекле сканера) и на уровне драйвера, где осуществляется субъективное повышение качества цифрового изображения.

Каждому ЦОЭУ (не зависимо от формата создаваемого цифрового изображения) соответствует своя частотно-контрастная характеристика, которая является своеобразной амплитудно-частотной характеристикой (АЧХ) оптической системы и фотосенсора. На разных участках цифрового изображения АЧХ не постоянна, и ее корректное сравнение лучше всего проводить по снимкам радиальной миры¹⁹, что на практике не всегда осуществимо. Поэтому к индивидуальным признакам ЦОЭУ можно отнести его паттерн неоднородности световой чувствительности фотосенсора (photo-response non-uniformity (PRNU)). Так же индивидуальным признаком ЦОЭУ является наличие и расположение загрязнений на его фотосенсоре (фотоматрице), переносимое на цифровые изображения. Этот признак присущ ЦОЭУ зеркального типа, так как на фотосенсор неизбежно попадает пыль вовремя замены объектива (Рис.1).

Рис.1. Наличие примесей на матрице фотодатчика ЦОЭУ (стрелки указывают на наличие частиц пыли).

Кроме этого, нередки случаи поверхностного загрязнения оптической системы на неразборных фото-, видео-, web-камерах и сканерах (Рис.2.).

Рис. 2. Характерное поверхностное загрязнение оптической системы.

Идентификация ЦОЭУ по цифровому шуму

Цифровой шум – это дефект цифрового изображения, вносимый фотосенсором ЦОЭУ. Цифровой шум проявляется в виде хаотично расположенных точек различных по яркости и цвету. Особенно он заметен на однотонных поверхностях – небо, кожа, участки теней. Цифровой шум придает цифровому изображению неестественный вид – оно кажется «присыпанным» песком [7]. Цифровой шум характерен для каждой матрицы оптоэлектронного цифрового устройства. Особенно, он становится отчётливо виден при увеличении чувствительности (ISO 400, 800, 1600 и т.д.).

Использование видимого и невидимого цифрового водяного знака является распространенным методом защиты от несанкционированного копирования цифрового контента. Это также позволяет однозначно идентифицировать DOED в цифровом изображении, которое оно создает (рис.3) [7].

Рис.3. Результаты обнаружения и извлечения цифрового водяного знака с измененного цифрового изображения: а) карта обнаруженных модифицированных блоков (1,2,3а, 3b); б) модифицированные блоки (отмечены черным цветом); c) извлеченный цифровой водяной знак (белый цвет - поврежденные блоки и светло-серый - восстановленный цифровой водяной знак - символы IPSI).

Внедрение цифрового водяного знака осуществляется с использованием следующих критериев:

• цифровой водяной знак вводится в цифровое изображение специальным алгоритмом, который не позволяет определить наличие цифрового водяного знака на изображении;

• наличие секретного ключа;

• возможность доказать третьему лицу наличие цифрового водяного знака без раскрытия секретного ключа;

• цифровой водяной знак поддерживает все типы искажений изображения или максимально возможное количество изображений, за исключением тех, которые делают его практически бесполезным для использования;

• разработанные цифровые модели водяных знаков устойчивы к любым изменениям в цифровом изображении.

Под цифровым шумом обычно понимается электрическая погрешность фотосенсора (матрицы). Это явление возникает в результате особенностей преломления света – на матрице появляются не качественные разноцветные пиксели. Чем больше пикселей размещается на матрице, тем меньше их размер. Количество светового потока, принимаемого пикселем, определяется его размером. Поэтому, при повышении количества пикселей на матрице приходится повышать их чувствительность, что в свою очередь приводит к увеличению ее собственного шума. Также следует отметить, что при повышении чувствительности (ISO), возрастает температура фотосенсора, что так же способствует появлению шума. Уровень собственного шума зависит от технических характеристик фотосенсора и длительности (времени) экспонирования. Цифровой шум разделяется на: постоянный, случайный, яркостной и хроматический.

Постоянный цифровой шум проявляется одинаково на всех цифровых изображениях, создаваемых ЦОЭУ и связан с наличием «горячих»²⁰ и «битых»²¹ пикселей его фото сенсора²². На месте «битых» пикселей постоянно присутствуют светлые или темные точки. «Горячие» пиксели проявляются в виде цветных точек, расположенных на одном и том же месте от кадра к кадру при длительных выдержках, когда фотосенсор сильно нагревается. Для того, чтобы выявить «горячие» пиксели ЦОЭУ необходимо закрыть пылезащитной крышкой фотообъектив, выбрать максимальное значение чувствительности ISO, выставить выдержку 30 секунд, отключить встроенное шумоподавление (если оно есть) и сделать несколько контрольных цифровых изображений. Их визуальный анализ покажет наличие или отсутствие «горячих» пикселей.

Яркостной цифровой шум (luminance noice) проявляется на изображении в виде маленьких темных точек (или пятен) и напоминает зерно фотопленки²³.

Хроматический цифровой шум (chrominance noice) на изображении проявляется в виде маленьких пятен (точек) другого цвета, отличается от цвета той области, где такой шум проявляется (именно поэтому он очень хорошо виден). Хроматический цифровой шум сильно бросается в глаза и неприятен для восприятия.

Алгоритм деперсонализации цифровых изображений

Под деперсонализацией цифрового изображения следует понимать отсутствие идентификационных признаков, по которым однозначно можно установить ЦОЭУ, которым оно было сделано. Для выполнения операции деперсонализации из цифрового изображения авторами была предложена и выполнена последовательность действий, представленных в виде алгоритма на рисунке 3.

Рис.3. Алгоритм деперсонализации цифровых изображений.

1. Создание цифрового изображения с минимально возможным уровнем цифрового шума

К числу первостепенных рекомендаций по снижению шумов в создаваемом цифровом изображении относятся общепринятые меры по снижению собственных шумов фотосенсора, а именно [8]:

· Уменьшение чувствительности ISO;

· Уменьшение выдержки;

· Применение более светосильных объективов²⁴ (чем шире будет открыта диафрагма, тем меньше можно сделать выдержку);

· Выполнение съемки при хорошем освещении (или с применением вспышки);

· Использование встроенной функции шумоподавления;

· Следует избегать длительной работы ЦОЭУ без выключения (это вызывает нагрев фотосенсора, особенно в зеркальных версиях фотоаппаратов в режиме фокусировки по встроенному дисплею);

· Сохранение цифровых изображений в RAW²⁵ формате.

· Реализация следующих этапов в предлагаемом алгоритме деперсонализации цифровых изображений подразумевает применение специализированного ПО.

2. Удаление «битых» и «горячих» пикселей

Если ЦОЭУ создает цифровое изображение в RAW формате, то задача удаления «битых» и «горячих» пикселей значительно упрощается благодаря применению специализированного ПО Hot Pixel Eliminator²⁶ [9], Pixel Fixer²⁷ [10]. Скачать последнюю версию специализированного ПО Pixel Fixer можно здесь. Скачать последнюю версию специализированного ПО Hot Pixel Eliminator можно здесь.

Примечание: Если специализированное ПО не смогло удалить «битые» и «горячие» пиксели, или в случае, если создаваемое цифровое изображение сохранено в JPEG-формате, то их удаление можно выполнить вручную в графическом редакторе Adobe Photoshop с использованием инструмента – Patch Tool.

3. Удаление цифрового шума

Универсальные алгоритмы удаления/подавления цифрового шума пока не разработаны. Специализированное ПО, реализующее эти алгоритмы, не всегда может отличить мелкие детали цифрового изображения от цифрового шума. Вследствие этого, сильное подавление цифрового шума часто приводит к частичной потере мелких деталей и проявляется в виде размытости цифрового изображения. Специализированное ПО, применяемое для удаления/подавления цифрового шума должно учитывать следующие факторы:

· Модель ЦОЭУ;

· Причины возникновения цифрового шума фотосенсора;

· Наличие мелких деталей на цифровом изображении.

Специализированное ПО должно позволять вручную задавать режимы удаления/подавления цифрового шума, так как восприятие человеческим глазом цифровых изображений субъективно. Практическое использование такого ПО показало, что, обладая соответствующими навыками работы пользователя именно в ручных режимах можно достигнуть гораздо более лучших результатов, чем с применением автоматических режимов. К общим рекомендациям применения специализированного ПО следует отнести применение процедуры удаления/подавления шума раньше других операций, таких как цветокоррекция, яркость/контраст, изменение размера и т.д. Существует большое количество специализированного коммерческого ПО, которое применяется для подавления цифровых шумов, таких как Adobe Camera RAW, Adobe Light Room и др. Авторская апробация операции удаления цифрового шума выполнялась с применением специализированного коммерческого ПО Movavi Photo Denoise (Рис.4.) [11].

а)

б)

Рис.4. Результат практической реализации устранения дефектов и цифровое шумоподавление фотосенсора: а) наличие «битого» пикселя в цифровом изображении; б) устраненные дефекты в полученном цифровом изображении.

4. Удаление EXIF-данных

Удаление EXIF-данных позволяет деперсонализировать ЦОЭУ по вносимым им метаданным в цифровое изображение при его создании, а также скрыть информацию о том, каким специализированным ПО было обработано цифровое изображение [5].

Все специализированное ПО применяемое для выполнения операций с EXIF-данными можно разделить на три группы, каждая из которых состоит из набора характерных функций:

· просмотр метаданных;

· редактирование отдельных тегов метаданных;

· полное удаление метаданных.

Следует отметить, что операция удаления EXIF-данных реализуется по тому же принципу, что и их редактирование. Для выполнения этой операции наиболее эффективным является универсальное специализированное ПО ExifTool, которое доступно для всех платформ и распознает дополнительные теги (EXIF чанки) большинства ЦОЭУ и ПО применяемого для постобработки цифровых изображений [12].

Выводы и дальнейшие перспективы исследований в этом направлении. Проведенный анализ признаков, однозначно определяющих идентификацию ЦОЭУ по создаваемым ими цифровым изображениям, позволил разработать эффективный алгоритм, с помощью которого можно достичь абсолютной деперсонализации цифровых изображений.

Практическое применение разработанного алгоритма деперсонализации цифровых изображений позволяет однозначно защитить свое оборудование от идентификации сторонними лицами посредством разрыва прямой связи между ЦОЭУ и создаваемым им цифровым изображением.

Алгоритм деперсонализации цифровых изображений может быть полезен тем категориям лиц, которые в силу исполнения своих профессиональных обязанностей должны соблюдать повышенные меры личной безопасности по обеспечению своей конфиденциальности при использовании различных ЦОЭУ, в особенности фото-, веб-камер и сканеров.

¹ EXIF-данные – позволяют включать в себя дополнительную информацию (метаданные) о цифровом изображении.

² Акселерометр – это прибор, с помощью которого ПО определяет положение и расстояние перемещения цифрового оптоэлектронного устройства в пространстве.

³ Эквивалентное фокусное расстояние – условная характеристика оптической системы и светочувствительного элемента, дающая информацию об угле обзора этой системы.

⁴ ISO – светочувствительность ЦОЭУ.

⁵ Выдержка в секундах – интервал времени, в течение которого оптическая система передает изображение на светочувствительную матрицу.

6 Категории – содержит информацию по классификатору агентства Associated Press.

⁷ Подпись сжатия – цифровая подпись, которой маркируется получаемое цифровое изображение при его сжатии различными алгоритмами. Цифровая подпись помещается в шумовые составляющие получаемого изображения.

⁸ Таблицы Хаффмана – классический алгоритм Хаффмана на входе получает таблицу частот встречаемости символов в сообщении. Далее на основании этой таблицы строится дерево кодирования Хаффмана. Алгоритм используется для сжатия текстовой и графической информации.

⁹ Makernotes – каждое цифровое оптоэлектронное устройство сохраняет в расширенной секции EXIF информацию, специфичную для ее производителя. Эта информация содержится в так называемой секции MakerNote.

¹⁰ RGB гистограмма – использует все три канала цветности и описывает распределение яркостей в отдельно взятом канале. Гистограмма RGB может показать, есть ли потери в отдельном канале цветности, но она не покажет, в одном канале имеют место потери или во всех. Гистограммы цвета усиливают этот эффект и чётко демонстрируют наличие потерь.

¹¹ Маркеры JPEG, JFIF – файлы JPEG содержит последовательность маркеров, каждый из которых начинается с байта 0xFF, свидетельствующего о начале маркера, и байта-идентификатора. Такая структура JPEG-файла позволяет быстро отыскать маркер с необходимыми данными (например, с длиной строки, числом строк и числом цветовых компонентов сжатого изображения).

¹² VLC декодирование – способ адаптивного кодирования переменной длины (VLC) с эффективным использованием памяти и пониженной сложностью в отношении данных для множества применений, таких как кодирование цифровых видеоданных, данных изображений, звуковых или речевых данных.

¹³ Байонет – разновидность соединения, предназначенная для крепления оправы оптической системы (объектива) к цифровому оптоэлектронному устройству. Байонет является не только механическим, но и электронным интерфейсом, осуществляя соединения микропроцессоров объектива и цифрового оптоэлектронного устройства с помощью электрических контактов.

¹⁴ Размытие – необратимая операция, при которой цифровое изображение или его части перераспределяются по некоторому закону.

¹⁵ Фотосенсор – светочувствительная матрица, представляет собой интегральную микросхему, состоящую из миллионов ячеек-пикселей (фотодиодов). Фотодиоды, обладают способностью преобразовывать энергию светового потока в электрический заряд, который считывается, усиливается и с помощью аналого-цифрового преобразователя превращается в двоичный код заданной разрядности, который затем поступает в процессор цифрового оптоэлектронного устройства для последующей обработки.

¹⁶ Мозаичная структура фотосенсора – основана на принципе измерения только одного цветового компонента в каждой точке фотосенсора, а недостающие вычисляются на основе данных соседних точек. Такая технология позволяет создать фотосенсор, который измеряет три цвета одновременно в каждом пикселе.

¹⁷ Контурная резкость – алгоритм воспроизводит традиционную технику пленочного фотошаблона, которую используют для увеличения резкости краев в изображении. Алгоритм корректирует размытость цифрового изображения, возникшую в результате сканирования, интерполяции или печати.

¹⁸ Шумоподавление – алгоритм подавления всех обнаруженных шумов в создаваемом цифровом изображении перед тем, как выполнить его запись на носитель.

¹⁹ Радиальная мира – тест-объект (мира) служит для количественного определения разрешающей способности и функции передачи модуляции объектива и светочувствительной матрицы.

²⁰ Горячие пиксели – проявляются в виде цветных точек и зависят от температуры фото сенсора. При работе матрицы температура пикселей повышается и неустойчивые к высокой температуре пиксели (горячие) начинают «капризничать» выдавая сигнал, который в разы может отличаться от соседних нормальных пикселей и быть ярче или темнее, чем нужно. Горячие пиксели обычно имеют красный, синий или зеленый цвет.

²¹ Битые пиксели – проявляются независимо от режима съёмки и могут быть яркими или наоборот очень тёмными, в зависимости от того, в каком режиме они потеряли свою работоспособность. Если битый пиксель "завис" во включённом состоянии, то точка будет яркая (обычно белая), поскольку он воспринимает слишком много света. Если пиксель "завис" в выключенном состоянии, то точка будет тёмная (практически чёрная) потому, что он очень плохо реагирует на свет.

²² Фотосенсор – сенсорная матрица, состоящая из миллионов миниатюрных ячеек-пикселей для получения изображения.

²³ Зерно фотопленки – повышение светочувствительности фотопленки сопровождается ростом размеров зерна, из которого состоит изображение. Крупное зерно снижает разрешающую способность фотопленки.

²⁴ Светосила объектива – характеризует способность оптической системы (объектива) пропускать свет. Эта характеристика зависит от максимальной величины внутреннего отверстия объектива (минимального доступного значения диафрагмы) и от ослабления светового потока линзами объектива.

²⁵ RAW – формат цифрового изображения, содержащий необработанные данные, полученные с фотосенсора. В таких файлах содержится полная информация о хранимом сигнале, не имеющая чёткой спецификации (стандарта). Его еще иногда называют «сырым» форматом.

²⁶ Hot Pixel Eliminator – ПО способно отличить «горячие» и «битые» пиксели от ярких бликов и источников света. Ссылка для скачивания русскоязычной версии.

²⁷ Pixel Fixer – ПО может автоматически удалять горячие и битые пиксели из необработанных цифровых изображений.

Источник: Авторская публикация

Опубликовано: Информатика и математические методы в моделировании,

Выпуск 7, № 1-2, 2017 год. С. 37-46