Сквозная реконструкция с развертыванием алгоритма соответствует регуляризации на основе данных для компьютерного зрения
Обратные задачи широко распространены в приложениях для обработки изображений, когда нужно восстановить неизвестный параметр модели из его неполного и зашумленного измерения. Например, это может быть применено для шумоподавления фотографии для извлечения информации в более высоком качестве. Обсуждаемый в этом посте метод развернутой состязательной регуляризации³ (UAR) предназначен для решения этой проблемы. Прежде чем погрузиться в UAR, мы также представляем алгоритм развертывания, который является одним из основных строительных блоков UAR.
Алгоритм развертывания¹
Мотивацией для развертывания алгоритма является поиск связи между традиционными итеративными алгоритмами и глубокими нейронными сетями, управляемыми данными. Основная идея состоит в том, чтобы смоделировать каждую итерацию в алгоритме как один слой в сети, с помощью которого итеративный алгоритм можно смоделировать как несколько объединенных вместе слоев. Таким образом, прохождение через сеть эквивалентно выполнению итеративного алгоритма конечное число раз. Следовательно, параметры алгоритма будут естественным образом представлены параметрами сети, а обученная сеть может быть интерпретирована как алгоритм, оптимизированный по параметрам, эффективно преодолевая недостаток интерпретируемости в большинстве обычных нейронных сетей.
Изученный алгоритм итеративного сокращения и порогового значения²
На рис. 2 показан пример применения идеи развертывания алгоритма. Традиционный алгоритм разреженного кодирования, алгоритм итеративного сокращения и порогового значения (ISTA), развернут и представлен глубокой нейронной сетью. Обратите внимание, что развернутый алгоритм модифицирует исходный метод, не разделяя веса между итерациями (т. Е. Слоями), и поэтому он называется Learned ISTA или LISTA.
Развернутая состязательная регуляризация
Обратная задача, рассматриваемая UAR, может быть резюмирована уравнением 1, где прямой оператор A моделирует процесс измерения в отсутствие шума, а e обозначает шум измерения. Наша цель будет состоять в том, чтобы найти оценщик, который может преобразовывать измерения y в базовую информацию x. Уникальная проблема заключается в том, что в наборе данных исследования y и x часто не идут парами.
При такой постановке многие дискриминационные методы не могут быть применены из-за несовпадения обучающих выборок с метками. Поэтому автор просмотрел литературу по генеративным моделям и почерпнул интуицию из генеративно-состязательных сетей (GAN). В частности, UAR состоит из сети реконструкции (генератора), которая восстанавливает основную информацию x из измерений y, и сети регуляризации (дискриминатора), которая отличает реконструированные изображения от наземные истины.
Цель обучения для сети реконструкции показана в уравнении 2. Первый член в операторе ожидания соответствует потерям при реконструкции, вычисляемым как расстояние между восстановленным изображением и входным изображением. Второй член — это просто потеря регуляризации для реконструированного изображения. Оба члена должны быть сведены к минимуму, чтобы произвести более качественную реконструкцию. Обратите внимание, что эта цель вообще не использует наземную правду, поэтому ее можно обучать только с входными изображениями.
Сеть регуляризации отвечает за отличие реконструкции от наземной истины, поэтому, как показано в уравнении 3, она максимизирует значение потерь для реконструированного изображения и минимизирует его для наземной истины.
Хотя эта структура является общей в том, какие архитектуры использовать для сетей реконструкции и регуляризации, в [3] используются развернутый генератор и обычная глубокая сеть, и поэтому «развернутый» в названии UAR. Кроме того, авторы предоставили строгие теоретические результаты в [3] для UAR, которые мы считаем очень достойными прочтения.
Заключение
Мы рассмотрели развернутую состязательную регуляризацию для обратной задачи обработки изображений. Он опирается на интуицию GAN, элегантно решает проблему непарных обучающих выборок (в некоторой степени отсутствующих данных) и превосходит современные методы в этой области.
[1] Монга, Вишал, Юэлун Ли и Йонина С. Эльдар. «Развертывание алгоритма: интерпретируемое, эффективное глубокое обучение для обработки сигналов и изображений». Журнал IEEE Signal Processing 38.2 (2021): 18–44.
[2] Грегор, Кароль и Ян ЛеКун. «Изучение быстрых аппроксимаций разреженного кодирования». Материалы 27-й международной конференции по машинному обучению. 2010.
[3] Мукерджи, Субхадип и др. «Сквозная реконструкция сочетается с управляемой данными регуляризацией для обратных задач». Достижения в области нейронных систем обработки информации 34 (2021).
