[논문 리뷰 및 분석] Fast Single Image Dehazing Using Saturation Based Transmission Map Estimation

Abstract

  본 논문은 안개를 제거하기 위한 간단하고, 빠르고, 강력한 알고리즘을 소개한다. 본 논문에서는 Medium Transmission을 사용하는데 Medium Transmission은 Saturation의 Scene radiance의 함수로만 도출되며, Saturation의 Scene radiance는 Simple stretching으로 추정(estimate)한다. 그리고, White balance 기법을 사용하여  안개 또는 황사가 있는 이미지에 유용한 color veil removing 알고리즘을 제시한다. 

 

1. Introduction

  기후로 인해 좋지 않은 영상으로 무언가 작업을 할 때에는 부적절한 결과를 얻을 수 있다. 본 논문은 영상의 질을 떨어뜨리는 안개를 제거하여 안개의 영향으로 저하된 Computer vision 기술들을 개선시킬 수 있을 것이라고 한다.

 

관련 연구(Related Works)는 생략

 

  본 논문은 Single image에서의 안개제거를 채도(saturation)를 기반으로 한 Medium transmission을 소개한다. 이 방법의 Transmission은 Atmospheric Light가 알려져 있다는 가정하고 사용한다. 그리고, White Balance를 기반으로 하여 황사나 미세먼지가 있는 영상의 color veil을 제거하는 알고리즘을 수행한다. 

 

(추가 설명)

  White balance는 주변광이 있더라도 하얀 물체를 하얗게 볼 수 있게 하는 보정 기능

-> 사람의 눈은 빛에 대한 해석 능력이 있기 때문에 흰색의 물체가 어떠한 광원에 있더라도 흰색이라는 것을 알아채지만, 카메라는 빛을 이용해 사진을 찍는 기계이기 때문에 렌즈를 통해 들어온 빛의 성질에 따라 컬러 색상이 다르게 나타난다. 따라서, 카메라로 영상을 얻을 때는 조명의 변화에 따라 색이 재현되도록 조정을 해야한다.

= 어떤 광원 아래에서 백색의 물체를 카메라로 잡았을 때 태양광 아래에서 잡은 백색과 일치하도록 조정해주는 것

 

2. Atmospheric Scattering Model

   안개 제거 모델링에서의 안개 제거는 안개가 포함된 원본 영상에서 안개 영역을 검출하고 안개의 정도를 추정한 후 안개를 제거하는 것이 목표이다. 안개가 포함된 영상을 구하는 식은 다음과 같다. 

 

$H(x) = J(x)\times e^{-\beta \times d(x)} + A(1 - e^{-\beta \times d(x)})$

 

• $H(x)$ : 안개가 포함된 영상
• $J(x)$ : 안개가 존재하지 않는 깨끗한 영상
• $A$ : 안개 입자에 의해 산란되는 빛으로 인해 변질되는 영상의 정도(전역대기 산란광 또는 안개값)
• $e^{-\beta \times d(x)}$ : 최종적으로 산란되지 않고 카메라로 전달된 양(전달량, $t(x)$로 치환하여 사용)  
• $\beta$ : 대기 산란 계수(Atmospheric Scattering Coefficient)
• $d(x)$ : x 위치에서의 카메라와 대상 간 거리

  안개 모델식을 풀어 정의하면 안개가 포함된 영상은 깨끗한 양싱에 빛의 전달량을 곱하고 안개값을 더한 것이다. 이를 통해 안개가 없는 맑은 영상을 얻는 식을 구하면 다음과 같다.

 

$J(x) = D(H(x), A, t(x)) = \frac{H(x) - A}{t(x)} + A$

 

$D(·)$는 안개 영상에서의 안개제거식이다.

 

 

3. Proposed Method

A. Basic Formulation for Transmission Map

  Atmospheric light(대기 산란광)가 주어졌을 때, 안개 모델식은 다음과 같이 표현할 수 있다.

 

$\frac{H^{c}(x)}{A^{c}} = t(x)\frac{J^{c}(x)}{A^{c}} + 1 - t(x)$  $when$ $c \in \left\{r,g,b \right\}$

 

  DCP(Dark Channel Prior)는 맑은 날의 영상에서 r, g, b 중 하나의 channel이 0에 가까운 화솟값을 가진다는 통계적 특성을 바탕을 통해 Dark Channel을 구한다. (DCP는 안개제거 알고리즘 중 대표적이다.) 

 

  DCP 기반의 안개 제거 접근으로는 local patch에서 transmission은 일정하다고 가정한 후 계산한다. 이를 식으로 표현하면 다음과 같다.

 

$\min_{y\in \Omega (x)}(\min_{c} \frac{H^{c}(y)}{A^{c}})= t(x) \min_{y\in \Omega (x)}(\min_{c}\frac{J^{c}(y)}{A^{c}})+1-t(x)$

 

  위에서 말했듯이 세 채널 작은 채널은 0에 근사하므로 아래 식처럼 $J^{c}(y)$는 0에 근사한다.

 

$J_{dark}(x) = \min_{y\in \Omega (x)}(\min_{c}(J^{c}(y))) \approx 0$ 

 

  위 식을 기존 식에 적용하면 간단하고 유용한 안개 제거 framework를 끌고올 수 있다. 하지만, 본 논문에서 위와 같은  통계적 특성를 쓸 때, $J^{dark}(x)$가 0에 수렴하지 않거나 국부 영역에서 transmission이 일정하지 않을 경우에  Artifacts를 일으키므로 Softmatting, Bilateral filtering, Guided Filtering 등 post-processing 방법이 따라온다.

  위 영상 3가지는 DCP에서 지향하는 'Haze free 영상에서는 3 채널 중 한 채널은 어두운 값을 가진다.'라는 통계적 특성을 지니는데 이를 위반하는 사례를 보여준다.

 

  본 논문에서는 기존에 사용하던 transmission을 구하는 방법과는 다르게 transmission이 pixel마다 다르다고 가정하고, 다음 식과 같이 minimum 연산을 통해 구한다.

 

$\min_{c}H_{c}^{n} = t(x) \min_{c}J_{n}^{c} + 1 - t(x)$

↓

$\min_{c}\frac{H^{c}}{A^{c}} = t(x)\min_{c}\frac{J^{c}(x)}{A^{c}}+1-t(x)$

 

  위 식을 가지고 $t(x)$를 도출하면 다음 식이 나온다.

 

$t(x) = \frac{1 - m H_{n}(x)}{1 - m J_{n}(x)}$

 

$m H_{n}(x) = \min_{c} H_{n}^{c}(x),$ $m J_{n}(x) = \min_{c} J_{n}^{c}(x)$

 

B. Transmission Map Estimation

  이 Section은 채도(saturation)를 기반으로 한 전달량(transmission) map을 추정한다. 아래 식은 국소적 영역 $K(x)$에서 채도(saturation)을 구하는 공식이다.

 

$S_{K}(x) = 1 - \frac{m_{k}(x)}{I_{K}(x)}$

$m_{K}(x) = \min_{c} K^{x}$ , $I_{K}(x)$ = $K(x)$의 명도

$m_{K}(x)$는 $K(x)$ 지역에서의 r, g, b 채널 중에서 가장 작은 채널

$S_{K}$는 주어진 이미지의 $K(x)$ 지역에서의 채도(saturation) 값

 

  위 식에서 채도(saturation)을 구하기 위해서는 명도(intensity, value)가 필요하므로 명도를 구하는 식을 아래와 같다.

 

$I_{K}(x) = \frac{K^{r}(x) + K^{g}(x)+ K^{b}(x)}{3}$

 

  위에서 주어진 $S_{K}(x)$를 구하는 식을 $m_{K}(x)$를 구하는 식으로 바꾸면 다음과 같다.

 

$m_{K}(x) = I_{K}(x)(1 - S_{K}(x))$ 

 

  위 $m_{K}(x)$를 구한 식을 위에서 $t(x)$를 도출한 식에 적용하면 다음과 같다.

 

$t(x) = \frac{1 - I_{H_{n}}(x)(1 - S_{H_{n}}(x))}{1 - I_{J_{n}}(x)(1 - S_{J_{n}}(x))}$

 

  위 식을 통해 얻을 $t(x)$ 전달량(transmission) map 을 구하면 다음과 같다. 본 논문은 알려지지 않은 명도와 채도를 사용하여 transmission map을 추정한다.

 

  위 식에서 $I_{J_{n}}(x)$를 안개제거 모델식을 통해 구하면 아래 식과 같다.

 

- Haze free 영상을 구하기 위한 안개제거 모델식

$J(x) = \frac{H(x) - A}{t(x)} + A$

 

- 위 식에서 A를 정리(nomalize)

1. $\frac{1}{A} \times J(x) = \frac{H(x) - A}{t(x)}\times\frac{1}{A} + A\times\frac{1}{A}$

 

2. $I_{J_{n}}(x) = \frac{H_{n}(x) - 1}{t(x)} + 1$

 

- 위에서 얻은 식을 통해 $I_{J_{n}}(x)$를 구하면 다음과 같다.

$I_{J_{n}(x)} = \frac{I_{H_{n}}(x) - 1}{t(x)} + 1$

 

  도출한 $I_{J_{n}}(x)$를 도출한 t(x) 식에 적용하면 다음과 같다.

 

$t(x) = \frac{1 - I_{H_{n}}(x)(1 - S_{H_{n}}(x))}{1 - (\frac{I_{H_{n}}(x) - 1}{t(x)} + 1) (1 - S_{J_{n}}(x))}$

 

  위 식을 정리하면 다음과 같다.(실제로 정리해봤는데 저렇게 됨)

 

$t(x) = 1 - I_{H_{n}}(x)(1 - \frac{S_{H_{n}}(x)}{S_{J_{n}}(x)})$

 

  본 논문에서 정의하는 transmission map을 구하기 위한 식에서는 unknown value인 $S_{J_{n}}(x)$를 통해 간단하게 추정할 수 있다. 위 식에서 핵심인 $S_{J_{n}}(x)$는 다음 Section에서 설명된다. 아래 사진은 DCP 기법을 통해 얻은 transmission map과 제안한 방법으로 얻은 transmission이다. DCP 기법의 transmission map은 상세한 detail과 edge를 얻기 힘들지만(local patch로 추정하고 필터링 하기 때문), 제안한 방법에서는 뚜렷하게 나타난 것을 확인할 수 있다.

 

 

C. Estimating Saturation of Scene Radiance

  이번 Section에서는 위에서 언급한 transmission map에서 중요한 역할을 하는 $S_{J_{n}}(x)$를 추정한다. $S_{J_{n}}(x)$를 구하기 위해서는 위에서 언급한 $t(x) = 1 - I_{H_{n}}(x)(1 - \frac{S_{H_{n}}(x)}{S_{J_{n}}(x)})$를 기반으로 한다.

 

  위 식을 $S_{H_{n}}(x)$를 구하기 위한 식으로 바꾸면 다음과 같다.

 

$S_{H_{n}}(x) = t(x)\frac{I_{J_{n}}(x)}{I_{H_{n}}(x)}S_{J_{n}}(x)$

 

  바로 위 식을 정리하기 위해 위에서 정의한 $I_{J_{n}}(x) = \frac{H_{n}(x) - 1}{t(x)} + 1$를 다음과  같이 나타낼 수 있다.

 

$I_{H_{n}}(x) = t(x)I_{J_{n}}(x) + 1 - t(x)$

 

  위 식들을 통해 얻을 수 있는 정보는 $t(x)$가 $0 \leq t(x) \leq 1$인 것을 통해 $I_{J_{n}}(x) \leq I_{H_{n}}(x)$와 $S_{J_{n}}(x) \geq S_{H_{n}}(x)$를 쉽게 도출할 수 있다. 

 

  본 논문에서는 위에서 얻은 정보를 통해 다음과 같은 stretch fuction을 도출한다.

1.

2.

3.

 

  본 논문은 위 3가지 방법의 stretching 기법을 통해 saturation을 추정한다.

 

 

  아래 사진은 위 3가지의 stretching 방법을 적용시켜 얻은 dehazing image의 결과이다.

 

D. Removing Color Veil

The hazy image is considered to be a convex sum of the haze-free image and veil made by atmospheric light

  필자는 veil이라는 표현을 이번 논문에서 처음 봤는데 veil의 의미는 안개로 인한 장막(?) 같은 느낌이라고 보면 될 것 같다. (veil은 신부의 면사포 혹은 비밀스럽게 가려져 있는 상태를 비유하여 이르는 말. 순화어는 `장막'. 라고 쓰인다.)

 

  본 논문에서는 안개 영상은 깨끗한(Haze-free) 영상과 color veils(atmospheric light로 인한)이 합쳐진 것이라고 한다. 또한, 황사나 특정한 빛(light)으로 인한 조건에서도 color veils이 존재할 수 있다고 한다. 이를 증명하기 다음 사진을 보여준다. 이는 안개 영상에서의 color veils와 이를 통해 제거된 Haze-free 영상이다.

  맨 위 라인은 gray veil을 보여준 것으로 대기산란광(atmospheric light)을 표현한 것이고, 중간 라인은 특정한 빛 조건을 표현한 것이고, 마지막 맨 밑 라인은 황사의 color veil을 표현한 것이다. 위 사진을 보면 맨 위 라인은 dehazing이 잘이루어졌지만, 중간 라인과 마지막 라인은 잘 이루어지지 않은 것을 확인할 수 있다. 

 

  본 논문에서는 이러한 color veils를 제거하기 위해 white balancing 방법을 사용한 간단한 알고리즘을 소개한다. 알고리즘을 사용하여 얻은 $H(x)$로 $H_{W B}(x)$를 구할 수 있다. 고안된 식은 다음과 같다.

 

$H^{c}_{W B}(x) = W (H^{c}(x)) = \frac{\mu(H^{g}(x))}{H^{c}(x)}H^{c}(x)$

 

• $\mu(H^{c}(x))$ : $H^{c}(x)$ 색 구성(color component)의 평균값
• $W(·)$ : white balancing function

  본 논문에서는 White Balance 기법을 상황에 따라 나누어 써야 한다고 한다. 이는 $A$(안개값)를 통해 알 수 있는데 일반적인 $H(x)$에서의 $A$와 White Balance를 적용한 $H_{W B}(x)$에서의 $A_{W B}$를 비교하여 그 특정한 상황(조건)에 따라 White Balance를 적용할 지, 안할 지 선택하는 것이다. 언급한 두 조건과 계산은 다음과 이루어진다.

 

$J(x) = \begin{cases} & D(H(x),A,t(x)), \text{ if } \Delta(A) \leq \Delta(A_{W B}) \\ & W[D(H(x), A_{WB}, t(x))], \text{ otherwise. } \end{cases}$

 

  위 식에서 두 조건에 따라 나오는 결과값을 보면 다음과 같다.

  위 사진에서 (a)는 $\Delta(A) < \Delta(A_{WB})$이기 때문에 $D(H(x), A, t(x))$에서 더 좋은 효과가 나타났다. 이와 다르게 (b)는 $\Delta(A) > \Delta(A_{WB})$이기 때문에 $W[D(H(x), A_{W B}, t(x))]$에서 더 좋은 효과가 나타났다.

 

E. Effect of Atmospheric Light

 

  아래 사진은 $A$(Tang et al's $A$, He et al's $A$)를 DCP 알고리즘에 적용했을 때의 영상을 보여준다.

   위 사진에서 (b)의 하늘에서는 annoying artifacts 가지는 반면에 (c)는 그나마 낫다. 동일한 dehazing 함수에서 다르게 나타나는 이유는 dark channel 값에서 가장 큰 0.1%에 대한 median filtering 때문이다. 결론적으로, DCP 방법은 $A$에 따라 다른 Dehazing 결과값을 보여준다.

 

  본 논문에서는 $A$에 의해 정규화(normalized)된 영상을 이용하여 명도(intensity, value) 및 채도(saturation)를 계산하고, 이 두 성분(value, saturation)을 바탕으로 $t(x)$를 추정한다. 또한, 대기산란광(Atmospheric light) $A$가 주어졌다고 가정했을 때, 대기산란광의 추정은 제안된 방법에 큰 영향을 미치지 않는다는 것을 다음 사진에서 확인할 수 있다.

대기산란광은 세 가지 방법(Tang's $A$, quad-tree subdivision-based $A$, He's $A$)을 사용하여 추정했을 때, 위 사진에서 보는 바와 같이, Dehazing의 결과는 유사하다. 이러한 결과는 제안된 방법이 $A$의 추정에서 상대적으로 영향을 받지 않음을 보여준다.

 

F. Summary of Proposed Method

-------------내용입력-----------

 

 

 

4. Simulation Results

5. Conclusion

In this paper, we proposed a fast and efficient single image dehazing method using saturation-based transmission map estimation. The proposed method does not assume that transmission is constant in a small patch. Therefore, pixelbased medium transmission can be obtained. The normalized atmospheric scattering model with atmospheric light was used, and the minimum operation was applied for the normalized atmospheric scattering model. From this, the transmission map was derived as a function only of the saturation component of the scene radiance. The saturation of scene radiance was estimated using a simple stretching method. Using a simple test, the dehazing performance does not depend largely on the type stretch function. In addition, a color veil removing algorithm using the white balance technique was presented. This method was useful in recovering various hazy images with color veils. We evaluated various types of hazy images, including natural images, synthetic images, and natural images with color veils. In addition, the performance of the proposed method was compared with that of the existing dehazing algorithms. The simulation results showed that the proposed dehazing scheme outperforms state-of-the-art dehazing approaches in terms of both the computational complexity and dehazing efficiency. Because our algorithm requires no training, prior, and refinement process, we achieved an efficient dehazing algorithm.​

 

Reference

Fast Single Image Dehazing Using Saturation Based Transmission Map Estimation