Signal Processing Engineer's Blog

1. What is OpenCV?

An abbreviation of Open Source Computer Vision, an open source library that can be used for image/video processing.

OpenCV is released under a BSD license, so it's free for academic and commercial use. Therefore, Even if you make money using OpenCV, many companies or individual developers do not share the source code and pay the license fee.

"The Berkeley Software Distribution (BSD) license is so weak that it can't be called a software license, so the software can be modified and distributed by anyone. However, you don't need for modified versions to be open, so many companies and developers can use it in commercial software."

It also supports a variety of interfaces such as C ++, C, Python, and Java, and supports a variety of operating systems such as Windows, Linux, Mac OS, iOS, and Android.

OpenCV is designed algorithmically with a focus on computational efficiency and real-time applications, so you can create commercial applications that can be processed in real-time by simply coding using the APIs provided by OpenCV. 

In addition, OpenCV supports multi-core processing, so it can be applied to various situations.

It is used in various image processing systems such as interactive art, image stitching, factory defect detection systems and robotics.

2. So what can I do?

Figure 1. Edge Detection

Figure 2. Noise reduction

Figure 3. Panoramic photo synthesis using image stitching

3. Reference

OpenCV로 작성된 코드를 디버깅 모드로 빌드하신 후 

디버깅 모드 빌드에는 

opencv_world<OpenCV_version>d.dll

가 있어야 빌드가 가능하니 참고 바랍니다. 뒤에 d가 debug에 약자라고 보시면 됩니다.

디버깅 모드로 break point를 잡으신 다음 디버깅 모드를 키시고 메뉴에 View -> Other Windows -> Image Watch를 키시면 됩니다.

간단하게 canny edge를 검출하는 코드로 테스트 해보았습니다.

이런식으로 메모리상에 있는 이미지를 자동으로 찾아서 띄워주게 됩니다.

해당 이미지를 바이너리 형태로 dump를 생성할 수 있고 이미지 확대, 축소(마우스 휠 이용), 좌표 위치의 픽셀값들을 확인할 수 있습니다.

확대하였을때 픽셀값의 value가 보이는것을 확인하실 수 있습니다.

Image watch tool 정말 쓸모있네요. 원래는 debugging 함수를 사용하여 imshow로 확인하는 작업을 했었는데요. 이 단계를 없애주는 고마운 툴입니다. 여러분도 잘 활용하셔서 OpenCV 코딩에 도움이 되셨으면 좋겠습니다.

3. 참고문헌

우리가 흔히 보는 화면은 2차원의 LED 배열로부터 화면의 색과 밝기를 표현합니다.

다들 휴대폰 화면을 가까이서 자세히 보면 이런 형태의 모양이 보일겁니다. TV를 가까이서 보신 분들은 꽤 익숙하실겁니다. 

우리는 이처럼 평면상에 점을 찍어서 하나의 Pixel(이미지의 최소 단위)을 표현을 하고 그 Pixel들을 모아 이미지를 만들어내죠. 그런데 그 크기가 매우 작기때문에 우리 눈에는 이러한 복잡하고 불연속적인 이미지가 보이는 것이 아니라 하나의 연속적인 그림으로 보이게 되는거죠.

(인간의 눈은 High frequency 성분을 구분할 수 있는 능력이 떨어지기 때문입니다 이와 관련된 영상신호처리 이론은 추후에 올릴예정입니다)

따라서 OpenCV도 화면에 이미지를 나타낼 때 값들이 모여있는 형태의 Matrix(행렬) 자료형이 필요한겁니다.

Mat 클래스는 이러한 영상들을 간단하게 저장할 수 있도록 만들어 줍니다. Mat 오브젝트를 만드는 가장 손쉬운 방법은 생성자를 이용한 방법입니다.

Mat img(nrows, ncols, type, fillValue);

이런 형태로 선언하면 Mat 오브젝트를 생성할 수 있습니다. nrows는 행, ncols는 열, tpye은 이미지의 데이터 타입, fillValue는 이미지에 채우고 싶은 값입니다. 
예시로 설명드리면 

Mat img(256, 256, CV_8U, Scalar(255));

위 코드의 의미는 
256(nrows) x 256(ncols) 크기의 이미지인데 픽셀당 Unsigned 8 bit integer(CV_8U)를 사용하여 스칼라 값인 255(Scalar(255))를 표현하겠다. 
위 그림을 실행 시키면 화면에 아래와 같이 표현됩니다.

그림 3. Mat 예시 코드 실행

이미지의 데이터 타입에 들어가는 형태를 설명드리면 

CV_<bit 수>{U or S or F}C<채널수> 

• CV -> Computer Vision
• bit 수 -> 픽셀이 표현하는 데이터의 비트 수
• U -> Unsigned (-부호가 없는 0을 포함한 자연수를 의미)
• S -> Signed(-포함한 정수를 의미)
• F -> Floating point(실수형 표현을 의미)
• 채널 -> 이미지의 채널 수를 의미

         *(ex)영상의 포멧이 RGB라면 3채널 이미지가 됩니다.)


정의는 아래와 같이 되어있습니다.





지난 시간에 사용하였던 예제코드를 다시보면 이제는 이해가 가실겁니다.



한마디로 요약하면 
256x256 unsigned int8의 이미지에 255값을 채운 윈도우를 띄워라 입니다.

2. 이미지 파일 로드하기

OpenCV를 이용하여 위와 같이 빈그림을 만드는 것보단 기존에 있는 그림을 불러와서 작업하는 일이 더 많습니다.

이에 따라 OpenCV는 다양한 이미지 파일 포멧을 Mat 형태로 저장할 수 있는 함수가 존재합니다.

기본 지원 파일 포멧	추가 파일 포멧
*.bmp, *.dib *.pbm, *.pgm, *.ppm *.sr, *.ras	*.jpeg, *.jpg, *.jpe *.jp2 *.png *.tiff, *.tif *.webp

이미지를 불러오는 함수는 다음과 같습니다.





filename에 파일의 이름을 넣어주고 flags에는 이미지 변환 코덱에 주는 옵션이라고 생각하시면 됩니다.

옵션의 종류는 아래와 같습니다.




자신이 원하는 포멧을 정하고 파일을 읽으시면 됩니다.

이를 이용한 컬러 이미지를 읽고 흑백 이미지로 변환하여 파일로 출력하는 예제코드를 작성해보면



강의에서 사용하는 모든 사진자료는 제 블로그 github에서 받으실 수 있습니다.
https://github.com/smail91/blogspot_repo/tree/master/TC

그림 4. 코드 실행 후 화면

empty()함수는 Mat의 멤버 함수로 빈 이미지일 경우 true를 반환합니다.

namedWindow("lenna.png", WINDOW_AUTOSIZE);
이 함수는 이름 그대로 윈도우에 띄울 창의 이름과 크기를 설정하는 함수입니다. 그냥 간단하게 autosize로 설정하면 이미지의 크기만큼 윈도우가 생성되어 디스플레이됩니다.

imshow("lenna.png", in);
이 함수도 역시 image를 show한다. 즉 위에서 생성한 윈도우 창 lenna.png 창에 in이라는 이미지를 출력하라는 함수입니다.

cvtColor(in, out, COLOR_BGR2GRAY);
이 함수는 convert color로 in의 color image를 gray scale로 변환하여 out에 넣어라 라는 함수입니다. 주로 color format 변환에 쓰입니다.

waitKey(0);
이 함수는 키 입력 이벤트가 일어나기 전까지 대기하여 우리가 영상을 확인할 수 있습니다. 0 대신 다른 delay값을 넣어서 시간을 조절할 수 있습니다.(ms 단위)

imwrite("lenna_gray.png", out);
이 함수는 lenna_gray.png라는 이름으로 out이미지를 파일로 출력하라는 의미입니다.

여기까지 성공하셨으면 여러분은 OpenCV 왕초보는 벗어나신겁니다. ㅎㅎ
조금 더 힘내서 비디오 캡처까지 따라가봅시다!

3. 비디오 캡처하기

왕초보를 벗어나신 여러분을 위하여 선코드부터 제시합니다.

그림 5. 실행화면 (캠이 없어서 버추얼 아웃풋이 나오네요..)

VideoCapture 클래스를 통해 웹캠을 읽어와서 (1000/30)밀리초마다 한번씩 이미지를 갱신해주는 코드입니다.
결국 video도 이미지를 짧은 시간동안 여러장(보통 1초에 30장 -> 30 FPS) 보여주어 움직이는 것처럼 보이게 만들기 때문에 위에 이미지를 읽는 코드와 거의 유사합니다.

여러분은 이 기본 코드를 이용하면 다양한 영상처리 프로그램을 제작하는 뼈대를 만드실 수 있을겁니다.

4. 참고문헌

[1] Learning Image Processing with OpenCV

[2] 위키피디아 LED array, RGB 색공간 그림

#include 
#include 

using namespace cv;
using namespace std;

int main(int argc, char *argv[]) 
{
 Mat img(256, 256, CV_8U, 255);

 namedWindow("Mat img", WINDOW_AUTOSIZE);
 imshow("Mat img", img);
 waitKey(0);

 return 0;
}

1. OpenCV가 무엇인가요?

Open Source Computer Vision의 약자로 다양한 영상/동영상 처리에 사용할 수 있는 오픈소스 라이브러리입니다. 

OpenCV는 BSD 라이센스 하에 배포되므로 학술적 및 상업적 용도로 무료입니다. 따라서 OpenCV를 이용하여 제품을 만들어서 수익이 나도 소스코드를 공유, 라이센스 비용 지불을 하지 않아 많은 기업이나 개인 개발자가 사용하기도 합니다.

"BSD (Berkeley Software Distribution) 라이선스는 소프트웨어 라이선스라고도 할 수 없을 만큼 미약하여, 해당 소프트웨어는 아무나 개작할 수 있고, 수정한 것을 제한 없이 배포할 수 있다. 다만 수정본의 재배포는 의무적인 사항이 아니므로 BSD 라이선스를 갖는 프로그램은 공개하지 않아도 되는 상용 소프트웨어에서도 사용할 수 있다."

또한 C++, C, Python 및 Java와 같은 다양한 인터페이스를 지원하며 Windows, Linux, Mac OS, iOS 및 Android같은 다양한 OS를 지원합니다.

OpenCV는 알고리즘 상으로 계산 효율성과 실시간 응용 프로그램에 중점을 두고 설계되었기 때문에 간단하게 OpenCV에서 제공되는 API를 사용하여 코딩하여도 실시간 프로세싱이 가능한 어플리케이션을 만들 수 있기 때문에 최적화나 알고리즘을 생각하지 않고도 품질 좋은 상용 프로그램을 만들 수 있습니다.

또한 OpenCV는 멀티 코어 프로세싱을 지원하기 때문에 다양한 상황에 응용이 가능합니다.

interactive art나 image stitching, 공장의 불량품 검출 시스템 및 로봇공학 등 다양한 영상처리 시스템에서 이용되고 있습니다.

2. 그래서 뭘 할 수 있는데요?

그림 1. 윤곽선 검출

그림 2. 노이즈 제거

그림 3. 이미지 스티칭을 이용한 파노라믹 사진 제작

3. 참고 문헌