Signal Processing Engineer's Blog: 4월 2019

[OpenCV 강의] 번외편 OpenCV debugging tool 소개(Image Watch)

By New AI Engineer - 4월 19, 2019

안녕하세요. 오늘 다뤄볼 내용은 OpenCV를 debugging하는 tool 하나를 소개해드리는 시간을 갖도록 하겠습니다.

1. Image Watch 설치

OpenCV 디버깅 툴 이름은 이미지 워치인데요. 이곳에서 받으시면 됩니다.<Image Watch 다운로드>

요구사항
Visual Studio 2012 버전 이상이 필요합니다.

영상처리하면서 가장 귀찮은 작업을 덜어주는 툴입니다.
영상을 읽고 처리 도중에 dump data를 만들어서 저장하고 다시 확인하는 귀찮은 작업을 덜어줄 수 있습니다.

이미지 워치는 cv::Mat에 들어있는 이미지를 읽어서 파일로 저장하지 않은 상황에서 바로 visualization 시켜주는 툴이라고 보시면 됩니다.

2. Image Watch 사용법

OpenCV로 작성된 코드를 디버깅 모드로 빌드하신 후

디버깅 모드 빌드에는

opencv_world<OpenCV_version>d.dll

가 있어야 빌드가 가능하니 참고 바랍니다. 뒤에 d가 debug에 약자라고 보시면 됩니다.

디버깅 모드로 break point를 잡으신 다음 디버깅 모드를 키시고 메뉴에 View -> Other Windows -> Image Watch를 키시면 됩니다.

간단하게 canny edge를 검출하는 코드로 테스트 해보았습니다.

비주얼 스튜디오 2015에 창을 추가한 모습

이런식으로 메모리상에 있는 이미지를 자동으로 찾아서 띄워주게 됩니다.

해당 이미지를 바이너리 형태로 dump를 생성할 수 있고 이미지 확대, 축소(마우스 휠 이용), 좌표 위치의 픽셀값들을 확인할 수 있습니다.

lenna의 눈 부분 확대한 그림

확대하였을때 픽셀값의 value가 보이는것을 확인하실 수 있습니다.

Canny edge 검출된 모습을 뷰어로 바로 확인한 모습

Image watch tool 정말 쓸모있네요. 원래는 debugging 함수를 사용하여 imshow로 확인하는 작업을 했었는데요. 이 단계를 없애주는 고마운 툴입니다. 여러분도 잘 활용하셔서 OpenCV 코딩에 도움이 되셨으면 좋겠습니다.

3. 참고문헌

[1] Image watch documentation

0 Comments

DSP

[DSP 기본] 주파수(Frequency)에 대한 고찰

By New AI Engineer - 4월 14, 2019

1. 주파수(Frequency)란 무엇인가?

우리가 물리시간에 배웠던 주파수가 무엇일까요?

주파수의 개념

주파수의 정의는 주기성을 갖는 신호가 1초동안 몇번이나 동일한 파형을 지나갔는가 대한 수를 나타냅니다. 즉 주기의 역수가 되는것이죠.

예를들어 sin 형태의 파형을 가진 신호가 하나 있다고 가정했을 때

sin이 1초동안 한 주기가 지나갔다 - 1Hz

sin이 1초동안 두 주기가 지나갔다 - 2Hz

결국 신호가 빠르게 변할 수록 주파수가 커지는 것입니다.

위에 그림에서 봤을때 가장 변화가 심한 사인파는 세번째 파형일 것입니다.

2. 주파수(Frequency)로 왜 표현하는가?

하지만 저런 파형을 시간축에서 표현하기가 쉽지 않을 뿐더러 불필요한 중복된 정보가 너무 많습니다. 우리가 궁금한 것은 1초에서의 신호의 값이 아니라 그저 주파수, 그리고 크기, 위상 3가지 정보만 있으면 어떠한 파형이든 표현이 가능합니다.

따라서 주기신호는 보통 시간축(Time domain)이 아닌 주파수축(frequency domain)에서 주로 표현합니다.

위에 그림을 보시면 왼쪽이 시간축, 오른쪽이 주파수 축의 신호를 나타낸 그림입니다. 왜 주파수 축에서 신호를 표현하는지 감이 오실겁니다. 바로 시간축에서 복잡해 보이는 신호도 짝대기 몇개면 표현이 가능하다는 겁니다.

자 질문을 드리겠습니다. 주파수 1과 2에 크기가 1인 사인파를 Time domain에 표현해보세요. 파형이 머리속에 그려지시나요? 하지만 주파수 축에 표현하면 짝대기 2개면 끝입니다.

매우 직관적이죠.

컴퓨터의 관점에서 보면 실수의 표현의 한계때문에 우리는 완벽한 sin wave를 저장할 수 없습니다. 0과 1사이의 무한개의 점이 있다고 배웠습니다.

하지만 주파수 축에서 저장을 한다고 생각해보시면 단 한개의 값만 저장하면 됩니다.

이처럼 주파수 축에서의 신호처리는 시간축에서의 불필요한 중복된 정보를 처리하는 것이 아닌 유효한 정보를 처리 할수 있게 해줍니다.

0 Comments

AEC

[Open Source] 마이크, 스피커 신호처리 (AEC, RES 윈도우 튜토리얼)

By New AI Engineer - 4월 14, 2019

안녕하세요.
오늘은 오디오 Speex 코덱의 모듈인 AEC와 RES 부분을 따서 api화 해보았습니다.

1. Speex란 무엇인가

먼저 Speex 코덱이란 음성 통화를 목적으로 만들어진 오디오 코덱인데요. 내부에 통화 품질 향상을 위한 여러가지 모듈이 들어있습니다. denoise, dereverb, AGC, AEC, RES, VAD와 같이 음성처리에 필요한 여러가지 모듈을 오픈소스화하여 제공하고 있습니다. <Speex 공식 사이트>

2. 모듈에 대한 설명

Noise Reduction(관련 위키)
음성 통화에서 생길 수 있는 여러가지 노이즈(통화자의 음성이 아닌 다른 소리들)을 제거해주는 모듈

Denoising, Dereverbing, AEC(Acoustic Echo Cancellation), RES(Residual Echo Suppression) 등이 있습니다.

여기서 제가 API화 하였던 AEC, RES는 원거리 통화 상황에서 발생할 수 있는 에코를 제거해주는 것입니다.(관련 위키)

에코란 무엇인가

그렇다면 에코가 무엇일까요? 위에 그림을 보시면 알수 있습니다. 우리가 컴퓨터에서 원거리 화상 통화를 하고있다고 생각해봅시다. 상대가 말하는 신호는 위에 스피커로부터 나오고 있습니다. 그런데 그 스피커에서 나오는 음성이 너무 커서 나의 음성과 섞여 마이크로 들어갔습니다.

상대가 듣는 음성 = 나의 음성 + 스피커로부터 나오는 본인의 음성 + 노이즈

이렇게 되겠죠. 그런데 소리가 마이크로 바로 들어가는 신호가 있을 수 있고 벽에 튕겨서 들어가는 소리가 있을 수 있습니다. 그런 신호들을 에코라고 부릅니다. AEC는 에코를 제거해주어 상대가 나의 음성만 들을 수 있도록 만들어주는 기술입니다. AEC는 에코신호의 linear 특성을 반영하여 linear 에코를 잡아주는 역할이고, 벽에 튕겨져 나오거나 스피커의 왜곡에 의해 생기는 non-linear 특성을 잡아주는 알고리즘이 RES입니다. 그래서 둘을 함께 사용합니다.

이 기술을 이용하면 화상 채팅, 화상 통화, 원거리 회의 시스템 등 스피커와 마이크가 같이 있는 환경에서 사용되는 어플리케이션에 필수적으로 들어가야 하는겁니다. 이와 관련된 프로젝트를 하신다면 이 모듈을 사용할 것을 권해드립니다.

3. 테스트 코드

<Speex_AEC>

제가만든 윈도우 버전의 테스트 코드입니다. Speex_AEC 폴더에 보시면 visual studio 2015로 만들어진 프로젝트가 있습니다. 이를 다운받으시고 사용하시면 됩니다.
testecho.c 파일에 메인함수가 존재합니다.
인풋으로 mic.raw(마이크 신호) ref.raw(스피커 신호)가 들어가고 out.raw형태로 나오게 됩니다.
.raw란 말 그대로 가공되지 않은 음성 데이터를 말합니다.
안에 보시면 샘플레이트나 한 프레임 사이즈를 바꿀 수 있도록 되어있습니다.
그리고 mdf.c와 preprocess.c 부분을 참고하시면 위에 파라미터들을 바꾸실 수 있습니다. 이는 본인의 마이크나 스피커 상황에 맞도록 튜닝하셔서 환경에 맞게 최적의 성능을 만들어 내실 수 있습니다. 고전적인 알고리즘이지만 성능이 꽤 괜찮으니 사용해보세요.

테스트로 넣어놓은 마이크 신호와 스피커 신호는 16000Hz에 1ch signed 16bit 형태로 되어있습니다. 참고하세요.

맨위 스피커 신호, 두번째 마이크 신호, 세번째 캔슬된 에코신호, 마지막 최종 에코가 제거된 신호

0 Comments

object detection

[Open Source] YOLO v3 윈도우 버전 설치 및 튜토리얼 한방에 정리

By New AI Engineer - 4월 13, 2019

안녕하세요. 오늘은 Computer Vision 분야의 Object detection 분야에서 널리 쓰이는 YOLO(You olny look once)에 대해서 튜토리얼을 진행합니다.

1. YOLO란 무엇인가?

먼저 Computer Vision에서 Object detection이란 사진에 있는 물체를 찾아내는 알고리즘을 말합니다.

Yolo Object detection example

대충 감이 오시죠? 어떤 이미지을 넣으면 어떤 사물이 있는지 어디에 있는지 알 수 있습니다.

YOLO는 이러한 다양한 프로젝트에 활용되는 CNN 기반의 대표적인 알고리즘 중 하나입니다.
최적화가 굉장히 잘되어 있어서 GPU를 사용하면 실시간 object detection도 가능합니다.
현재 최신버전으로 yolo v3가 나왔습니다.

이를 활용하면 특정 물체를 찾고자하는 다양한 프로그램을 제작할 수 있습니다. (CCTV 감시 시스템, 이미지 검색 시스템 등등)

2. 윈도우 버전 YOLO v3 설치하기

윈도우 버전 YOLO를 설치하기 전에 먼저 설치되어야 할 프로그램

Visual studio
NVIDIA CUDA (cuda-toolkit-archive)
NVIDIA cuDNN(cudnn-archive)
OpenCV 2.4 이상(참고 [OpenCV 강의] 2. OpenCV 설치하기)

제가 사용한 버전은 아래와 같습니다.

Visual studio 2015
CUDA 9.0
cuDNN 7.3.1
OpenCV 4.0.1

CUDA와 cuDNN은 서로 호환이 되는 버전으로 잘 보고 설치해주세요.

예를 들어 CUDA 9.0을 설치하셨으면 cuDNN은 뒤에 (for CUDA 9.0) 이런 형태로 붙어 있는걸 설치해야함

(CPU 버전은 CUDA와 cuDNN 설치가 필요x)

A. Darknet 프로젝트 다운로드

YOLO 알고리즘 소스코드가 들어있는 프로젝트를 Darknet이라고 부르는데요. 이를 받아줍니다.

Darknet 다운로드 링크 Darknet.zip 또는 원본 위치 github darknet에서 소스코드를 다운로드 받습니다.

Clone or download(초록색 버튼) -> Download ZIP

B. MSVS 버전, CUDA Path를 자신의 환경에 맞게 설정

Visual studio 2015, CUDA 10.0을 설치하신분은 darknet.sln을 바로 실행시켜봅니다. 안되면 아래 경로 설정 참고.

darknet-master\darknet-master\build\darknet 에 들어가 보시면 darknet.vcxproj 파일을 메모장 프로그램으로 여시면 수정하실 수 있습니다.

개인적으로 코딩 스타일로 바꿔주는 메모장 프로그램인 notepad++ 추천드립니다.(notepad++ 공식사이트)

ToolsVersion="14.0" 라고 쓰인 부분을 찾아서 본인의 VS toolset 버전을 입력합니다.

제 Toolset 버전은 v140이네요. 14.0을 의미합니다.

CUDA 10.0이라고 쓰인 부분을 찾아서 본인의 버전을 입력합니다.

그 후 darknet.sln를 실행시켜보고 loading 이 정상적으로 되면 다음 단계로 넘어갑니다.

만약 이부분을 바꿔도 프로젝트가 로딩되지 않으면 해당 설정파일 있는 경로로 바꿔주셔야됩니다.(CUDA 설치 이후에 비주얼 스튜디오를 설치한 경우)

저의 경우는 CUDA 9.0 이후에 비주얼을 설치하여 해당 설정파일이 복사되지 않아서 수동으로

$(VCTargetsPath)\BuildCustomizations\CUDA 10.0.props

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\extras\visual_studio_integration\MSBuildExtensions\CUDA 9.0.props

------------------------------------------------------------------------------------------------

$(VCTargetsPath)\BuildCustomizations\CUDA 10.0.targets

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\extras\visual_studio_integration\MSBuildExtensions\CUDA 9.0.targets

이것을 CUDA toolkit 경로로 바꿔줘야됩니다. 그러면 정상적으로 로딩됨을 확인할 수 있습니다.

C. OpenCV, cuDNN, GPU architecture 설정

(a) 프로젝트 property -> C/C++ -> general -> additional include directories의 include 경로중 opencv, cuDNN, CUDA 경로가 본인이 설치한 경로로 맞게 설정

예시(참고만 하세요)

1 $(OPENCV_DIR)\include;

2 C:\opencv_3.0\opencv\build\include;

3 ..\..\include;

4 ..\..\3rdparty\stb\include;

5 ..\..\3rdparty\pthreads\include;

6 %(AdditionalIncludeDirectories);

7 $(CudaToolkitIncludeDir);

8 $(CUDNN)\include;

9 $(cudnn)\include

D:\opencv\build\include;(1,2을 대체 opencv 경로의 include 폴더)

..\..\include;

..\..\3rdparty\stb\include;

..\..\3rdparty\pthreads\include;

%(AdditionalIncludeDirectories);(3, 4, 5, 6은 공통 경로이므로 수정 x)

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\include;(7 대체 CUDA toolkit include 경로, 매크로 설정이 되어있으면 안바꿔도됨)

D:\cudnn\include(8, 9 대체 cuDNN 경로의 include 폴더)

똑같이 치지 마시고 본인 설치 경로를 입력해야됩니다.

위의 opencv 경로와 환경변수 세팅이 안되어 있었기 때문에 일일히 수동으로 바꿔주었습니다.

(b) 프로젝트 설정 페이지 -> CUDA C/C++ -> device -> code generation에서 본인의 architecture에 맞는 값 입력

예시(참고만 하세요)

compute_30,sm_30;compute_75,sm_75

compute_61,sm_61

제 GPU는 GTX 1070이었기 때문에 61로 적었고 본인의 GPU에 맞는 값을 입력합니다.

GPU Compute Capability 정보 페이지

예시(참고만 하세요. x64 release로 돌렸을때 기준입니다)

1 C:\opencv_2.4.9\opencv\build\x86\vc14\lib;

2 C:\opencv_2.4.9\opencv\build\x86\vc12\lib;

3 $(CUDA_PATH)lib\$(PlatformName);

4 $(cudnn)\lib\x64;

5 ..\..\3rdparty\pthreads\lib;

6 %(AdditionalLibraryDirectories)

D:\opencv\build\x64\vc14\lib;(1,2 대체)

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\lib\$(PlatformName);

(3 대체)

D:\cudnn\lib\x64; (4 대체)

..\..\3rdparty\pthreads\lib; (5는 바꿀필요 없음)

%(AdditionalLibraryDirectories)

D. OpenCV, CUDA 관련 dll 파일 복사

darknet.exe가 생성되는 경로에 dll파일을 미리 복사해서 넣어야합니다.

저같은 경우에는 x64 Release 였기 때문에

darknet-master\darknet-master\build\darknet\x64 에

opencv_world401.dll

opencv_ffmpeg401_64.dll

cusolver64_90.dll

curand64_90.dll

cudart64_90.dll

cublas64_90.dll

를 복사해서 넣었습니다. 물론 opencv뒤에 붙은 숫자 401은 본인 버전에 맞는 숫자겠죠?

저는 4.0.1 이라서 401인겁니다. cuda 또한 제가 9.0버전을 썼기 때문에 90이 붙은거구요.

ps. 모든건 본인 버전에 맞춰서 생각해야되요.

왜 안되냐 하기전에 100% 같은 컴퓨터 환경이 없기때문에 이 부분은 감안해야됩니다.

(앞으로도 쭉 감안하고 보셔야됩니다. open source란게 원래 모든 환경에서 돌아가게 뚝딱하고 만든 상용 소프트웨어는 아니거든요)

드디어 경로 설정 및 로컬 GPU 설정으로 변경을 완료하였습니다.. 이제 한번 돌려볼까요?

2. 윈도우 버전 YOLO v3 테스트 실행

간단하게 detector에 dog.jpg를 넣고 결과를 확인해볼 수 있습니다.

그전에 논문에서 사용된 Yolo의 파라미터들을 불러올 수 있는데요. 이걸 그대로 사용해서 object detection을 해보겠습니다.

우선 미리 훈련된 weight 값을 받아와야합니다.

yolov3-openimages.cfg (247 MB COCO Yolo v3) - requires 4 GB GPU-RAM: https://pjreddie.com/media/files/yolov3-openimages.weights
yolov3-spp.cfg (240 MB COCO Yolo v3) - requires 4 GB GPU-RAM: https://pjreddie.com/media/files/yolov3-spp.weights
yolov3.cfg (236 MB COCO Yolo v3) - requires 4 GB GPU-RAM: https://pjreddie.com/media/files/yolov3.weights
yolov3-tiny.cfg (34 MB COCO Yolo v3 tiny) - requires 1 GB GPU-RAM: https://pjreddie.com/media/files/yolov3-tiny.weights
yolov2.cfg (194 MB COCO Yolo v2) - requires 4 GB GPU-RAM: https://pjreddie.com/media/files/yolov2.weights
yolo-voc.cfg (194 MB VOC Yolo v2) - requires 4 GB GPU-RAM: http://pjreddie.com/media/files/yolo-voc.weights
yolov2-tiny.cfg (43 MB COCO Yolo v2) - requires 1 GB GPU-RAM: https://pjreddie.com/media/files/yolov2-tiny.weights
yolov2-tiny-voc.cfg (60 MB VOC Yolo v2) - requires 1 GB GPU-RAM: http://pjreddie.com/media/files/yolov2-tiny-voc.weights
yolo9000.cfg (186 MB Yolo9000-model) - requires 4 GB GPU-RAM: http://pjreddie.com/media/files/yolo9000.weights

여기서 본인이 원하는 weights 파일을 받습니다. GPU 환경이나 맞는 weights값을 받아서 darknet.exe가 생기는 경로에 넣어줍니다.

전 darknet-master\darknet-master\build\darknet\x64 에 넣었습니다.

제가 테스트 해볼 세팅은 아래 두개 파일로 세팅하였습니다.

yolov3.cfg , yolov3.weights

실행파일 입력으로

detector test ./cfg/coco.data ./cfg/yolov3.cfg ./yolov3.weights ./data/dog.jpg

함수

이렇게 넣어주었습니다.

실행 결과

768 x 576 해상도의 이미지를 25.7 ms에 처리했네요.

i7 - 7700, GTX 1070로 38.9 FPS로 처리가 가능하네요.

tiny 버전으로 돌려보면 더 빠르겠죠.

이를 활용해서 프로젝트를 하실 분들은 darknet.c에 main함수를 참고해서 파싱하는 부분 뜯어보시면 YOLO core 함수가 있습니다. 이를 수정해서 트레이닝, 테스트를 해보실 수 있습니다.

이렇게 길고 긴 YOLO 알고리즘 튜토리얼을 마칩니다.

41 Comments

OpenSource

[Open Source] 새로운 주제 Open Source

By New AI Engineer - 4월 13, 2019

안녕하세요. 신호처리 엔지니어입니다.

제가 전자공학과 출신이라서 스스로 느끼지만 주변에 컴퓨터공학 전공이 아닌 분들은 Linux에 익숙하지 않기 때문에 오픈소스를 활용하는데 큰 어려움을 겪는 분들이 많다는 것을 알게되었습니다.

그래서 비전공자들이 오픈소스를 이용하는데 도움이 될 수 있도록 신호처리 관련 완성도 높은 오픈소스 설치 및 튜토리얼을 연재하도록 하겠습니다.

0 Comments

Newer
Stories

Older
Stories

Signal Processing Engineer's Blog

[OpenCV 강의] 번외편 OpenCV debugging tool 소개(Image Watch)

1. Image Watch 설치

2. Image Watch 사용법

3. 참고문헌

[DSP 기본] 주파수(Frequency)에 대한 고찰

1. 주파수(Frequency)란 무엇인가?

2. 주파수(Frequency)로 왜 표현하는가?

[Open Source] 마이크, 스피커 신호처리 (AEC, RES 윈도우 튜토리얼)

1. Speex란 무엇인가

2. 모듈에 대한 설명

3. 테스트 코드

[Open Source] YOLO v3 윈도우 버전 설치 및 튜토리얼 한방에 정리

1. YOLO란 무엇인가?

2. 윈도우 버전 YOLO v3 설치하기

2. 윈도우 버전 YOLO v3 테스트 실행

[Open Source] 새로운 주제 Open Source

Labels

Recent posts

Blog Archive

Sponsor

가장 많이 본 글

Best Page

Contact me!