안녕하새요, 여러분! helppy의 세번째 팀블로그 포스팅을 맡은 전준석입니다. 저희는 한달 동안의 기획 과정을 통해, 개발 과정에 있습니다. 저희의 세 번째 여정에 대해서 알려드릴께요!!

8주차(2/20)

2월 16일 목요일에 예정되었던 회의는 세미나 취소로 인해 아쉽지만 취소되었어요. 그 대신에, 20일 월요일에 온라인 미팅을 진행했습니다.

우선 백엔드 파트를 맡고 있는 인재님은 서버와 딥러닝 모델을 연결하는 방식에 대해 찾아봤습니다. 아무래도 파이썬 기반의 딥러닝 모델들을 spring을 이용한 서버와 연결하는 부분을 중점적으로 개발하고 공부하였습니다.

딥러닝 파트는, 크게 두 가지 모델로 나뉘어져 있는데요. 먼저, 이미지 캡셔닝 파트를 맡고 있는 슬비님은 데이터 전처리, 모델링을 통해서 bounding box와 해당 결과물을 도출해낸 모습을 보여주셨습니다. 그리고 ocr모델을 짜기로 결정된 저는 다양한 reference와 자료들을 찾아보며 공부하는 시간을 가졌습니다.

그 결과, 저는 3월 5일까지 ocr모델을 짜오기로 결정하였고 슬비님은 2월말까지 마무리짓기로 결정하였습니다.

프론트 개발을 담당하고 있는 재영님은 보이스오버의 자막을 따기 위해 고군분투하고 계십니다. 기존의 보이스오버의 한계점으로 인하여, 저희가 직접 helppy의 보이스오버 기능을 구현하기로 결정하였습니다.

9주차 (2/23 + 2/27)

목요일에는 gdsc solution challenge 중간점검이 있었습니다. 저희 helppy team은 그동안 기획하고 개발했던 내용을 토대로 발표를 진행하게 되었습니다. 발표는 슬비님이 진행하셨는데, 대단히 수고하셨습니다. ^^ 또한, 다른 팀들의 개발 진행과정에 대해서 알 수 있었던 유익한 시간이었습니다.

그리고 월요일에는 상상관에서 오프라인으로 회의를 진행하였습니다. 회의에서는 중점적으로 다루었던 내용은 구상하고자 하는 어플의 문제점이었습니다.

첫번째로 이미지 캡셔닝과 ocr모델을 돌리기전에 어떻게 사진을 분류할것인지에 대한 문제 두번쨰로 기존 spring을 이용한 서버 구축에 대한 비효율성 문제가 중점적인 이슈였습니다.

첫번째 문제에 대해서는 먼저 ocr 모델을 돌려 text가 있는 사진과 없는 사진을 분류하기로 결정하였습니다… 하지만 여전히 어려움이 존재하여 구현하는데 시간이 걸릴것 같습니다. 딥러닝 멤버간의 회의 결과, 이미지 캡셔닝보다는 ocr을 중점적인 기능으로 사용하자는 의견이 나왔습니다.

두번째 문제의 경우, Imreader가 파이썬을 통한 딥러닝 모델이 기반이 되기에, 자바 기반의 spring 서버를 구축할 필요성을 느끼지 못하였습니다. 따라서, 파이썬 기반의 flask가 딥러닝 모델을 서버에 api화시켜 구축하는데 더욱 도움이 될것으로 판단하였습니다.

모델링 결과

EasyOCR이라는 오픈소스 툴로 딥러닝 모델을 작성하였습니다. 네이버 웹사이트를 크롤링하여 이미지의 text를 추출하였습니다. 보시다시피 정확도는 낮은 상태입니다.

슬비님이 족발 사진에 대해 이미지 캡셔닝을 진행하였습니다!! bounding box를 그리고 결과가 도출된 모습입니다.

다음 회의까지 해올일!!

Frontend: 이미지들의 url만 받아 딥러닝 모델로 넘겨주기, 제스처 테스트 Backend: flask를 통한 서버 구축 및 딥러닝 모델 API화 Deeplearning: OCR 모델의 성능 높이기

벌써 3월이 되고 개강을 하였습니다. 앞으로도 다들 더 바쁘고 힘들텐데, 끝까지 열심히 마무리 지었으면 합니다!! Helppy 화이팅!! 😇😇