HOVI의 7주차 기록

< 솔루션 챌린지 주제 >

스마트폰 카메라의 표정 인식을 통한 의사 표현 앱

팀 멤버 🧑‍🤝‍🧑

• 김영현(Back-end)
• 박지수(Back-end)
• 이슬비(ML)
• 강인영(Android)

🌰 2월 15일 정기 회의 🌰

오랜만에 대면 회의를 진행하였습니다. (지수님 다음에는 꼭 함께해요 ㅠㅠ) “스마트폰 카메라📷를 사용해 사람의 표정😉을 인식하여 의사를 표현할 수 있는 앱”을 만들기 위해서 열심히 회의를 진행했답니다!

✔ 논의 사항

🚗 Android
지난 일요일에 슬비님과의 사전 논의를 통해 OpenCV를 활용하기로 결정하였고, Andorid NDK를 사용해서 OpenCV SDK를 적용하는 방법에 대해 공부하였습니다! 또한 안드로이드 프로젝트 내 assets로 모델을 넣어 사용하는 방식에 대해서도 알아보았습니다. 🗺 회의에서는 안드로이드에서 실시간으로 표정인식이 가능할지, mp4📹형식으로 저장하여 서버로 보낸 뒤에 표정인식을 판단할지 등에 대해 논의하였습니다.

🚓 Backend
지수님께서 알아보신 네이버 CLOVA API의 TTS 서비스는🌬 유료 요금 제한이 있어서 사용하지 않기로 했구요. 우선은 의사 표현 유형을 정리해서 해당하는 음성 녹음 파일 mp3만 업로드하여 사용하기로 하였습니다.
영현님께서는 Spring Boot🧶를 사용해서 데이터 송수신을 위한 API를 만들고 계신데요. API로 안드로이드와 서버가 연결될 날이 벌써부터 기대(사실 걱정.. 안드가 잘 할 수 있을지..)가 되네요!!

🚕 ML
일단 박수부터 치고 시작할까요? 슬비님께서 OpenCV를 활용해 랜드마크 찍기를 완료했다고 합니다🎉 그리하여 입을 벌리면 “배고파”라던지, 웃는 표정을 지으면 “날씨가 좋으니 산책을 가자”라던지의 의사 표현이 가능한 코드가 완성되었습니다. 그런데 눈👀은 거리 측정이 어려워서 눈을 감거나 뜨는 것으로 의사 표현하는 것은 아쉽게도 불가능하다고 하네요😥 또한 의사 표현 행동을 고안하여 모델에 적용하는 방법과 영상을 resize 하는 방법에 대한 공부가 진행 중이라고 합니다🧚‍♀️

◻◼ TO DO ◼◻

• 백엔드
  ◽ 영현님 - API 2가지(초기 세팅, 행동 매칭) 완성하기
  ◽ 지수님 - mp3 저장 & 카카오 무료 TTS 알아보기

• 안드로이드
  ◽ py 코드를 Android NDK + OpenCV SDK와 함께 사용할 수 있는 방법 찾기
  ◽ 서버로 보낼 안드로이드의 Device unique ID 생성하기

• ML
  ◽ OpenCV 이용한 모델 완성하기
  ◽ 안드로이드에서 모델 코드 실행할 수 있는 방법 찾아보기

개발 단계에 들어가서 조금씩 방향성을 잡아가고 있는 우리의 프로젝트..! 많은 것들이 낯설고 처음이라 어렵지만 든든한 팀원들과 함께 완성될 앱이 기대가 되네요🐥 벌써 다음 주가 개강이라서 다들 바빠지겠지만 3월 둘째 주까지 힘내어 개발을 마쳐보도록 합시다~! 🤸‍♀️🤸‍♂️