HOVI의 9, 10, 11주차 기록

< 솔루션 챌린지 주제 >

스마트폰 카메라의 표정 인식을 통한 의사 표현 앱

팀 멤버 🧑‍🤝‍🧑

• 김영현(Back-end)
• 박지수(Back-end)
• 이슬비(ML)
• 강인영(Android)

🍔 3월 8일 정기 회의 🍔

dlib을 안드로이드에서 빌드 해서 슬비님의 코드를 Java로 녹여내야 했는데요. dlib을 사용하는 예제를 다운로드해 실행하면 사용이 가능한데 새로운 프로젝트에서 dlib을 빌드 하여 사용하려고 하니 문제가 많았던…😥
( 카메라와 dlib을 사용하는 프로젝트를 애뮬레이터로 실행하면 나오는 화면이었다…! 정체 모를 외계인!! )

안드로이드에서 진행이 되어야 ML도 더 기능을 추가할 수 있으나 그러지 못해서 답답했던 때이네요…⭐ 코로나로 인해 주말에 하려고 했던 미니 해커톤들도 진행하지 못해서 슬펐답니다 ㅠㅠ

🍟 3월 15일 정기 회의 🍟

주말 동안 작업한 것들을 바탕으로 보고 및 계획하는 시간을 가졌습니다.

✔ 보고 사항

🚗 Android
안드로이드와 서버가 통신을 할 수 있도록 Retrofit을 활용하였고, 안드로이드에서 서버로 POST 하는 것에 성공했답니다. 그리고 Google에서 제공하는 Android Vision API와 이를 사용하는 샘플들을 발견하여 분석에 들어갔습니다. 궁금하신 분은 Android-Vision 레포지토리 참고하세요!👻 리드미에 ML Kit의 한 부분이라고 설명되어 있는데 아마 해당 vision api가 발전하여 ML Kit로 통합 구축하고 있는 것이 아닐까 싶습니다..!

🚓 Backend
안드로이드와 연결을 위해서 API들을 간단하게 제작한 다음 배포하였습니다. 배포까지 완료되었기 때문에 서버를 켜두면 언제 어디서나 서버와 통신을 할 수가 있답니다.🎇 추가로 구글 TTS API에 대해 조사해 주셨습니다.

🚕 ML
저에게 발생하는 오류가 컴퓨터 문제라고 생각되어서 슬비님의 컴퓨터로도 진행해 보았지만 MAC인 관계로 잘 되지 않았다는 슬픈 전설이..🐾 그리고 카메라를 작동시켰을 때에 사람과 카메라의 거리를 어떻게 적절하게 유지해야 할지 고민해 주셨습니다.

◻◼ TO DO ◼◻

• 백엔드
  ◽ key값 확인을 통해 로그인 관련 구현 ◽ 추가 필요한 API 생각해 보기

• 안드로이드
  ◽ 눈 감았다 뜨는 것으로 액션 파악 구현 가능 여부 확인 ◽ TTS 기능 구현 및 활용

• ML
  ◽ Google Cloud Vision API 코드 검토

🌭 3월 20일 해커톤 🌭

드디어 기다리고 기다리던 해커톤! 오후 1시부터 5시까지 도서관 와글와글에 모여 코딩을 했습니다..! 결과적으로 백엔드에서는 필요한 DB 구축은 물론 API 생성도 완료하였구요. 안드로이드에서는 조금의 삽질과 함께 서버 연동을 어느정도 마무리하였습니다. 슬비님께서는 솔루션 챌린지 신청 시에 제출할 서류 작성을 멋들어지게 해주셨구요!! 뿌듯하게 잘 마무리된 해커톤 시간이었습니다~😀 인증샷을 못 찍어서 살짝쿵 아쉽네요//

WOW.. 약 3주간의 진행사항들을 압축하여 글로 적어 보았는데요..🙄 정말 3주가 순식간에 지나갔다 싶네요. 팀원들 바쁜 와중에도 항상 솔루션 챌린지를 위해 열심히 해주어서 너무 감사하구요 ㅠㅠ 마무리까지 조금만 더 힘내봅시다.💪 추가로 글을 올리는 3월 21일 기준으로 안드로이드와 서버 통신 작업이 대강 마무리되었고, 사용자가 눈을 감는 횟수를 인식하여 설정된 액션이 TTS로 출력되는 것까지 구현을 완료하였습니다. 구현을 잘 마무리하는 그날까지 조금만 더 파이팅해봅시다~!