HOVI의 4주차 기록

🥁 Harmony Of Virtual Instrument 🎹

스마트폰 카메라를 통한 이미지 인식으로 악기를 연주할 수 있는 어플리케이션

팀 멤버 🧑‍🤝‍🧑

• 김영현(back-end)
• 박지수(back-end)
• 이슬비(ML)
• 강인영(android)

🌞 1월 18일 정기 회의 🌞

✔ 논의 사항

🌻 Android (Front)
Android에서 고성능 오디오 어플리케이션을 구축할 수 있도록 해주는 C++ 라이브러리 Oboe를 분석하여 사용하려 했으나.. 이 글의 작성자인 강인영씨가 CMake에 K.O.패를 당해버렸다는 슬픈 이야기😥 하지만 우리에겐 SoundPool이 있다!
SoundPool은 안드리오드에서 짧은 효과음의 오디오 파일을 재생하기 위한 방법이라고 하는데요. 이 SoundPool을 활용하여 우선적으로 드럼 소리가 나는 어플을 만들기로 했답니다~!

🌼 Server (Back)
우리 HOVI팀의 든든한 기둥!! 영현님과 지수님께서는 서버에서 어떤 정보를, 어떠한 방법으로 안드로이드에 전달할지 그리고 어플 사용 시에 mp3 파일의 재생과 ML 모델 등의 지연이 없도록 할 수 있는 방법에 대한 고민을 이어갔습니다!

🌷 ML
HOVI 어플리케이션의 핵심 기능 구현을 위해서는 슬비님의 ML이 필수인데요! 모바일에서 ML을 쉽게 사용할 수 있도록 제공되고 있는 ML Kit와 MediaPipe 두 가지에 대해서 더 알아보고 적용이 가능할지 조사해 보기로 하였습니다~! 물체를 detection하고 인식한 물체를 tracking할 수 있을지가 중점이 될 것 같습니다🤔

◻◼ TO DO ◼◻

• 안드로이드
  • 서버에서 mp3 파일을 어떻게 받아서 사용하는 방법 조사
  • SoundPool을 사용해서 드럼 구현
  • 안드로이드에서 ML 모델 사용하는 방법 조사
• 백엔드
  • 서버에 mp3 올리고 Front로 전송할 방법 구상
  • ML 지원 사격
• ML
  • ML Kit와 MediaPipe 알아보기
  • 데이터에 직접 랜드마크를 찍어서 학습시키는 방법 조사

더하여 정기 세션 시간에서의 회의만으로는 부족하다!라는 의견을 수용하여 앞으로는 일주일에 2회 회의를 하기로 하였습니다💪 그리하여 4주차 2차 회의는 22일 24시 게더에서 진행하기로 결정🚩

🌝 1월 22일 추가 회의 🌝

✔ 논의 사항

🌻 Android (Front)
회의 전까지 SoundPool을 사용해서 간단한 드럼 어플을 만들어 보았구요! 서버 사용을 위해 Retrofit2를 (쪼금) 공부하고 예제를 탐구해 보았습니다😎 추가로 안드로이드의 ML Kit 코드랩을 다운 받아 실행해 보았는데요. Object Detection을 체험해 볼 수 있었습니다. 해당 내용에 대해 함께 공유하고 어떠한 방법으로 나아가야 할지 고민해 보았습니다.

🌼 Server (Back)
서버에 mp3 파일을 올려서 안드로이드에서 어플 작동 시에 바로 다운이 가능하도록 URL을 만들어 주셨는데요. 해당 URL을 안드로이드에서 GET 하여 mp3를 다운로드하고, 필요에 따라 사용될 수 있도록 구현하는 것이 좋을 것 같다고 결정하였습니다! 짧은 드럼 효과음을 s3에 업로드하여 구현된 드럼 어플에서 불러와 사용해 볼 수 있도록 만들 예정입니다🐇

🌷 ML
tracker 코드 분석, main 코드 분석 등을 해보시면서 ML을 HOVI에 적용할 수 있는 방법을 찾기 위해 고군분투하셨답니다😂 가장 큰 이슈는 MediaPipe에서 Object Detection을 파이썬으로 지원하지 않는다는 점이었습니다. 그리하여 Kotlin과 Java로 활용할 수 있는 ML Kit를 활용하는 방안에 대하여 논의하였습니다. 추가로 OpenCV도 활용할 수 있지 않을까 하여 앞으로도 어떠한 모델을 활용하여 물체를 인식하고, 연주가 가능하도록 만들어줄 수 있을지에 대한 조사와 탐구가 계속될 예정입니다~!

◻◼ TO DO ◼◻

• 안드로이드
  • ML Kit와 TensorFlow Lite를 안드로이드에서 사용하는 방법 조사
  • OpenCV를 안드로이드에서 사용하는 방법 조사
  • 서버의 mp3를 URL을 통해 다운로드해 드럼 효과음 적용하기
• 백엔드
  • s3에 드럼 효과음 mp3 업로드
  • 안드로이드와 ML 지원
• ML
  • OpenCV 공부
  • 웹캠을 사용해 원하는 물체를 detection하는 방법 조사

회의 중에 나왔던 섬뜩했던 한마디를 여러분과 공유하자면,,, 1월 중에 안된다 싶으면, 뒤도 돌아보지 말기로… 하지만 아직 1월은 남아있다!!🐈 뭐든 완성은 되겠죠~?~? 하하. 짱짱맨 영현님, 지수님, 슬비님 덕분에 영차영차 굴러가는 HOVI..!! 4주차에도 모두 모두 수고하셨습니다🙂 앞으로도 HOVI의 구현을 위해 파이팅해보자구요~!~!