HOVI의 5주차 기록


🥁 Harmony Of Virtual Instrument 🎹

스마트폰 카메라를 통한 이미지 인식으로 악기를 연주할 수 있는 어플리케이션

팀 멤버 🧑‍🤝‍🧑

  • 김영현(back-end)
  • 박지수(back-end)
  • 이슬비(ML)
  • 강인영(android)


🌞 1월 25일 정기 회의 🌞

✔ 논의 사항

🌻 Android (Front)
우리의 핵!심! 요소 중 하나인 Android! Android에서는 북 소리를 external storage에 저장하는 것까지 성공하였습니다. 하지만 인영님의 자가격리로 인해 직접 소리를 들어볼 수 없었다는 아쉬움이 남아있었습니다! 😂

🌼 Server (Back)
다재다능한 우리 지수님과 영현님! ml에 매우 큰 도움을 주셨는데요! tensorflow hub라는, tensorflow lite를 활용한 모델 모음집 사이트를 알려주셨습니다. 마침 object detection 관련 모델이 있기에 이를 조금 변형해서 사용하기로 하였습니다. 이를 활용한 프로세스를 간단히 설명하면, 먼저 북과 채를 동시에 detection하고 두 물체 사이의 거리를 측정해 거리가 가까울 때 북 소리를 내는 방식입니다. 이때 카메라의 구도가 매우 중요하기에 이와 관련하여 추후에 가이드를 작성해보기로 하였습니다! 🧐

🌷 ML
HOVI의 핵심 기능 중 하나인 ML!… 매일 매일 지옥을 맛보고 있습니다…^^ 😇 최근 읽은 영어가 대학교 들어와서 읽은 영어보다 많다는 사!실! 비교적 다루기 쉬운 openCV와 mediapipe를 이용해 구현을 하려고 하였으나, 자유롭게 랜드마크 설정이 불가하고 카메라 구도에 큰 영향을 받기 때문에 openCV는 과감히! 버리기로 결정하였습니다. 기존에 크게 ml kit/tensorflow lite, mediapipe/openCV의 2가지 부분으로 ml 구현을 생각하고 있었습니다. 이와 관련하여 찾아본 후, 가장 가능성 있다고 여겨진 tensorflow lite를 통해 object detection을 구현하는 것에 집중하기로 하였습니다!

◻◼ TO DO ◼◻

  • 안드로이드
    • 파일을 다운로드 하여 사용하는 방법 조사
    • 스마트폰 카메라 사용 방법 조사
  • 백엔드
    • ML 지원사격 (tensorflow lite를 모델 빌드 후 테스트)
  • ML
    • youtube의 tensorflow lite 구현 영상을 따라하며 코드 분석


주 2회 회의를 하였기로 했기 때문에 ml 모델을 1월 29일 토요일 아침까지 구현해보기로 하였습니다! 하지만 27일 금요일, ml 전문가 분의 자문을 구하였습니다. 하지만 턱없이 부족한 데이터와 매번 바뀔 수 있는 악기의 형태, 카메라의 구도에 매우 부정적인 조언을 해주셨습니다. 그리하여 우리 HOVI 팀은 🚨비상🚨을 외치며, 빠르게 주제 변경을 결정하였습니다. 설 연휴동안 주제에 대해서 생각을 해본 후, 연휴가 끝난 직후인 목요일 4시 30분에 대면으로 모여 이야기를 나눌 수 있도록 하였습니다. 😼


🌝 2월 3일 추가 회의 🌝

✔ 논의 사항

🗂 NEW IDEA

  1. 놀이 및 교육용 게임
    • 손가락을 이용한 음악 표현
    • 마스크로 인해 표정을 학습하는 것이 어려워진 아이들을 위한 표정 학습
  2. 코로나19/의료 및 복지
    • 코로나 블루 해소
    • 헌혈의 감소를 해결할 수 있는 어플 제작
    • 몸이 불편하신 분들이 자신의 표정으로 원하는 행동을 표현하는 어플
    • 맞춤 복지 요약 어플
  3. 기타
    • github blog 포스팅 자동 변환
    • 과거 핸드폰 모델에서 새로운 버전의 안드로이드 기능을 사용할 수 있도록 함

위와 같이 다양하고 재미있는 의견들이 속출! 하였습니다. 이 중에서도 가장 유력한 후보는 몸이 불편하신 분들이 자신의 표정으로 원하는 행동을 표현하는 어플입니다. 이를 조금 더 구체화 해보았는데요, 다음과 같습니다.

  • Target: 노인 👴 or 아이 👶 → 안면 근육을 사용할 수 있고 자신이 원하는 의사를 표현할 수 있는 사람
  • ml kit or openCV/mediapipe 사용
  • 표정 인식 후 음성 재생: 음성 전환 유료
  • 표정 인식 후 의사 전달(메세지): 50자 무료
  • 앱 알림


◻◼ TO DO ◼◻

  • 위 주제를 최우선으로 생각하되, 다음 주 세션까지는 다른 주제도 생각해보기!
  • ml 담당(따흑…….)은 구현 가능한지 조사해오기



주제를 바꾸는 꿈을 꿨는데요… 실제로 일어나버렸네요 ~!… 하하 하지만 저는 든든한 우리 지수님, 영현님, 인영님이 있기 때문에 전혀!!! 두렵지 않습니다! 뭐 개발은 한 달이면 뚝딱하니까~(?) 그럼 앞으로도 저희 HOVI의 행보를 지켜봐주세요! :) 모두 파이팅! 🎶