[Lymo 개발일지 #1] AI로 음악 해석해주는 앱 만들기

1️⃣ Lymo 개발일지 #1: 현재 글

2️⃣ Lymo 개발일지 #2: https://parkcool.tistory.com/12

3️⃣ Lymo 개발일지 #3: https://parkcool.tistory.com/14

4️⃣ Lymo 개발일지 #4: https://parkcool.tistory.com/17

 

💬 기획 배경

음악 듣는 걸 좋아하시는 분들이라면 공감하실 겁니다. 멜로디에 꽂혀서 음악을 한참 듣다가 문득, '이 가사, 도대체 무슨 뜻이지?' 궁금해질 때 다들 한 번쯤 있지 않나요? 저는 특히 좋아하는 외국 팝송의 해석을 찾아도 가사를 단순히 번역한 것만 있어서 아쉬울 때가 많았어요.

 

시작은 아주 사소한 의문이었습니다. 평소 좋아하는 팝송을 흥얼거리다가 문득, "내가 이 가사의 진짜 의미를 알고 부르는 건가?" 라는 생각이 들었거든요. 검색을 통해 곡의 비하인드 스토리와 아티스트의 의도를 알고 나니, 매일 듣던 노래가 완전히 다르게 들리는 경험을 했습니다.

 

"Take a sad song and make it better"
(슬픈 노래를 가지고 더 좋게 만들어봐)

 

비틀즈의 'Hey Jude'에 나오는 유명한 가사 구절입니다. 번역은 간단하지만, 폴 매카트니가 왜 이 가사를 썼는지, '슬픈 노래'가 무엇을 의미하는지 그 배경을 알고 나면 음악이 다르게 들리기 시작해요.

 

여기서 저의 아이디어가 시작됐습니다.

"단순 번역을 넘어, 노래에 담긴 이야기와 감정을 온전히 이해하도록 돕는 앱을 만들 순 없을까?"

 

💡 아이디어 구체화하기

뜬구름 잡는 아이디어를 구체화하는 기획 단계를 거쳤습니다. 제가 만들고 싶은 서비스의 핵심 기능은 다음과 같았습니다.

• AI 기반 해석: AI를 활용해 단순 번역이 아닌, 가사의 문학적 표현, 문화적 배경을 종합적으로 분석한 '해석'을 제공함.
• 싱크 가사: 음악 재생에 맞춰 현재 나오는 가사와 그 해석을 함께 보여줌.
• 비하인드 스토리: 곡의 창작 배경 등 노래의 세계관을 완성하는 풍부한 정보를 함께 제공함.

앱 이름은... 제미나이한테 지어달라고 했습니다. 제가 이름 짓는 거에는 재능이 없어요... 가사를 음미하는 '순간'의 가치를 담고 싶다고 Lyrics와 Moment를 합쳐서 Lymo로 했다나 뭐라나...

 

🤔 음악 재생은 어떻게?

처음에는 패기 넘치게 Spotify나 YouTube Music 같은 스트리밍 앱을 만들고 그 위에 해석 기능을 얹으려 했습니다. 하지만 현실은 냉혹했죠. 아이디어를 구체화하면서 큰 허들을 맞닥뜨리게 됩니다.

 

먼저 음악 재생을 제공하는 마땅한 API가 없었습니다. 스포티파이에서 관련 API를 제공하긴 했지만, 사용자가 스포티파이 유료 요금제를 사용하고 있어야 사용 가능했습니다.

 

처음엔 간단하게 생각했습니다. '유튜브 플레이어를 숨겨놓고 소리만 들리게 하면 되지 않을까?' 하지만 유튜브에 떠도는 음원 비디오는 퀄리티 보장이 어려웠고, 이는 유튜브 서비스 약관 위배였습니다. 이대로 진행시키기에는 너무나 큰 리스크가 있었죠.

 

그래서 저는 앱의 방향을 완전히 틀기로 하였습니다. 사용자가 폰으로 음악을 들으면, Lymo가 그 곡을 인식해서 곡 해석 정보를 제공하는 "컴패니언 앱"으로 방향을 튼 것이죠.

 

앱 자체에서 음악을 재생하는 게 아니라, 사용자의 기기에서 재생되는 음악을 감지하자.

 

비록 재생 기능은 포기했지만, 스포티파이에서 제공하는 API는 여전히 Lymo의 심장과도 같습니다. 바로 "검색 API" 덕분입니다.

 

사용자마다 듣는 앱이 다르고, 메타데이터가 제각각일 수 있습니다. 예를 들어 어떤 앱은 아티스트를 "비틀즈"로, 어떤 앱은 "The Beatles"로 표기하죠. 이때 사용자가 듣고 있는 곡 정보를 스포티파이 검색 API에 던지면, 찰떡같이 알아듣고 공식적인 곡 메타데이터를 반환해줍니다.

 

가장 중요한 건 ISRC 코드였습니다. 곡마다 부여되는 이 고유 ID 덕분에, DB에 곡 정보를 저장할 때 중복을 방지하고 유니크하게 관리할 수 있게 되었습니다. 무료로 이런 API를 제공해주는 Spotify... 감사합니다... 🙏

 

🔨 백엔드는 Firebase로

이 프로젝트는 저 혼자 모든 걸 기획하고, 디자인하고, 개발해야 하는 1인 개발 프로젝트입니다. 1인 개발자에게 서버 관리는 부담스럽기 때문에, 백엔드는 서버 관리가 필요없는 서버리스 환경의 Firebase를 사용해보기로 했습니다.

 

특히 이 서비스는 AI에 상당히 많은 기능을 의존하고 있기 때문에, Firebase에서 제공하는 AI 특화 기능 중 하나인 Genkit을 잘 써먹을 수 있을 것이라 생각했습니다. 하지만 Genkit... 제가 찾아본 결과, 아직 국내에 Genkit 관련 정보가 많이 올라온 것 같지는 않더라구요. 새로운 기술을 배우는 비용은 들겠지만, Genkit의 개발자 친화적인 기능들이 저를 사로잡았습니다.

 

Genkit은 한마디로 'AI 로직 개발을 위한 올인원' 같았습니다. Genkit을 이용하면 외부 API 호출, AI 호출, 결과물 검증 등 여러 복잡한 과정들을 'Flow'라는 하나의 흐름으로 체계화할 수 있습니다.

 

특히 이 'Flow'를 실행하면 실행 과정 추적이 가능한 개발자 UI를 제공한다는 점이 가장 마음에 들었습니다. 기존에 디버깅을 위해 했던 console.log() 노가다를 더 이상 하지 않아도 된다는 것이죠.

 

➡️ 정리 및 다음 단계

지금까지 아이디어 도출부터 대략적인 기획, 그리고 핵심 기술 스택 선정까지의 과정을 정리해봤습니다. 아직 갈 길이 멀지만, 뭘 어떻게 만들어야 할지 조금은 명확해진 것 같습니다.

읽어주셔서 감사합니다! 😄