일반 사용음악은 어려워도... 배경음악을 만드는 용도라면 무료로 쓸만하겠습니다.
쉬운 설명
ACE-Step 1.5는 내 컴퓨터에 직접 설치해서 쓰는 음악 생성 AI인데요, 쉽게 말하면 "이런 느낌의 노래 만들어줘"라고 글자로 부탁하면 실제로 가사와 반주가 있는 완성된 곡을 만들어주는 프로그램입니다. 인터넷에 있는 유료 음악 생성 서비스들 못지않은 품질을 내면서도, 게이밍용 그래픽카드 정도만 있어도 몇 초 만에 노래 한 곡을 뽑아낼 수 있다는 게 특징입니다.
요약
ACE-Step 1.5는 오픈소스로 공개된 로컬 음악 생성 AI 모델인데요, 깃허브에 공개된 설명에 따르면 상업용 음악 생성 서비스 대부분보다 품질이 뛰어나면서도 속도는 훨씬 빠르다고 합니다. A100 그래픽카드에서는 노래 한 곡을 만드는 데 2초가 안 걸리고, 일반 사용자들이 많이 쓰는 RTX 3090에서도 10초 이내로 끝난다고 하니, 지금까지 나온 음악 생성 AI 중에서는 꽤 파격적인 속도라고 볼 수 있습니다. 게다가 4GB 정도의 그래픽 메모리만 있어도 돌아가서, 고급 장비가 없는 사람도 접근하기 쉽다는 점이 눈에 띕니다.
이 모델이 중요한 이유는 단순히 빠르고 가볍다는 것 때문만이 아닙니다. 언어모델이 먼저 곡의 전체 설계도(가사, 분위기, 구조 등)를 짜고, 그 설계도를 바탕으로 디퓨전 트랜스포머라는 또 다른 AI가 실제 소리를 만들어내는 이중 구조를 쓰고 있는데요, 이 덕분에 짧은 루프부터 10분짜리 긴 곡까지 유연하게 만들 수 있다고 합니다. 또한 몇 곡만 학습시키면 자신만의 스타일을 따라 하는 '로라(LoRA)'라는 맞춤 학습도 지원해서, 개인화된 음악 생성이 가능하다는 점도 특징입니다.
활용 포인트
개발자나 콘텐츠 제작자라면 이 모델을 이용해 유튜브 영상이나 짧은 광고, 게임의 배경음악을 저작권 걱정 없이 직접 만들어 쓸 수 있습니다. 예를 들어 Gradio로 실행되는 로컬 웹 화면(localhost:7860)에 접속해서 원하는 분위기와 가사를 텍스트로 입력하면 바로 곡이 만들어지니, 영상 편집 도구에 곧바로 붙여넣어 쓰는 식의 워크플로우를 구성할 수 있습니다. API 서버(localhost:8001)도 함께 제공되기 때문에, 자신이 만든 앱이나 서비스에 음악 생성 기능을 붙이고 싶은 개발자라면 이 API를 호출하는 방식으로 자동화된 파이프라인을 만들 수도 있습니다.
기획자나 창작자 입장에서는 커버곡 생성, 리페인팅(곡의 일부만 다시 만드는 기능), 보컬을 배경음악으로 바꾸는 변환 기능 등을 활용해 아이디어 스케치용 데모 음악을 빠르게 만들어볼 수 있습니다. 50개 이상의 언어를 지원한다고 하니, 다국어 콘텐츠를 만드는 팀이라면 언어별 버전의 배경음악이나 가사가 있는 곡을 실험적으로 뽑아보는 용도로도 유용합니다. 그래픽카드가 없는 사람은 공식 사이트에서 제공하는 무료 웹 서비스를 이용해 설치 없이 체험해볼 수도 있습니다.
주의 사항
이 모델은 아직 활발히 개발 중인 오픈소스 프로젝트라서, 버전이 계속 업데이트되고 사용법이나 요구 사양(파이썬 버전, GPU 호환성 등)이 바뀔 수 있다는 점을 감안해야 합니다. 또한 원문에서 언급된 "상업용 모델보다 뛰어나다"는 평가는 특정 평가 지표를 기준으로 한 자체 측정 결과이기 때문에, 실제 체감 품질은 사용 목적이나 장르에 따라 다르게 느껴질 수 있습니다. AMD나 인텔, 맥 등 다양한 환경을 지원한다고는 하지만 환경별로 설치 난이도와 안정성 차이가 있을 수 있으니, 처음 써보는 경우 공식 설치 가이드를 꼼꼼히 확인하는 게 좋습니다. 아울러 생성된 음악의 저작권이나 상업적 이용 범위에 대해서는 라이선스 조항을 별도로 확인하는 것을 권장합니다.
자체 검증
원문 깃허브 설명을 살펴보면, A100에서 2초 이내, RTX 3090에서 10초 이내로 곡을 생성한다는 속도 언급과 4GB VRAM으로도 구동 가능하다는 내용은 실제로 명시되어 있어 본문에 그대로 반영했습니다. 언어모델이 곡의 청사진을 짜고 디퓨전 트랜스포머가 이를 바탕으로 소리를 합성하는 하이브리드 구조, 그리고 몇 곡만으로 로라를 학습해 개인화가 가능하다는 부분, 50개 이상 언어를 지원한다는 점도 원문에 직접 언급된 내용입니다. 다만 XL(4B) 모델이 더 높은 VRAM(약 9GB 이상)을 요구한다는 세부 사항이나 강화학습 방식으로 편향을 줄였다는 설명은 원문에 있으나 기술적으로 상당히 전문적인 내용이라, 이 글에서는 초보자가 이해하기 쉬운 수준으로 단순화해서 전달했다는 점을 밝혀둡니다.
태그
#AI #음악생성 #오픈소스 #로컬AI #생성AI #크리에이터도구
원문
https://github.com/ace-step/ACE-Step-1.5