Season2 Project: 씬브레이커
영화 대본에서 VFX (=CG) 효과 처리가 필요한 부분들을 알려주는 서비스
Background: VFX 설계 한번 잘못하면 몇백억이 날아간다고?!
3000명의 협업이 필요한 블록버스터 VFX작업
최근 영화제작에서 VFX의 활용도가 점차 커짐에 따라, 자본투입이 가장 많았던 프로덕션단계를 뛰어넘어 지금은 CG 분야가 가장 주목받고 있다고 해도 과언이 아닙니다. 28억 달러의 흥행 성과를 거둔 <어벤져스 엔드게임>은 14개의 VFX스튜디오에서 3000명 이상의 방대한 인력이 공동작업하여 2500개 가까이 되는 VFX 쇼트를 완수하였고, 제작비의 대부분이 VFX에 투입되었습니다.
제작비용 폭등으로 이어지는 VFX자원의 잘못된 설계
VFX 비중이 점차 증가하는 영화산업에서 해당 과정을 관리, 감독하고 VFX를 총괄하는 VFX 슈퍼바이저(VFX Supervisor)가 영화의 비주얼을 책임지는 데 있어 그 역할의 무게감이 나날이 커지고 있습니다.
제한된 VFX 자원(자본,시간,인력)속에서 더욱 효율적인 제작 방식을 모색하는 것이 VFX의 질을 높여 영화의 비주얼을 향상하는 직접적인 방법입니다. 그러기 위해서 VFX 슈퍼바이저는 프리 프로덕션 단계에서부터 VFX를 구체적으로 설계하고, 제한된 VFX 자원을 어떻게 활용할지 고민하고 기획해야 합니다.
그릇된 설계로 촬영된 VFX 쇼트의 복구비용은 전부 그들이 속한 회사에서 부담하게 되기 때문이지요. 일부 VFX 설계가 잘못됨에 따라 제작비용이 폭등하면 다른 공정에도 영향을 미치에 됩니다.
효율적인 VFX 설계의 첫단추, Scene Breakdown
프로덕션 단계에서 시나리오와 스토리보드를 씬별로 분석하고 VFX 슈퍼바이저와 기타 메인 스텝들의 협의를 통해 촬영할 요소와 CG로 제작할 요소를 확정하게 됩니다. 그리고 VFX 스튜디오에서는 해당 요소의 연구개발을 진행하며 감독이 상상하던 비주얼을 형상화합니다.
3000개의 씬을 20분만에 break down해줄 AI 어시스턴트, Scene Breaker를 소개합니다!
Scene Breaker가 발견한 문제점은 아래와 같아요.
프리프로덕션 단계에서, 영화의 어떤 부분에 VFX 효과를 추가해야 하는지 확인하는데 많은 인력과 시간이 투입됩니다.
VFX 스튜디오의 CG Supervisor들이 대본을 처음부터 끝까지 각 문장 별로 다 읽어가면서 VFX 처리를 어떻게 할 것인지 회의를 진행해야하기 때문입니다.
이 과정에서 AI 어시스턴트가 대본 전체를 읽고, VFX 처리가 필요한 부분들을 집어주고 제안을 해줄 수 있다면 좋겠다는 니즈를 발견했습니다.
Key features of Scene Breaker
PDF 대본을 업로드만 하면, AI가 전체 내용을 분석합니다.
시나리오의 모든 씬에 대해, 씬 별로 VFX의 필요 여부를 AI가 직접 판단하여 근거와 함께 제안합니다.
전체 분석 결과를 정리된 CSV 파일로 받아볼 수 있습니다.
Scene Breaker 사용 방법
전체 시나리오가 담긴 PDF 대본을 준비합니다.
좌측 패널에서
+버튼을 눌러 새로운 프로젝트를 생성합니다.프로젝트 이름과 설명을 입력하고, 준비한 PDF 대본을 업로드합니다.
우측 상단의
프로젝트 생성하기버튼을 클릭하면, Scene breaker가 대본 분석을 시작합니다.분석 과정이 모두 완료되면, 상태바 하단의
result.csv버튼을 클릭하여 결과파일을 다운받습니다.
개발 과정
1. Scene breakdown 과정에 대한 이해도 높이기
Scene breaker 아이디어는 영화사에서 VFX 코디네이터로 계셨던 정BTC께서 제안해주셨습니다. 다만 정BTC를 제외하고 다른 팀원들은 영화 제작 과정에 대한 배경지식이 없었기 때문에, 가장 처음으로 해당 과정에 대한 이해가 필요했어요.
정BTC께서 VFX 제작 과정에 대한 작은 세미나를 열어서 팀원들의 이해도를 끌어올려 주셨습니다.
2. 최선의 결과가 나오는 Prompt 찾기
Breakdown을 위해서는 아래 결과를 낼 수 있는 프롬프트를 찾아야 했습니다.
시나리오 문장(혹은 대사) 하나하나 마다 break down하여 VFX가 필요한지 분석할 것
실제 VFX supervisor가 판단하는 것과 최대한 비슷한 판단 결과를 낼 것
각 판단 결과에는 논리적인 근거가 포함되어야 함
제작사의 팀 구성과 적합한 방향으로 VFX 필요 여부를 판단 할 것
늘 일관된 형식으로 답변을 도출할 것
하지만, 해당 조건을 모두 만족하는 프롬프트를 찾기란 매우 어려웠습니다.
특히, “씬 별로 나누어” VFX 필요 여부를 “합리적으로 판단”하고 “일관된 형식의 분석 결과를 도출” 하는 것이 매우 어려웠는데요,
챗GPT가 “씬”의 이해를 잘 못할 뿐더러, “일관적인 결과 형식”를 보여주는 것에 매우 취약했습니다.
또한 같은 프롬프트더라도, 챗GPT 웹사이트를 사용하는 것과 OpenAPI를 사용하는 것이 결과가 너무 다르다는 점을 발견했습니다.
개발 기간의 대부분을 프롬프트 리서치하는 것에 투자하여, 최선의 프롬프트를 찾기 위해 노력했습니다.
같은 프롬프트를 쓰더라도 챗GPT 웹사이트를 사용하는 것과 API를 사용하는 것이 다르다는 것을 파악한 우리는, 프롬프트 리서치에 필요한 환경을 직접 셋팅하여 사용하기로 결정했습니다.
이 과정에서 OpenAPI의 Completion 모드를 사용하게 되었고, 해당 리서치 과정의 일부를 아래 페이지에서 보실 수 있습니다.
3. 최종 UX 결정하기 및 프론트 개발
프롬프트 리서치 결과가 지속적으로 업데이트 되는 중이었으므로, 해당 과정에 맞추어 유연한 UX/UI 변경이 필요했습니다.
모듈화된 UI구조로 개발 상황에 유연하게 대처할 수 있도록 웹사이트를 구현하였습니다.
4. 서비스 테스트하기
실제 현업에서 겪고있는 문제점을 직접적으로 해결할 수 있는 서비스이므로, 현업에 종사하시는 VFX Supervisor를 찾아뵙고 서비스 테스트를 요청드리고자 합니다.
이 글을 보시는 여러분들도 직접 서비스를 써보실 수 있습니다! 자유롭게 사용해보시고 다양한 의견을 알려주세요 🙂
프로젝트를 통해 배운점
전문 분야에서 종사하시던 정BTC의 전문지식에 기반해서 명확하게 유효한 문제를 정의할 수 있어서 좋았습니다.
API call을 token 개수 제한으로 인해 많은 텍스트를 여러번 쪼개서 나눠 요청해야 하는 경우, 이전의 답변 context를 가져오지 못해서, 답변 별로 형식이나 퀄리티가 다른 점이 있었습니다.
ChatGPT 웹사이트 대비 API로 요청해서 나온 답변의 퀄리티가 더 떨어진 것 같았고, 그 이유를 알지 못했습니다 (community에서도 이런 문제가 제기되었으나, 진짜인지는 아직 모름).
추가 요구사항까지 달성하면 좋을 부분들은 다음과 같았습니다.
해당 VFX 효과를 어떤 팀이 처리해야 하는지 알려준다.
해당 CG처리에 얼마의 비용을 사용해야 하는지에 대해서 알려준다.
대본의 이해를 쉽게 만들기 위해 해당 씬의 3줄 요약을 알려준다.
팀원들의 후기
Jerry (PM)
좋은 분들과 함께 할 수 있어서 좋았습니다. 현업에서 명확하게 존재하는 유효한 문제를 가지고 AI를 접목해서 문제 해결을 시도했다는 점이 만족스럽습니다.
라이언 (Developer)
새로운 사람들과 end-to-end로 서비스를 만들어본것이 좋았습니다. 새로운 툴이나 프레임워크도 최대한 많이 활용해보면서 공부도 많이 되는 시간이었습니다.
정BTC (Developer)
수요가 있는 프로덕트를 만들수 있어서 좋았습니다! 다만 제 욕심때문에 서비스 퀄리티에 대한 타협을 못하여 프로젝트 진전도가 생각보다 늦어져서 아쉬웠습니다.
찬 (Designer)
이번 프로젝트를 통해 생성형 ai에 대한 이해도가 확실히 높아진 것 같습니다. 다만, 아직까지 생성형 ai의 한계를 좀 많이 느꼈습니다. 디테일한 답변을 다루는 것이 여전히 어렵고 그 디테일이 아쉬워서 실제 산업에서의 사용은 아직 힘들것 같습니다.