Principle of VTuber Pipeline - 시작하며
Principle of VTuber Pipeline - 시작하며
버튜버(V-Tuber)는 문화적으로도, 기술적으로도 독특한 위치를 점하는 직군이다. 버추얼 유튜버, 버추얼 스트리머, 버추얼 아티스트 등 다양한 명칭으로 불리며, 모션캡처 액터나 보이스 액터와 같은 연관 직군까지 포함하면 그 범위는 상당히 넓다. 이하 본 글에서는 이들을 통칭하여 버추얼 아티스트로 정의한다.
버추얼 아티스트란 대중문화의 한 갈래로, 물리적 실체를 직접 노출하는 대신 가상화된 페르소나를 매개로 음악, 스트리밍 등의 활동을 영위하는 전문 예술인을 지칭한다. 이들의 예술활동은 영화, 애니메이션, 비디오 게임과 문화적·기술적으로 분명히 구별되는 독자적인 장르로 발전하고 있다.
이 과정에는 다양한 창작자들이 복합적으로 기여한다. 그러나 기존의 어떤 단일 프레임워크로도 이 시장을 온전히 설명하기 어렵다.
기술적 측면에서, 애니메이션·비디오 게임 업계의 Technical Artist(TA) 표준 업무 범위나, 모션 센서·컴퓨터 비전·전처리 파이프라인 등 컴퓨터 그래픽스 개발 영역의 관점만으로는 버추얼 아티스트의 제작 구조를 충분히 포괄할 수 없다.
문화적 측면에서도 마찬가지다. 연출·극작·음악 등 전통적인 공연 예술의 문법이나, J-pop·K-pop으로 대표되는 대중문화 산업의 언어로는 이 장르가 요구하는 범위를 담아내기에 한계가 있다. 버추얼 아티스트의 파이프라인은 기술과 문화 양쪽에 걸쳐 있으면서도, 어느 한쪽의 연장선으로 환원되지 않는 독자적인 체계를 요구한다.
New Media - Hebi
2026년 3월 27일, 퇴근 직후 택시를 잡아타고 YES24 Live 콘서트홀로 향했다. 우타이테 출신의 가수이자 버추얼 아티스트로 활동 중인 Hebi(헤비)의 공연을 보기 위해서였다.
2025년 이후 버추얼 유튜버 시장을 지켜보면서, 나는 기술적으로 이 분야가 요구하는 수준의 역량에 이미 도달해 있다고 생각했다. Hololive와 Nijisanji가 산업화를 시도하고 있었고, 실시간 3D 렌더링과 모션캡처 기술은 충분히 성숙해 있었다.
공연이 끝난 후 생각이 바뀌었다. 기술도 아직이고, 아트도 아직이었다.
영화, K-Pop, 애니메이션이 대중미디어로 자리잡은 것은 기술이 발전해서가 아니었다. 그 형식에 맞는 전문가들이 들어왔을 때였다. 사운드 엔지니어, 조명 디자이너, 그래픽 아티스트, 공연 연출가 — 이들이 씬 안으로 들어오기 전까지, 버추얼 아티스트의 공연은 아직 공연장에 올 준비가 되지 않은 것이다.
역사적으로 이 패턴은 반복된다. 애니메이션도 초기엔 아마추어 씬이었다. 토에이, 지브리, 그리고 결국 글로벌 자본이 들어오면서 산업화됐다. K-Pop도 마찬가지였다. SM이 자본을 밀어 넣고 시스템을 만들기 전까지는 그냥 국내 가요였다. 버추얼 아티스트 씬은 지금 그 분기점 직전에 있다.
Hololive, Nijisanji가 어느 정도 산업화를 시도하고 있는 것은 사실이다. 그러나 그 산업화는 아직 표면적인 수준에 머물러 있다. 매니지먼트 시스템은 생겼는데, 공연 예술의 전문성은 아직 들어오지 않았다.
이 시리즈는 그 필요성에 대한 기록이다.
Principle of VTuber Pipeline 시리즈는 총 다섯 편으로 구성된다.
기획·연출편에서는 버추얼 아티스트 프로덕션의 출발점인 pre-production language — 기획, 시놉시스, 연출 방법론 — 을 영화, 애니메이션, 비디오 게임, 음악 기획론의 맥락에서 살펴본다.
Art 공통편에서는 기획·연출편에서 정의한 pre-production language가 시각 언어로 전환되는 과정 — 컨셉 아트, 무드보드, 캐릭터 디자인, 그리고 2D와 3D 양쪽으로 분기되기 전 공유되는 일러스트레이션·색채·조형의 공통 기반을 다룬다.
2D편에서는 일러스트레이션과 파츠 분리 구조, Live2D·Cubism 리깅, 페이스 트래킹(ARKit·MediaPipe), 실시간 합성까지 2D 버추얼 아티스트 파이프라인 전반을 다룬다.
3D편에서는 Prop Design·Modeling, UV, Facial Rigging(52 Blendshape), 모션캡처, 그리고 Houdini Procedural Pipeline을 포함한 멀티 파이프라인 렌더링까지 3D 프로덕션의 전 구간을 다룬다.
Audio Engineering편에서는 DSP 이론을 기반으로, Traktor를 활용한 라이브 퍼포먼스, MIDI 컨트롤, Pure Data·Max/MSP를 통한 커스텀 실시간 프로세싱, DAW 세션 구성, VCV Rack 모듈러 시스템, 그리고 스트리밍 통합까지 버추얼 아티스트의 오디오 파이프라인 전체를 다룬다.
Media Streaming Engineering편에서는 OBS를 통합 레이어로 삼아, NDI·Spout·Syphon 연동, 실시간 합성, 레이턴시 버짓, 다중 송출 구조를 다룬다.
이 시리즈 전체를 관통하는 키워드는 하나다.
Realtime High-Performing Interactive Art.
버추얼 아티스트의 파이프라인이 기존 미디어 산업과 근본적으로 다른 이유는, 모든 것이 실시간으로 처리되어야 하며 실패는 즉시 관객에게 노출된다는 점에 있다. 이 시리즈는 그 실시간 파이프라인의 전 구간을 처음으로 체계화하는 시도다.