• KCI(Korea Citation Index)
  • DOI(CrossRef)
  • DOI(CrossCheck)

Journal of Broadcast Engineering

ISSN : 1226-7953 (Print) / 2287-9137 (Online)

  • KCI(Korea Citation Index)
  • DOI(CrossRef)
  • DOI(CrossCheck)

ISSN : 1226-7953 (Print) / 2287-9137 (Online)

Current Issue

JOURNAL OF BROADCAST ENGINEERING - Vol. 29 , No. 2

[ Special Paper ]
JOURNAL OF BROADCAST ENGINEERING - Vol. 28, No. 5, pp. 518-529
Abbreviation: JBE
ISSN: 1226-7953 (Print) 2287-9137 (Online)
Print publication date 30 Sep 2023
Received 18 Jul 2023 Revised 01 Sep 2023 Accepted 01 Sep 2023
DOI: https://doi.org/10.5909/JBE.2023.28.5.518

메타버스에서 생성형 인공지능을 활용한 콘텐츠 창작과 협업에 관한 연구
조병철a), ; 방준성b) ; 안성희c)
a)동아방송예술대학교
b)주식회사 와이매틱스
c)홍익대학교

Study on Content Creation and Collaboration Using Generative Artificial Intelligence in the Metaverse
Byung Chul Choa), ; Junseong Bangb) ; Sunghee Ahnc)
a)Dong-Ah Institute of Media and Art
b)YMATICS Corp.
c)Hongik University
Correspondence to : 조병철(Cho Byung Chul) E-mail: bccho@dima.ac.kr Tel: +82-31-670-6816


Copyright © 2023 Korean Institute of Broadcast and Media Engineers. All rights reserved.
“This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.”

초록

생성형 인공지능의 발전은 메타버스 콘텐츠 창작자의 역할과 협업 형태의 변화에 대한 재검토를 요구하고 있다. 본 연구는 메타버스 융복합 공간에서 창작자와 생성형 인공지능의 협업 모델을 제시하고자 한다. 첫째, 생성형 인공지능을 이용한 메타버스 콘텐츠의 창작 방법과 주요 요소를 살펴본다. 둘째, 메타버스 융복합 공간에서 생성형 인공지능의 잠재적 가능성과 데이터 분류, 저장, 관리 및 유통 과정을 탐구한다. 셋째, 전문가 심층 인터뷰를 바탕으로 협업 모델을 위한 창작자의 새로운 도전과제와 가이드라인을 제시한다. 이와 관련하여 본 연구는 메타버스 콘텐츠 창작자의 잠재적 가능성과 새로운 기회를 제시하는데 그 의미가 있다.

Abstract

The development of generative artificial intelligence necessitates a review of the changing role of Metaverse content creators. This study aims to present a collaborative model between creators and generative artificial intelligence within a Metaverse convergence space. Firstly, this paper examine the creation method and key elements of Metaverse content using generative artificial intelligence. Secondly, this paper explore the potential of generative artificial intelligence including the processes of data classification, storage, management, and distribution. Thirdly, based on in-depth interviews with experts, this paper present new challenges and guidelines for creators for collaborative models. This holds significant value in presenting potential possibilities and new opportunities for Metaverse content creators.


Keywords: Metaverse, Generative Artificial Intelligence, Content Creation, Collaborative Model

Ⅰ. 서 론
1. 연구 배경

메타버스(Metaverse)는 코로나 19(Covid-19) 이후 새로운 차세대 인터넷으로서 개인의 아바타가 디지털 가상 환경에서 경제적·사회적·문화적 활동을 통해 새로운 콘텐츠 생산, 유통 그리고 소비의 가능성을 제시하고 있다[1]. 코로나 19가 완화된 이후 개인의 현실 세계 활동이 다시 활기를 띠는 시점에서 메타버스를 위한 컴퓨팅 파워(Computing Power), 네트워크 기술 그리고 현실 세계를 모방하는 컴퓨터 그래픽 기술은 아직 한계를 드러내며 향후 해결해야 할 많은 연구 과제를 남기고 있다.

한편, 생성형 AI(Generative AI)의 출현은 다양한 형태의 인간과 컴퓨터 상호작용(HCI)을 지원하며 도시 기획 및 설계(Urban Planning and Design), 그래픽 디자인(Graphic Design), 게임 디자인(Game Design), 사운드 디자인 (Sound Design) 그리고 패션 디자인(Fashion Design)까지 혁신적인 지능화 기술로 많은 창작자와 디자이너의 일자리를 위협하고 있다[2]. 창작 산업(Creative Industry) 전반으로 확산되고 있는 생성형 AI 기술은 콘텐츠 제작의 효율성 증대를 위해 텍스트(Text), 이미지(Image), 오디오(Audio) 그리고 비디오(Video)와 같은 콘텐츠를 자동으로 생성하고 합성하는 것이 가능하기 때문이다.

그러나 성별, 인종, 문화적 편견, 언어적 편견, 이념적 편견, 데이터의 편향성, 과도한 일반화, 제한된 창의성 그리고 윤리적 도덕적 추론의 한계와 같은 생성형 AI의 문제점은 메타버스와 콘텐츠 산업 성장에 걸림돌이 될 수도 있다는 의견이 있다[3].

최근, 유럽 의회는 생성형 AI가 미치는 생체인식, 교육 및 직업 훈련, 민간 및 공공 서비스 그리고 법 집행을 고위험으로 분류하고 이미지, 오디오 그리고 비디오와 같은 콘텐츠를 제한된 위험으로 분류하며 2023년 연말까지 법률 형태로 합의한다고 밝힌 바 있다[4][5]. 이처럼 생성형 AI가 활용될 메타버스 콘텐츠 기술은 여러 한계와 규제로 인한 위기와 새로운 기회의 가능성을 동시에 직면하고 있다[6].

이러한 디지털 환경과 미디어 패러다임의 변화는 창작자의 관점에서 창작자 스스로가 역할 변화를 재검토하는 새로운 기회가 될 수 있음을 의미한다. 따라서, 본 연구는 메타버스 융복합 공간에서 생성형 AI의 위험 요소를 극복하고 이를 이용한 콘텐츠 창작과 협업 모델을 제시하고자 한다.

2. 연구 방법

본 연구는 기술, 예술 그리고 인문 등 학제 간 연구가 요구됨으로 다음과 같은 연구 방법으로 구성되었다. 2장 이론적 논거에서는 선행연구를 분석하고 메타버스 콘텐츠의 창작 방법과 주요 요소를 살펴본다. 3장인 메타버스 콘텐츠 창작을 위한 데이터 구성에서는 사용자 생성 콘텐츠(UGC: User-Generated Content)의 잠재적 가능성과 데이터 분류, 저장, 관리 및 유통 과정을 탐구한다. 4장에서는 공학, 디자인, 콘텐츠 제작 분야의 전문가 심층 인터뷰(In-Depth Interview) 결과분석을 바탕으로 메타버스 콘텐츠에서 생성형 AI를 활용한 협업 모델을 제시하고자 한다. 표 1은 전문가 심층 인터뷰 대상자 구성을 나타낸 것이다. 협업 모델 제시를 위한 세부적인 연구 문제는 다음과 같다.

Table 1. 
List of In-Depth Interview Positioning1)
Experts Expert Career Position Division Generative AI Experience
Expert 01 10-15 years Public Research Center Researcher Metaverse Researcher -Theoretically: High
-In Practice: Middle
Expert 02 10-15 years Academics & Univ. Researcher Metaverse Researcher -Theoretically: high
-In Practice: Middle
Expert 03 20 years more Academics & Univ. Researcher Metaverse Creator/Designer -Theoretically: High
-In Practice: Middle
Expert 04 20 years more Academics & Univ. Researcher Metaverse Researcher -Theoretically: High
-In Practice: Low
Expert 05 5-10 years Academics & Univ. Researcher Metaverse Researcher -Theoretically: High
-In Practice: Low
Expert 06 5-10 years Private Company Engineer/Designer Metaverse Creator/Designer -Theoretically: High
-In Practice: High
Expert 07 10-15 years Academics & Univ. Researcher Metaverse Researcher -Theoretically: High
-In Practice: Middle

  • •연구 문제 1 : 메타버스 콘텐츠 제작과정에서 창작자(일반인과 디자이너 모두)가 생성형 AI를 활용하게 된다면 긍정적인 효과와 부정적인 효과는 무엇인가?
  • •연구 문제 2 : 메타버스 콘텐츠 제작에서 창작자와 생성형 AI의 협업 가이드라인(Collaborative Guideline)을 만든다면 포함되어야 할 사항은 무엇인가?
  • •연구 문제 3 : 메타버스 콘텐츠 제작을 위해서 창작자에게 요구되는 능력과 새로운 도전과제는 무엇인가?

Ⅱ. 이론적 논거 : 메타버스에서의 콘텐츠 창작
1. 선행연구 분석

메타버스는 사용자 상호작용(User Interaction)을 통한 3차원 시뮬레이션이 가능한 가상공간을 제공한다[7]. 메타버스 플랫폼인 엔비디아(Nvidia)의 옴니버스(Omniverse)는 콘텐츠 창작자들이 가상공간에서 상호 협업하여 물리 법칙에 근거한 시뮬레이션을 하는 것을 지원하고 있다. 옴니버스를 통해 창작자들은 다양한 응용 소프트웨어를 오가며 협업이 필요한 작업을 동시에 진행할 수 있게 한다[8]. 가령, 언리얼 엔진(Unreal Engine), 유니티(Unity)와 같은 게임 엔진(Game Engine) 그리고 어도비(Adobe) 계열의 애프터-이펙트(After-Effects)를 3D 에셋 라이브러리(Assets Library)와 함께 이용하면 이미지 합성(Image Synthesis)이나 모션 그래픽(Motion Graphic)과 같은 협업 작업이 가능하다. 그러나, 클라우드(Cloud) 기반의 플랫폼에서는 응용 소프트웨어 사이의 호환성 문제와 실시간 시뮬레이션 작업에 의한 데이터 트래픽(Data Traffic) 이슈가 존재한다[9].

3차원 모션 추적(3D Motion Tracking) 솔루션인 Xsens는 안무가와의 협업을 위해 안무가의 동작을 캡쳐하고 멀티플랫폼 환경에서 K-POP 가상공연 콘텐츠를 제작하는데 활용될 수 있다[10]. 이러한 3차원 모션 추적 기술은 웨어러블 슈트(Wearable Suit)를 착용한 사용자의 움직임 적용으로 사용자의 전신 동작 데이터를 획득할 수 있고 이를 학습시켜 신체의 동작인지 모델을 생성할 수 있다. 이를 기반으로 하여 콘텐츠 제작자들 사이에 가상공간 협업이 가능해진다. 또한, 키프레임 애니메이션(Keyframe Animation)보다 빠른 실시간 프로세스도 가능하다.

일부 전문가들은 혼합현실(Mixed Reality) 공간에서의 협업이나 공동창작연구를 수행해 왔다. T. Kohler et al의 연구진은 “확장현실(XR: eXtended Reality)기반 공동창작 방식과 같은 다양한 유형의 가상공간에서의 작업이 창의성을 향상시킨다.”고 언급한 바 있다[11]. D. Kim et al의 연구진은 비대칭형 증강현실과 가상현실 원격 협업에 활용할 수 있는 혼합현실 공간 생성 방법을 제안했다[12]. 해당 연구는 클라이언트인 사용자의 공간을 정렬하고 상호 공간 구성에 따라 임계 범위 내에서 그 가상공간의 스케일(Scale)을 조절하는 알고리즘에 관한 내용을 포함한다. J.-M. Jot et al의 연구진은 메타버스에서 사용자 경험 향상을 위해 비디오, 오디오, 가상공간 그리고 실제 공간의 일치에 필요한 지각 관련 연구를 진행한 바 있다[13]. 그들은 다양한 플랫폼에서 사용자에게 자연스러운 음원을 제공하기 위해 실내 잔향, 음향 반사체 및 장애물의 효과를 고려하여 장면에 따라 각 오디오의 거리, 크기, 방향 그리고 음향 방사 특성을 제어할 수 있는 모델에 대해 논의한 것이다. M. Rettinger et al의 연구진은 가상현실 훈련(VR-Training)과 혼합현실 훈련(MR-Training)에 대해 사용성, 인지 작업량, 훈련 동기 및 훈련 성공 측면 등에서 가상훈련의 적합성을 평가했으며 가상현실 훈련이 실제 훈련과 비교해 특정 목적의 훈련에서는 우수한 결과를 보여줄 수 있음을 밝혔다[14]. 이러한 협업 및 그래픽 소프트웨어 도구들을 이용한 협업 관련 연구들은 버추얼 휴먼(Virtual Human), 메타버스 기반 엔터테인먼트(Entertainment) 등의 분야로 확장되고 있으나 메타버스 환경에서 창작자 관점의 생성형 AI 활용 연구 사례는 거의 전무한 실정이다.

2. 메타버스에서 생성형 인공지능을 활용한 콘텐츠 창작의 주요 요소와 핵심 가치

메타버스 콘텐츠를 구성하는 주요 요소는 데이터 획득(Data Acquisition), 3D 모델링(3D Modeling), 3D 애니메이션(3D Animation) 그리고 실시간 렌더링(Realtime Rendering)이 있으며 이를 수용하는 테마별 스토리가 있다. 메타버스 콘텐츠 제작을 위한 분류체계 범위는 모션 캡쳐 기술을 활용한 데이터 획득에서부터 3D 데이터 모델링, 콘텐츠 환경에 관련한 공간 디자인, 버추얼 휴먼 그리고 실시간 상호작용에 이르기까지 다양한 범주가 이에 포함된다. 아래 표 2는 생성형 AI와 연계된 메타버스 콘텐츠 제작 단계에서 요구되는 핵심 요소 기술을 나타낸 것이다.

Table 2. 
Elemental Technology for Metaverse Contents Production[16][17]
Elemental Technology Tech Category & Product
Data Acquisition (Motion Capture) 3D Scanner LiDAR. Multi-view point, Free view point RGB-D Camera (Kinect, RealSense, Depth Camera), Xense
3D Data Modeling using Generative AI 3D Virtual Human and Space Modeling (Max, Maya) Point Cloud, Mesh, Volumetric Grid
Virtual human using Generative AI Photorealistic Virtual human Intelligent NPC (Non-Player Character)
Real time Rendering, Interaction Game Engine 3D Engine Unreal Engine, Unity

Table 3. 
Types of Generative AI Tools
G-AI Divisions G-AI Tools
Text-based G-AI GPT3/4, ChatGPT, Open AI
Image-based G-AI Midjourney, DALL-E, Stable Diffusion
Audio-based G-AI Play.ht, Clipchamp, Soundraw
Code G-AI ChatGPT, GitHub Co-Pilot, IntelliCode, PyCharm, Jedi

메타버스 콘텐츠는 가상현실(Virtual Reality), 증강현실 (Augmented Reality) 그리고 생성형 AI 기술에 의해 창작되고 활성화될 전망이다. 첫째, 가상현실 콘텐츠는 가상의 객체들이 포함된 가상공간에서의 사용자 경험을 제공한다. 가상현실 콘텐츠 구현은 전체 주변 시야를 한번에 획득하는 360° 카메라로 촬영한 영상 데이터와 스티칭 소프트웨어(Stitching Software)를 사용하여 제작하는 방법도 있지만, 상호작용이 가능한 3D 공간과 객체를 구성할 수 있는 게임 엔진 등을 활용한 사례도 개발되고 있다[15]. 여기서, 스티칭은 가상현실 콘텐츠 내 장면들을 이음새 없이 보이게 하는 작업을 말한다. 스티칭 작업 과정에서 조명 등에 대한 보정도 이루어질 수 있다. 가령, 가상현실 게임 콘텐츠는 창작자에 의해 스토리가 기획되고 이에 적합한 가상공간에 가상객체들로 구성될 수 있다. 가상공간과 가상객체를 생성하기 위해 실시간 게임 엔진이나 마야(Maya)와 같은 3D 모델링 소프트웨어가 사용되기도 한다. 이 과정에서 가상현실 에셋(Assets)이 만들어지고 공유될 수 있다. 둘째, 증강현실 콘텐츠는 현실 세계에 컴퓨터 그래픽으로 정보를 겹쳐 보이게 하고 이와 상호작용 할 수 있도록 사용자 경험을 제공한다. 가령, 기존의 미디어 데이터를 활용한 증강현실 갤러리, 증강현실 이펙트 도구와 같은 증강현실 경험을 제공하는 다양한 사례들이 있다. 셋째, 생성형 AI는 인간의 글이나 그림 등을 모방하여 결과를 생성해 낼 수 있으므로 인간의 창작작업에 영감을 주는 디지털 산출물들을 생성하는데 활용될 수 있다. 즉, 생성형 AI 도구가 다른 관점에서의 콘텐츠 구상을 위해 참조가 될 가능성이 있다. 이러한 맥락에서 일부 자동화된 시각화는 이미지 생성을 가능하게 하지만, 콘텐츠 창작의 핵심적인 가치라 할 수 있는 창작자의 메시지(Message)는 자동으로 생성되기 어려울 것이다. 콘텐츠의 메시지 전달을 위해 창작자의 능동적 개입이 여러 차례 요구되기 때문이다. 즉, 생성형 AI의 영향력은 주제와 방향을 결정하는 콘텐츠 제작과정의 초기 단계에서는 효과적일 수 있다. 하지만 전체 제작과정에서 그 영향력이 한계를 드러낼 것으로 보인다. 콘텐츠의 핵심 가치로서의 메시지는 미디어가 진화할수록 창작자와 참여자들의 상호작용을 위한 촉매재가 될 수 있으며 시공간을 초월하여 그 영향력이 발휘될 수 있기 때문이다.

Marshall McLuhan이 “미디어가 곧 메시지이다”(The Medium is the Message)라고 천명(闡明)한 것처럼 미디어 콘텐츠의 메시지는 정치적, 사회적, 문화적 영향력과 궤를 같이하고 있다[18]. 이러한 관점에서 생성형 AI를 활용한다는 것은 학습된 데이터를 기반으로 하여 결과를 생성하는 특징을 지니고 있으므로 결국 창작자의 메시지를 드러내기에는 한계가 있다는 의미이다. 이러한 함의(含意)를 창작자는 간과해서는 안 될 것이다.


Ⅲ. 메타버스 콘텐츠 창작을 위한 사용자 데이터와 생성형 사용자 데이터 구성 (User Data & Generated Output)
1. 메타버스에서 콘텐츠 창작을 위한 데이터의 종류와 구성

다양한 참여자들의 경제적·사회적 및 문화적 활동이 가능한 메타버스는 대규모 데이터 셋(Data Set)과 정보 기술의 융합체이다[19]. 메타버스에서 생성형 AI의 데이터는 현실 세계의 데이터 셋 기반으로 생성된 합성 데이터(Synthetic data)이다. 이미 입력되어있는 참여자의 개인 데이터와 함께 참여자 데이터들은 대상 데이터로 활용될 수 있다. 여기서, 다양한 데이터의 조합으로 데이터 셋이 구성되고 모델링 시스템을 통해 합성 데이터가 출력된다.

기존 온라인 플랫폼과 달리 메타버스에서 사용자의 정보와 경험 데이터는 다양한 3D 데이터를 생성하고 처리되기 때문에 이를 수용할 수 있는 대용량 데이터 처리 네트워크가 필요하다. 이러한 메타버스 기술의 특성으로 고효율의 압축과 빠른 전송 데이터 처리 기술이 요구되는 것이다[20].

이론적으로 고주파 대역 5G는 최대 10Gbps에서 20Gbps의 처리량을 달성할 수 있지만 협소한 지역에서만 동작하기 때문에 도심지 특정 지역 중심에서만 응용 프로그램 활용에 적합한 수준이다[21]. 따라서, 6세대 이동통신 기술인 6G가 상용화되어야 실질적인 메타버스 콘텐츠의 보급과 응용이 실현될 수 있을 것이다. 6G의 전송 용량은 5G의 100배 이상인 1 Tbps까지 상승할 수 있기 때문이다. 즉, 지연이 거의 없는 데이터 셋 기반의 네트워크 환경을 갖춘 6G는 메타버스 참여자에게 실시간으로 몰입감 있는 경험을 제공할 수 있다. 이러한 맥락에서 메타버스와 생성형 AI 기술의 발전과 활용은 메타버스 콘텐츠의 실질적인 상용화와 활성화 가능성을 반증하고 있다. 그림 1(a)에서 보는 것과 같이, 생성형 AI 응용 도구들(Application Tools)은 사용자들에게는 알려지지 않은 데이터 셋을 학습시켜 사용자들에게 모델을 제공할 것이다. 각 모델들은 다른 목적에 최적화되어 이용될 수 있으며 해당 모델은 스타일 필터(Style Filter)를 통해 유사하지만 다른 스타일의 결과물로 스타일 변환(Style Transfer)이 될 수 있다. 또한, 메타버스 내의 창작과 협업을 위한 가상공간에서 사용자들은 특정 터미널을 통한 프롬프트(Prompt)와 상호작용을 입력으로 하고 텍스트, 이미지 그리고 오디오 등 다양한 미디어를 추가할 수 있다. 이러한 워크플로우(Workflow)는 생성형 AI 모델을 이용한 콘텐츠의 생성과 새로운 유통 방식의 잠재적 가능성을 의미한다. 현재까지 생성형 AI 모델로 생성된 결과는 사용자 정의로만 제어하기가 쉽지는 않을 것이다. 그림 1(b)에서 보는 것과 같이, 사용자는 기존 작업 방식을 바탕으로 이전의 결과들을 활용하여 사용자 모델을 생성할 수 있다. 사용자는 기존에 활용했던 데이터 셋과 모델들을 비교하며 사용자 모델의 성능을 높일 수 있고 이를 통해 개인화된 결과 확보가 용이하다. 콘텐츠 창작 과정에서 사용자가 생성형 AI 도구들을 통해 만든 결과물의 저작권 이슈에 대한 논의도 필요하다. 메타버스 공간에서 사용자의 개인화된 모델은 관련된 2차 저작물이 저작권의 보호를 받거나 혹은 저작권 침해 소송으로부터 자유로운 경우만 창작작업의 지평을 넓혀갈 수 있기 때문이다. 이러한 특성으로 인하여 사용자들 사이의 협업과 사용자와 생성형 AI의 협업 과정에서 생성된 결과물들에 대한 저작권의 활용 범위와 영향력에 대한 지속적인 논의가 요구되고 있다.


Fig. 1.  
Changes in the Creative Work Environment of Creators using Generative AI Tools

2. 웹 3.0 시대 메타버스에서 창작자 생성 콘텐츠의 잠재적 가능성

메타버스 콘텐츠의 주된 형식은 온라인의 댓글, 인스타그램(Instagram), 유튜브(Youtube) 그리고 페이스북(Facebook)이 주도하는 플랫폼(Platform) 중심의 콘텐츠가 아니라 창작자 생성 콘텐츠(UGC: User Generated Contents)가 될 전망이다. 이러한 변화는 웹 2.0(Web 2.0)에서 웹 3.0의 시대 새로운 콘텐츠의 제작과 배포를 의미하기도 한다[22].

메타버스 환경에서 참여자들은 기술적 수용성의 한계로 콘텐츠 제작과 소비에서 직관적인 경험을 포함한 다음과 같은 특징들을 더 중요시하는 경향이 있다.

첫째, 메타버스 참여자들은 자신의 가상공간에서 콘텐츠와 더불어 관련된 응용 도구들을 스스로 창작하고자 한다. 웹 2.0 시대 유튜브와 같은 플랫폼에서는 그 플랫폼의 소유자가 콘텐츠를 만드는 방법과 규칙을 주도하는 것과는 달리, 웹 3.0 시대 메타버스에서는 사용자들이 자신만의 콘텐츠와 규칙을 만들고, 플랫폼은 필요한 기술 도구를 사용자에게 제공함으로써 창작자에게 그 주도권을 부여하고 있다.

둘째, 참여자들은 경험의 시각적 효과만으로 메타버스의 질적 수준을 평가하지 않는다. 메타버스 공간 안에서 콘텐츠 제작을 위한 툴의 사용, 데이터의 저장과 배포, 안전한 조절과 선별 그리고 커뮤니티 관리는 참여자들이 시간과 재화를 소비하게 만드는 핵심적인 기능이 되기 때문이다.

셋째, 현재까지 메타버스에서 창작자 생성 콘텐츠 처리 과정에 대한 경험의 만족도는 높지 않다. 생성형 AI 관련 사업 모델(Business Model)에 대해 우려의 목소리가 나오는 이유는 참여자들의 관점에서 그 기술의 성능과 기능적 요소보다는 창작 과정의 소통, 콘텐츠의 질적 수준과 가치를 더 중요시하는 경향이 있기 때문이다.


Ⅳ. 생성형 인공지능을 활용한 협업 워크플로우

확장 현실과 생성형 AI 기술이 발전함에 따라 메타버스에서 협업에 대한 필요성이 더욱 증가하고 있다. 메타버스 콘텐츠를 제작하거나 개발하는 과정에서 시각적 표현은 문제를 예측하고 제품의 성능과 품질을 높이기 위한 중요한 역할을 한다. 또한, 실시간 공유와 동시 작업은 목표 달성을 위한 시간과 비용을 효과적으로 줄일 수 있다[23]. 3차원 시뮬레이션이 가능한 게임 엔진 기반의 메타버스에서는 협업을 위한 적합한 프로세스가 정의될 수 있으며 상호작용 기술의 발전에 따라 전반적인 작업 개선도 기대해볼 수 있다. 즉, 다자간 협업은 작업 수행의 효과성과 그 결과의 완성도를 향상시킬 수 있으며 협업 과정에서 아이디어 교환은 창의적 산출물을 만들어내기도 한다. 본 IV장에서는 메타버스에서 상호작용 협업과 생성형 AI를 활용한 협업 모델을 제시하고 전문가 심층 인터뷰를 통해 협업에서 요구되는 요소와 새로운 도전 방향을 제시하고자 한다.

1. 메타버스에서의 상호작용과 협업

메타버스는 협업에 참여한 사용자들에게 다음과 같은 긍정적인 효과와 부정적인 효과를 동시에 제공한다.

첫째, 메타버스에서 사용자들은 개인 공간을 방문할 수 있고 다양한 디지털 소프트웨어나 도구들을 활용할 수 있으며 이들 사이에서 상호 전환이 비교적 자유롭다.

둘째, 사용자들은 공동의 작업을 하면서도 생성형 AI와 협업하며 작업(Task)을 진행할 수 있다. 이는 사용자가 생성형 AI 소프트웨어를 직접적으로 이용하는 것을 넘어 인공지능 에이전트(Artificial Intelligence Agent)가 생성형 AI 소프트웨어 이용을 대화식으로 돕는 것도 포함될 수 있다. 가령, 일반 참여자들이 생성형 AI를 통해 콘텐츠 창작에 도움을 받을지라도 2D 모바일이나 태블릿(Tablet), 데스크탑(Desk Top) 등의 스크린 기반의 온라인 콘텐츠 경험에 익숙한 참여자들에게 메타버스 플랫폼의 기술적 장벽은 여전히 콘텐츠 창작에 걸림돌이 될 수 있기 때문이다.

셋째, 사용자들의 암호화된 통화와 접속을 통해 사회적 상호작용을 수행하는 고된 경험은 사용자들에게 혼란만 가중시킬 수 있다. 가령, 창작 과정에서 사용자들이 창의적 활동의 지원을 넘어서 창의성에 대한 가치에 기여할 수 있도록 생성형 AI 툴에 대한 작동 범위, 작동 수준과 한계점에 대한 이해가 선행되어야 할 것이다[24].

2. 메타버스에서 생성형 인공지능과의 협업 모델

메타버스는 협업 시뮬레이션 작업공간(Collaboration Simulation Workspace)을 제공할 수 있다. 아래 그림 2는 가상현실 환경의 사용자나 증강현실 환경의 사용자가 공동 참여가 가능한 작업공간과 콘텐츠 생성 과정을 나타낸 것이다.


Fig. 2.  
Creation of Creator Content using Generative AI in the Metaverse Collaborative Simulation Space

첫째, 메타버스 공간에서 협업용 가상공간에 접근하기 위해 데이터들은 메타버스 게이트웨이(Metaverse Gateway)를 통할 수 있다. 둘째, 사용자는 협업 시뮬레이션 작업공간에서는 사용자들의 상호작용에 따라 생성(Generation)되고 가시화(Visualization)된 3D 시뮬레이션 결과를 확인할 수 있다. 여기서, 협업 시뮬레이션 작업공간은 가상현실과 증강현실 환경의 사용자들이 참여할 수 있도록 작업 정보(Task Information), 구성 정보(Configuration Information) 그리고 권한 정보(Authorization Information)를 제공할 필요가 있다. 작업 정보는 협업을 통해 해결하려는 목표, 자원 그리고 기한 등과 관련이 있다. 구성 정보는 수월한 작업을 위해 구성한 가상공간에 대한 정보이다. 셋째, 증강현실 환경 사용자가 협업에 참여할 경우 그 사용자의 현실 세계 공간은 센싱(Sensing)이 가능하도록 협업용 가상공간으로 구성될 수 있다. 이것은 가상현실과 증강현실 환경의 사용자들에게 공통으로 공유되어 상호작용이 가능함을 의미한다. 넷째, 협업 프로세스의 공간정보와 공동작업을 특성화하고 평가하는 단계는 매우 중요한 단계로 현실 세계 사용자의 실시간 위치에 따른 다양한 정보 수집이 필요하다[25]. 권한 정보는 협업에 참여한 사용자들이 이용할 수 있는 소프트웨어 작업 도구, 편집 권한 등과 관련이 있다. 그림 3에서 제시된 바와 같이 메타버스 사용자들이 생성형 AI 소프트웨어와 도구들을 이용하기 위해서 사용자 인터페이스나 인공지능 에이전트(AI Agent)의 역할도 중요시되고 있다.


Fig. 3.  
Human-Generative AI Collaborative Model in Metaverse

인공지능 에이전트는 사용자 프롬프트를 직접 전달하여 한 번에 결과를 생성하거나 대화식으로 단계를 거치며 결과를 생성할 수 있기 때문이다.

가상현실과 증강현실 환경에서 협업용 가상공간 개선을 위해 개발 프레임워크(Framework) 구현에 관한 연구도 필요하다. V. Pereira et al의 연구진은 4명의 가상현실 사용자와 3명의 증강현실 사용자가 실시간으로 동일한 가상 환경을 공유하고 상호작용하는 실험을 진행한 바 있다[26]. 특히, 협업용 가상공간 관련 개발자는 객체 조작, 정보 공유 등에 대한 프레임워크를 통해 구현되는 협업 메커니즘을 이해해야 할 것이다. 메타버스에서 더 많은 사용자가 다양한 활동을 수행하고 이종의 메타버스 플랫폼들의 상호연동을 지원하기 위한 프레임워크 개발은 더 복잡해 질 수 있기 때문이다. 따라서 메타버스에서 협업을 위해 다음과 같은 몇 가지 고려해야 할 이슈들이 있다. 첫째, 메타버스 내 협업에 참여하는 사용자들은 공동의 프로젝트를 진행하기 위한 정보 접근이 가능해야 한다. 사용자가 어떤 목표로 작업을 하고, 다른 사용자들은 어떤 작업을 하는지 확인할 수 있어야 할 것이다. 이러한 특성으로 동료들의 진행 상황을 확인하며 필요에 따라 협조를 위한 소통이 가능하다. 또한, 그림 2에서 작업 정보, 권한 정보를 공유하는 것이 그 이유이기도 하다. 둘째, 챗 GPT(ChatGPT)에서와 같이 생성형 AI 도구들은 현재 개인정보 보호나 보안에 취약하다. 인터넷에 공개되고 싶지 않은 사적인 혹은 조직의 기밀 정보를 입력으로 제공하는 것은 매우 위험할 수 있기 때문이다. 셋째, 메타버스에서의 협업은 몇 가지 이점을 제공하지만, 너무 많은 사용자가 협업에 참여할 경우 작업이 복잡해지거나 집중이 어려울 수 있다. 이를 방지하기 위해 프로젝트 진행 과정을 가시화하고 각 세부 작업에 대한 역할 분담도 필요하다. 따라서 이러한 논의를 바탕으로 전문가 심층 인터뷰 결과분석에서는 헙업에서 필요한 요소들을 파악하고 새로운 도전 방향을 재검토하고자 한다.

3. 전문가 심층 인터뷰 결과 분석 및 새로운 도전 방향

창작자들과 생성형 AI와의 협업을 위해 관련 근거 마련, 초래될 수 있는 위험 관리와 동시에 가이드라인을 준비할 필요가 있다. 본 연구의 IV장에서는 이러한 협업을 위해 요구되는 요소들은 무엇이며 도전과제는 무엇인지를 재검증하고자 학계, 연구원 그리고 현장 창작 전문가 등 관련 전문가 7명을 대상으로 실시한 심층 인터뷰 결과분석을 진행하였다.

본 전문가 심층 인터뷰 결과는 정책과 기초적인 교육 방향 수렴 과정에서 객관성 확보를 위해 전문가들의 주관적인 의견은 제외하고 연구 문제 중심으로 도출된 의견 중심으로 분석되었다. 그림 4는 전문가들이 공통적으로 제시한 긍정적인 요소와 부정적 요소를 정성 요인과 정량 요인으로 재구성한 분석 맵핑 결과를 나타낸 것이다.


Fig. 4.  
Analysis Results of In-depth Interviews

본 전문가 심층 인터뷰 분석 결과 창작자와 생성형 AI와의 협업 관련 논의되어야 하는 요소와 창작자들의 도전 요소에 관한 분석 결과는 다음과 같은 특징을 보였다.

첫째, 협업 관련 긍정적 요소인 제작 시간 단축과 작업의 효율성을 증대하는 것이다. 생성형 AI는 학습된 데이터를 기반으로 강력한 도구로서의 역할을 할 수 있기 때문이다.

반면, 창작자는 창의력을 바탕으로 다양한 문제들을 해결하고 콘텐츠의 질적 수준과 가치를 높이는 작업에 집중할 수 있을 것이다.

둘째, 협업 관련 부정적인 요소인 데이터의 편향성, 콘텐츠의 저작권, 윤리 그리고 가짜뉴스의 무분별한 배포에 대한 우려이다. 특히, 협업 모델에서 ‘데이터 편향성’을 고려한 수집과 전달이 중요한 요소로 분석되고 있다. Marshall McLuhan은 기술결정론적 관점에서 미디어가 이러한 사회와 문화적 변동에 지대한 영향이 있음을 강조했지만, 메세지에 가치를 담아내고 신뢰성과 진정성을 확보하는 문제는 Marshall McLuhan이 간과한 내용이기도 하다.2)

셋째, 안전한 프롬프트 가이드라인(Prompt Guideline)과 명확한 워크플로우 제시가 중요한 요소로 분석되고 있다. 또한, 공통적으로 우려되는 요소로 AI 관련 윤리와 저작권 분쟁에서 어떻게 원작자와 편집자들을 보호할 수 있을 것인가? 출력의 편향성이나 오류를 어떻게 줄일 수 있는가? 에 대한 진중한 의견들이 있었다. 이러한 창작자와 인공지능의 협업에 있어 구체적인 가이드라인에 관한 니즈(Needs)는 협업을 위한 데이터의 생성단계부터 원본 데이터 그리고 창작데이터 모두 투명성에 근거해야 할 것임을 확인해주고 있다.

이처럼 생성형 AI의 출현으로 메타버스 콘텐츠 산업 성장에 걸림돌이 될 수 있는 데이터의 편향성과 콘텐츠 저작권 문제와 같은 우려는 있으나 창작자와 생성형 AI는 상호보완적인 관계로서의 잠재적인 성장 가능성도 동시에 존재하고 있다. 이러한 미디어 패러다임의 변화를 초래한 웹 3.0 시대 창의적 사고, 문제해결 능력, 윤리와 의무와 같은 창작자들의 새로운 역할 변화가 요구되고 있다.


Ⅴ. 결 론 : 본 연구의 한계 및 향후 연구 방향

생성형 AI의 출현은 메타버스 콘텐츠 제작자의 역할 변화에 대한 재검토를 요구하고 있다. 즉, 메타버스 사용자들은 가상현실 또는 증강현실 환경에서 메타버스 공간에 접속할 수 있으며 생성형 AI와 협업으로 작업 환경을 효율적으로 개선할 수 있다. 이를 위해 HMD(Head/Helmet Mounted Display), 햅틱 기기들(Haptics) 등의 상호작용 기술 그리고 클라우드 기반의 안정된 환경 지원을 위한 네트워크나 모바일 엣지(Mobile Edge) 기술에 대한 창작자의 이해와 상호운용성(Interoperability)에 대한 논의도 필요하다. 따라서, 본 연구는 메타버스 융복합 공간에서 생성형 AI를 활용한 창작자의 새로운 역할과 협업 모델 제시를 위해 다음과 같은 연구를 수행하였다. 첫째, 생성형 AI를 이용한 메타버스 콘텐츠의 생성 방법과 핵심 요소에 관한 검토, 둘째, 메타버스 융합 공간에서 데이터 분류, 저장, 관리 및 배포 프로세스를 포함한 생성형 AI의 잠재력 탐구, 셋째, 전문가와의 심층 인터뷰를 바탕으로 협업 모델에 대한 크리에이터들의 새로운 도전과 가이드라인을 제시하였다.

메타버스의 기술적인 성숙도가 이루어 졌을때 창작들이 필연적으로 직면하게 될 윤리적 사회적 위험 요소와 콘텐츠의 저작권 문제는 창작자가 극복해야 할 큰 장애물이 되고 있다. 또한, 현재 생성형 AI 기반의 도구들이 메타버스의 일반 참여자들에게 접근이 쉬운 엑세스, 핸들링의 경험과 인터페이스를 제공하기에는 아직 걸음마 단계이다. 즉, 웹 2.0에서 웹 3.0으로 진화하고 있는 시점에서 생성형 AI를 이용한 메타버스 콘텐츠의 현주소는 현재 초기 단계에 머물러 있으며 생성형 AI와 메타버스 참여자들의 협업에 관한 충분한 경험 데이터를 확보하지 못하고 있는 실정이다. 이러한 요인들로 인해 메타버스의 단기적인 미래는 여전히 불확실하다. 따라서, 메타버스의 콘텐츠의 체계적인 분류체계 그리고 콘텐츠의 메시지 전달을 위한 새로운 가치평가 기준에 관한 추가적인 연구가 절실히 요청된다.


Notes
1) 본 연구는 전문가 심층 인터뷰를 통해 예측모델(Prediction Model)을 도출하고 메타버스 콘텐츠 전략과 연구 방향 수립에 기여하고자 하였다. 이를 위해 총 7명의 전문가 심층 인터뷰 대상은 특정 기관에 편향되지 않도록 소속기관, 전문분야 그리고 숙련도 등을 고려하여 10년 이상의 메타버스 경력과 경험을 보유한 학계, 연구소 그리고 현장 전문가들로 구성되었다. 여기서 현장 전문가들은 대표성 및 전문성 확보를 위해 방송사 및 콘텐츠 디자인 분야에 종사하는 팀장급 이상의 이해 관계자들로 구성되었다. 본 전문가 심층 인터뷰 방식은 2023년 6월에서 7월 사이에 서면을 통해 반구조적 심층 인터뷰(Semi-Open Question)방식으로 진행되었다.
2) Marshall McLuhan, The Medium is the Massage, A Benthm Bbook, pp.16-17, 1967, 재인용

References
1. J. Cho, M. Dieck and T. Jung, “What is the Metaverse? Challenges, Opportunities, Definition, and Future Research Directions”, Extended Reality and Metaverse, International XR Conference, Part of the Springer Proceedings in Business and Economics, pp.3-26, 2023. (accessed on July 7, 2023)
2. R. Hughes, L. Zhu, and T. Bednarz, “Generative Adversarial Networks–Enabled Human–Artificial Intelligence Collaborative Applications for Creative and Design Industries: A Systematic Review of Current Approaches and Trends”, Front. Artif. Intell., Vol. 4, pp. 1-14, April 28, 2021. (accessed on July 7, 2023)
3. P. Ray, “Chat GPT: A comprehensive review on background, applications, key challenges, bias, ethics, limitations and future scope”, Internet of Things and Cyber-Physical Systems, Vol. 3, pp.121-154, 2023. (accessed on July 7, 2023)
4. T. Mediaga, “AI Act: first regulation on artificial intelligence”, EU Parliament Report, 2021. https://www.europarl.europa.eu/news/en/headlines/society/20230601STO93804/eu-ai-act-first-regulation-on-artificial-intelligence. (accessed on June 22, 2023)
5. R. Browne, “EU lawmakers pass landmark artificial intelligence regulation”, CNBC news, published June 14, 2023. https://www.cnbc.com/2023/06/14/eu-lawmakers-pass-landmark-artificial-intelligence-regulation.html (accessed on June 22, 2023)
6. A. Jabbar, X. Li, and B. Omar, “A Survey on Generative Adversarial Networks: Variants, Applications, and Training,” ACM Computing Surveys, Vol. 54, No. 8, pp. 1-49, Oct. 4, 2021. (accessed on July 7, 2023)
7. J. Bang, “Artificial Intelligence Technology for Expanding Metaverse Services,” KICS: Information and Communications Magazine, Vol. 39, No. 2, pp. 64-73, Jan. 2022. https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11032345 (accessed on July 1, 2023)
8. I. Chamusca, F. De Jesus Santos, C. Ferreira, T. Murari, A. Apolinário Junior, and I. Winkler, “Evaluation of Design Guidelines for The Development of Intuitive Virtual Reality Authoring Tools: A Case Study With NVIDIA Omniverse”, IEEE Int. Symp. on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), Singapore, pp. 357-362, Oct. 17-21, 2022. (accessed on July 7, 2023)
9. N. Kang, S. Qiu, S. Zhang, Z. Li, and S. Xia, “PILC: Practical Image Lossless Compression with an End-to-end GPU Oriented Neural Framework”, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp.3739-3748, 2022. (accessed on July 7, 2023)
10. “Movella : a leading innovator in digitizing movement, Digital artist’s creativity unleashed, https://www.movella.com/(accessed on July 3, 2023)
11. T. Kohler, J. Fueller, K. Matzler, D. Stieger, and J. Fuller, “Co-creation in Virtual Worlds: The Design of The User Experience”, MIS Quarterly, Vol. 35, No. 3, pp.773-788, Sep. 2011. (accessed on July 1, 2023)
12. D. Kim, H. I. Kim, and W. Woo, “Mutual Space Generation with Relative Translation Gains in Redirected Walking for Asymmetric Remote Collaboration,” IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), Singapore, Oct. 17-21, 2022. (accessed on July 1, 2023)
13. J. Jot, R. Audfray, M. Hertensteiner, and B. Schmidt, “Rendering Spatial Sound for Interoperable Experiences in the Audio Metaverse”, Immersive and 3D Audio: from Architecture to Automotive (I3DA), Bologna, Italy, Sep. 8-10, 2021. (accessed on July 1, 2023)
14. M. Rettinger, and G. Rigoll, “Defuse the Training of Risky Tasks: Collaborative Training in XR”, IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), Singapore, Oct. 17-21, 2022. (accessed on July 1, 2023)
15. R. Chen, F. Zhang, S. Finnie, A. Chalmers, and T. Rhee, “Casual 6-DoF : Free viewpoint panorama using a handheld 360 camera”, Journal of Latex Class files, Vol.14, No.8, 2015. (accessed on July 11, 2023)
16. S. M. Park and Y. G. Kim, "A Metaverse: Taxonomy, Components, Applications, and Open Challenges," IEEE Access, Vol. 10, pp. 4209-4251, 2022. (accessed on July 7, 2023)
17. X. Zhang, L. Toni, P. Frossard, Y. Zhao and C. Lin, “Adaptive Streaming in Interactive Multiview Video Systems”, Trans. on Circuits and Systems for Video Technology, Vol. 29, No. 4, pp. 1130-1144, April 2019. (accessed on July 7, 2023)
18. M. McLuhan, The Medium is the Massage, A Benthm Bbook, pp.16-17, 1967.
19. Y. Dwivedi, et. al., “Metaverse beyond the hype: Multidisciplinary perspectives on emerging challenges, opportunities, and agenda for research, practice and policy”, International Journal of Information Management, Vol.66, pp.2-6, 2022. (accessed on July 13, 2023)
20. Y. Yang, et. al.,“Smart Health: Intelligent Healthcare Systems in the Metaverse, Artificial Intelligence, and Data Science Era”, Journal of Organizational and End User Computing, Vol. 34, No. 1, pp. 1-14, 2022. (accessed on July 1, 2023)
21. R. Cheng, et, al., "Will Metaverse Be NextG Internet? Vision, Hype, and Reality", IEEE Network, Vol. 36, No. 5, pp. 197-204, September/October 2022. (accessed on July 25, 2023)
22. A. Darwish, and A. Hassanien, “Fantasy Magical Life: Opportunities, Applications, and Challenges in Metaverses”, Journal of System and Management Sciences, Vol. 12, No. 2, pp. 405-430, 2022. (accessed on July 1, 2023)
23. H. El-Jarn, and G. Southern, “Can Co-creation in Extended Reality Technologies Facilitate The Design Process?”, Journal of Work-Applied Management, Vol. 12, No. 2, pp. 191-205, July 1, 2020. https://www.emerald.com/insight/content/doi/10.1108/JWAM-04-2020-0022/full/html (accessed on July 1, 2023)
24. J. Falk and N. Inie, “Materializing the abstract: Understanding AI by game jamming”, Frontiers in Computer Science, Vol. 4, 2022. (accessed on July 1, 2023)
25. B. Marques, S. Silva, J. Alves, T. Araújo, P. Dias, and B. S. Santos, “A Conceptual Model and Taxonomy for Collaborative Augmented Reality”, IEEE Trans. on Visualization and Computer Graphics, Vol. 28, No. 12, Dec. 1, 2022. (accessed on July 1, 2023)
26. V. Pereira, T. Matos, R. Rodrigues, R. Nóbrega, and J. Jacob, “Extended Reality Framework for Remote Collaborative Interactions in Virtual Environments”, International Conference on Graphics and Interaction (ICGI), Faro, Portugal, Nov. 21-22, 2019. (accessed on July 1, 2023)

조 병 철

- 2004년 2월 : 광운대학교 전자공학과 공학박사

- 2019년 8월 : 고려대학교 영상문화학과 문학박사

- 2002년 9월 ~ 현재 : 동아방송예술대학교 콘텐츠학부 교수

- 2019년 1월 ~ 현재 : 한국방송·미디어공학회 상임이사

- 2022년 1월 ~ 현재 : 메타버스미래포럼 콘텐츠 분과위원장

- ORCID : https://orcid.org/0000-0002-4552-1534

- 주관심분야 : Realistic Contents, XR, Technology Policy, Philosophy of Technology

방 준 성

- 2013년 : 광주과학기술원(GIST) 정보통신공학과 공학박사

- 2013년 ~ 현재 : 한국전자통신연구원(ETRI) 디지털융합연구소 책임연구원

- 2016년 ~ 현재 : 과학기술연합대학원대학교(UST) 인공지능학과 교수

- 2022년 ~ 현재 : 한양대학교 과학기술윤리법정책센터 기술전문위원

- 2023년 ~ 현재 : ㈜와이매틱스 대표이사

- ORCID : https://orcid.org/0000-0003-1446-7755

- 주관심분야 : Contextual Computing, AI Ethics, Conversational Bot, Computer Vision, XR

안 성 희

- 2013년 : Brunel Univ. College of Design & Engineering, (UK) Ph.D

- 2013년 ~ 2016년 : Hunan Univ. School of Design, (China) 조교수

- 2016년 ~ 현재 : 홍익대학교 (세종) 디자인컨버젼스학부 부교수

- 2019년 ~ 현재 : 한국서비스디자인학회 이사

- 2022년 ~ 현재 : 메타버스미래포럼 운영위원

- ORCID : http://orcid.org/0000-0002-7717-2412

- 주관심분야 : UX Research, HCI, Human-AI Communication, XR Service