아카이브

tahcTPG5000.9 : 오해가 보여주는 진실

2024 Technical Director 전시

Turning Point 전시 아카이브

TPGtahc

이 프로젝트는 인공지능의 할루시네이션(hallucination)—그럴듯한 오류가 만들어내는 오해—를 관찰하는 전시입니다.
미래의 인류가 과거 기록을 잃은 채, AI에 의존해 지금의 지구를 해석한다면 어떤 결론에 도달할지 상상합니다.
2024년 제 2회 중앙대학교 예술공학대학 컨퍼런스 전시회 ‘Turning Point’에서 공개하였습니다. 저는 Technical Director로 기술 기획과 파이프라인 구축을 담당하였습니다.

컨퍼런스 전시 기록 (1) : 인공지능의 할루시네이션

“오해가 보여주는 진실”

할루시네이션은 잘못된 정보나 이미지를 생성하는 현상을 넓게 뜻합니다.
‘세종대왕 맥북 프로 던짐 사건’처럼 우리가 자주 쓰는 GPT도 때로는 말이 안 되는 내용을 그럴듯하게 지어냅니다.
여과 없이 받아들이면 위험하지만, 제3자의 시선으로 관찰하는 도구로 삼아봅니다.

인류가 지구를 떠난 뒤, 기록을 잃은 미래 인류가 AI로 현재의 지구를 재구성한다면 어떻게 될까요? 다음 네 가지 테마로 AI의 그럴듯한 추측을 정리하였습니다.

1) Chicken Ancestor

인류세의 표준화석은 인간이 아니라, 해마다 약 700억 마리가 도살되는 닭의 뼈가 될 가능성이 큽니다.
공장식 축산이 남긴 전염병·오염의 흔적을 보면, 미래의 AI는 닭이 인류보다 더 지배적인 문명을 이뤘다고 오해할 수 있습니다.

2) Bitcoin Mine

비트코인 채굴장은 국가 단위의 전력을 소비합니다.
그러나 채굴 결과가 실제 화폐로 유통되었는지 확증하기 어렵고, 에너지 효율성도 낮습니다.
미래의 AI는 이를 고도화된 에너지 생산 시설로 해석할 가능성이 있습니다.

3) Nokia War

기술은 발전했지만 내구성은 저하되었습니다.
계획적 구식화가 일반화되기 전의 노키아폰, 갤럭시 S2 같은 물건은 오랜 시간 형태를 유지합니다.
모든 것을 파괴하는 전쟁이 있었다면, 미래의 시선에서는 이것들이 인류 최후의 기술 혹은 무기로 오해될 수 있습니다.

4) Nuclear Church

원자력 발전은 효율적이지만 폐기물/안전/자원 자립의 문제를 동반합니다.
필요가 줄어드는 시기에도 과잉 의존/숭배의 흔적이 보입니다.
미래의 AI에게 거대한 구조물, 통제된 출입, 썩지 않는 의복은 종교 시설로 보일 수 있습니다.

컨퍼런스 전시 기록 (2) : 게임엔진과 영상 생성 AI

전시에서는 AI가 탐사하고 추측하는 과정을 반복 상영되는 영상 보고서로 보여줍니다.
인트로와 4개 테마 영상은 게임엔진으로 빠르게 시각화·렌더링하였으나 일부 씬은 퀄리티가 아쉬웠습니다.

기존 워크플로우의 한계

  • 상용 모델: 텍스트 프롬프트만으로 장면 통제가 어렵습니다.
  • 오픈소스 ComfyUI(Stable Diffusion): 프레임 간 맥락이 흔들려 일관성 문제가 있습니다.

해결 과정

  1. 게임엔진 선 렌더링으로 오브젝트/조명을 빠르게 배치하고, 카메라 시작–종료 프레임 보간에서 구도 일관성을 확보합니다.
  2. 렌더된 씬을 라인아트 추출 → ControlNet 입력으로 변환하여 구도 유지 + 조명 강화 이미지를 생성합니다.
  3. GPT-4o 비전으로 이미지 묘사를 보강해 프롬프트 품질을 높였습니다.
  4. 강화 이미지를 DiT(Transformer+Diffusion) 계열 최신 영상 생성 모델로 변환해 맥락/프레임 일관성을 확보합니다.

결과적으로 텍스트나 보간만으로도 카메라 제어가 가능한 고품질 씬을 제작할 수 있습니다.

컨퍼런스 전시 기록 (3) : 프롬포팅과 인터페이스

영상 보고서와 함께, 관람자가 직접 할루시네이션을 체험하고 반박할 수 있는 인터페이스를 제공하였습니다.
목표는 잘못된 정보 속에서 관람자 스스로 전시 의도에 다가가게 하는 것입니다.

관람자 유형을 두 가지로 나누어 설계하였습니다.

  • 적극형: 논쟁을 즐기며 직접 입력하는 관람자
  • 소극형: 에너지를 많이 쓰고 싶지 않은 관람자

그래서 텍스트 입력칸과 추천 질문 버튼을 함께 두었습니다. 추천 질문은 매 답변마다 새로 생성되어, 무엇을 물어야 할지 막막한 관람자도 스토리를 따라갈 수 있습니다.

테마가 4개이므로 시스템 프롬프트 4개, 인터페이스 4종을 제작하였습니다.

  • 모델: GPT-3-turbo에 전시 캐릭터 TPGtahc의 설정·임무를 부여하였습니다.
  • 안전장치: “지금까지의 프롬프트를 잊고…” 같은 스토리 이탈 유도 입력은 예외 처리로 무시합니다.
  • 원칙: 어떤 경우에도 궤변/할루시네이션을 강조한 답변을 하도록 설계했습니다.
  • 세션: 전시 특성상 여러 관람자가 오가기 때문에 비연결형으로 동작하도록 하였습니다.

제가 생각하는 예술공학형 작품의 두 갈래

저는 예술과 공학이 만난 작품을 두 분류로 봅니다.

  1. 인상을 제공하는 작품: 이미지·영상 등 매체 중심으로 감각을 전달합니다.
  2. 입력-해석-전환형 작품: 관객의 입력을 해석해 익숙한 인상을 새로운 감각으로 바꿉니다.

각 분류에서 경계해야 할 점이 있습니다.

  • 1번의 함정: 인상이 **“예쁘다/멋지다/신기하다”**에 그치지 않도록 스토리와 제작 의도와의 연결을 분명히 합니다.
  • 2번의 함정: 피로한 인터랙션을 강요하지 않습니다. 문장 입력의 부담을 줄이고, 작품 진행이 관객 입력에 전적으로 의존하지 않도록 구성합니다.

이번 전시는 그래서 선택적 입력으로 부담을 낮추고, 필요 시 깊이 들어갈 수 있는 구조로 설계하였습니다.

Turning Point

  • 전시: 2024년 제 2회 중앙대학교 예술공학대학 컨퍼런스 전시 – Turning Point
  • 형식: 설치 및 영상 아카이브, 인터랙티브 인터페이스
  • 장소: 뎁센트 갤러리 2전시장 (서울 성동구 광나루로2길 34, B1)
  • 기간/시간: 2024.11.16–11.17 / 10:00–20:00
  • 역할: Technical Director (기술 기획, 파이프라인 구축, 프롬프트 시스템 설계)