👀 시선과 인식, 그 사이의 이야기

아이트래킹과 객체 인식을 활용한 인터랙티브 전시 시스템 기획

요즘 전시를 다니다 보면 단순히 “보는 것”에서 그치지 않고, 관람객과의 상호작용을 중요하게 여기는 콘텐츠가 많아졌다는 걸 느낀다. 내가 머무는 시간, 바라보는 방향, 멈춰 선 순간조차 하나의 인터랙션으로 작용할 수 있다면 어떨까?

이번 프로젝트는 바로 그런 질문에서 출발했다.

🧠 기획 의도

“사람들이 전시에서 진짜 보는 건 뭘까?”

이 질문을 중심에 두고 시작했다. 작품은 같은데, 각 관람객이 집중하는 지점은 분명 다르다. 누군가는 배경의 색감에, 또 다른 누군가는 인물의 눈빛에 주목한다.
이런 ‘시선의 차이’를 데이터로 수집하고, 그 시선이 가리키는 대상에 따라 정보를 즉시 제공할 수 있다면, 전시는 훨씬 더 개인화된 경험이 될 수 있다.

그래서 우리는 아이트래킹과 객체 인식 기술을 결합한 인터랙티브 전시 시스템을 만들기로 했다.

🧰 사용 기술 스택 및 구성 요소

👁️‍🗨️ 1. 아이트래킹 (Eye Tracking)

관람객의 시선을 실시간으로 추적하기 위해 Pupil Labs나 Tobii와 같은 아이트래커를 사용한다. 이 장치는 사용자의 눈동자 움직임을 분석하여 화면상의 좌표로 시선 데이터를 변환해 준다.

시선 좌표 수집
dwell time (머문 시간) 계산
관심 영역(Area of Interest) 분석

🧠 2. 객체 인식 (Object Detection)

작품 내부의 객체를 자동으로 인식하기 위해 YOLO (You Only Look Once) 모델을 활용한다. 특히 전시 작품과 같이 정적인 이미지나 영상에서 빠르고 정확한 인식이 필요하기 때문에 YOLO가 적합하다.

이미지 내 객체의 위치 (bounding box) 추출
클래스별 객체 분류 (ex. 사람, 동물, 물건 등)

🔄 3. 상호작용 매핑

관람객의 시선 좌표가 어떤 객체의 bounding box 안에 들어왔는지 판단한다. 이때 단순한 겹침이 아닌, 머무는 시간과 정확도 등을 고려하여 유의미한 시선이라고 판단해야 한다.

→ 시선이 객체에 일정 시간 이상 머무를 경우, 해당 객체에 대한 정보 (텍스트, 오디오, 영상 등)를 자동 제공.

🌐 정보 제공을 위한 데이터 탐색

이 시스템이 충분히 정보성을 가지기 위해선, 각 객체나 작품에 대한 배경 지식이나 스토리가 함께 연결되어야 한다. 따라서 웹 검색을 통해 실시간으로 정보를 수집하거나, 필요한 경우 RAG(Retrieval-Augmented Generation) 구조를 도입할 수 있다.

오픈 데이터셋(미술관 데이터), 공공 API 등으로부터 정보를 검색
GPT 기반 모델과 결합하여 실시간 정보 요약 및 사용자 응답
개인화된 정보 제공이 가능하도록 사용자의 시선 히스토리 기반 응답 구성

이처럼 **외부 지식과 결합된 자연어 생성(RAG)**은 단순한 답변 제공이 아닌 맥락 기반 정보 큐레이션에 매우 효과적이다.

🔧 시스템 아키텍처 간단 정리

[Eye Tracker]
    ↓ 실시간 시선 좌표
[프론트 화면]
    ↓
[서버]
    ↓
[YOLO 객체 정보]
    → 좌표 매칭 로직
    → 관련 정보 제공 (DB + 웹 검색 + RAG)

프론트는 관람객이 보는 화면을 실시간 시각화하며, 시선 좌표도 함께 표시
서버에서는 YOLO를 통해 객체의 위치를 받아오고, 이를 시선 좌표와 비교
가져온 객체의 정보를 검색
정보는 텍스트/오디오로 동적 제공 (→ 접근성을 고려하여 채팅형식으로 구현)

🧩 고려해야 할 포인트

시선 정확도: 시선 좌표와 객체 좌표가 얼마나 정밀하게 매칭되는가?
지연 시간: 실시간 반응이 중요하므로 시스템 반응 속도 최소화
사용자 경험: 정보 제공이 과하지 않게, 자연스럽게 스며들어야 함
신뢰성: 올바른 정보를 제공하는 것이어야 함

마무리하며

이번 프로젝트는 단순히 기술을 구현하는 데서 그치지 않고, 전시의 ‘경험’ 자체를 재구성하는 데 목적이 있다.
사람들이 ‘무엇을 보는가’에서 더 나아가, ‘왜 그것을 보는가’, ‘본 이후 무엇을 느끼는가’까지 연결될 수 있도록 설계하고 싶다.

관람객이 전시장에서 머무는 짧은 순간, 그들의 시선이 새로운 이야기를 만들어낼 수 있도록.