AI의 마음에 다가온다!감정을 이해하는 AI 평가 기반 개발

이번에 본교 데이터 사이언스학부의 백배교수가 2025년 8월 26일부터 29일까지 기타큐슈시에서 개최된 International Conference on Innovative Computing, Information and Control(ICICIC2025)에서 「Best Paper Award」(최우수 논문상)를 수상했습니다.이 수상은 AI가 인간의 감정을 얼마나 이해할 수 있는지 과학적으로 해명하기 위한 획기적인 연구가 높게 평가된 것입니다.

❓ 왜 이 연구가 필요한가?

AI 기술, 특히 ChatGPT와 같은 대규모 언어 모델 (LLM)은 우리 삶에서 필수적입니다.하지만 ‘AI는 정말로 사람의 기분을 알 수 있을까?’라는 의문은 아직 충분히 해명되지 않았다.

지금까지의 연구는 특정 AI 모델의 성능을 개별적으로 평가하는 것이 주류여서 여러 다른 AI를 나란히 비교하는 것이 어려웠습니다.그것은 각사가 제공하는 API의 사양이 다르기 때문에 통일된 방법으로 공평하게 평가할 수 없었기 때문입니다.

이 과제를 해결하기 위해 백하철 교수는 다른 회사의 AI 모델에서도 동일한 흙바닥에서 공평하게 비교할 수 있는 평가 기반을 개발했습니다.이에 따라 대규모로 통일적인 실험이 가능해져 지금까지는 몰랐던 AI의 감정이해 능력의 전체상이 밝혀졌다.

어떻게 연구를 진행했나요?

이 연구는 우리가 개발한 평가 기반을 활용하여 전 세계 7개사(OpenAI, Google, Anthropic, xAI, DeepSeek, Meta, Alibaba)의 최첨단 AI 모델 36종류를 대상으로 대규모 비교 실험을 실시했습니다.

실험에서는 AI에 일본의 문학작품(유메노 히사사쿠나 타카무라 코타로의 작품)을 읽게 하고, 「이 작품에 얼마나 재미, 놀라움, 슬픔, 분노를 느낄까」를 100점 만점으로 평가했습니다.또한, 「대학생」 「문예연구자」 「시인」 「로봇」과 같은 4가지 다른 「인격(페르소나)」을 AI에 주어 각각의 시점에서 감정을 분석시키는 독특한 수법도 도입했습니다.

놀라움의 발견!

이 대규모 실험에서 다음과 같은 중요한 사실이 밝혀졌다.

1. 감정의 느낌은 AI에 의해 천차만별!

감정 평가 점수는 AI 모델마다 크게 다릅니다.AI가 감정을 해석하는 방법이 다양하며 어떤 AI도 인간의 모든 감정을 완전히 파악하지 못하고 있음을 시사합니다.

2. 의지할 수 있는 AI, 아직 개발도상 AI

Anthropic사와 xAI, DeepSeek사의 모델은 이번 실험에서 단 한 번도 평가에 실패하지 않고 완벽한 신뢰성을 보여주었습니다.한편, 일부 모델은 평가를 수치로 반환할 수 없고 개발도상의 부분이 있는 것도 판명되었습니다.이것은 실제로 비즈니스 및 서비스에서 AI를 활용하는데 어떤 모델을 선택해야 하는지의 중요한 지표입니다.

3. AI의 사고 패턴이 분명하다!

왜 그러한 감정을 평가했는지 AI에 이유를 설명하게 함으로써 그 '사고'의 패턴이 밝혀졌습니다.어떤 모델은 문학적인 전문용어를 이용해 깊이 분석하고, 또 다른 모델은 독자의 감정에 다가가가는 표현으로 대답하는 등 같은 작품을 읽어도 다른 시각으로 해석하고 있음을 알 수 있었습니다.

이 연구의 사회적 의의와 미래

이 연구에서 개발된 평가 기반은 각 회사가 제공하는 서로 다른 API의 벽을 넘어 AI가 감정을 이해하는 능력을 통일적인 기준으로 측정하는 획기적인 ‘규율’이 됩니다.이것에 의해 보다 인간다운, 공감적인 AI 개발을 가속시킬 것으로 기대됩니다.

장래적으로는 이 성과를 응용하여 개별 사용자의 감정에 맞춘 서비스(마음의 건강을 지원하는 AI, 독서 체험을 풍부하게 하는 AI 등)의 개발로 이어질 것입니다.또한 본교 학생들은 이러한 최첨단 연구를 접하고 차세대 AI 기술을 스스로 창조하는 힘을 익힐 수 있습니다.

베노하바타 교수로부터의 코멘트

“이번에 이런 훌륭한 상을 받아 매우 영광으로 생각합니다.이번 연구는 AI가 단순한 도구가 아니라 보다 풍부한 커뮤니케이션을 가능하게 하는 파트너가 되기 위한 첫걸음입니다.연구를 지원해 준 공동연구자, 그리고 매일 탐구심을 가지고 계속 배우는 학생들에게 진심으로 감사드립니다.

데이터 과학은 AI의 힘을 사회의 미래를 위해 어떻게 활용하는지를 생각하는 학문입니다.이 연구 성과가 미래의 데이터 사이언티스트를 목표로 하는 여러분의 마음에 울려 본학에서의 배움의 계기가 되면 다행입니다.

논문 정보

• 논문 제목: Development of an Experimental Platform for Evaluating LLM Emotion Understanding
• 저자 : Naruki Shirahama (시라하마 나루키), Naofumi Nakaya (나카타니 나오시), Satoshi Watanabe (와타나베 시)
• 수상명: Best Paper Award

【문의처】
공립대학법인 시모노세키 시립대학
경영기획부 홍보브랜드전략과
TEL. 083-253-8967