인공지능 및 미디어 연구실(AI & Media, AIM LAB)의 논문 2편이 미국 San Diego에서 개최되는  AI 분야 세계 최고 권위의 학술대회인 NeurIPS (Conference on Neural Information Processing Systems) 2025에서 발표 예정입니다. 

논문1. Backpropagation-Free Test-Time Adaptation via Probabilistic Gaussian Alignment

(Youjia Zhang, 김영은, 최영근, 김홍엽, Huiling Liu, 홍성은)

 - Gaussian Distribution Modeling:
클래스별 특징 분포를 가우시안으로 단순·명확하게 모델링해, 반복 계산 없이 바로 적응할 수 있도록 합니다.

•  - Lightweight Regularization with CLIP Priors:
  신뢰도 높은 특징을 축적하는 knowledge bank와 CLIP 기반 priors를 활용해, 예측의 일관성과 안정성을 유지합니다.
• 
  

ADAPT는 단순하고 가벼운 구조를 기반으로 backpropagation 없이도 강력한 TTA 적응 성능을 보여주며, 다양한 분포 변화 환경에서 기존 최신 기법들을 능가하는 성능을 입증했습니다.

논문2. PRIMT: Preference-based Reinforcement Learning with Multimodal Feedback and Trajectory Synthesis from Foundation Models

본 논문은 로봇의 움직임·조작·보행 등 다양한 행동 궤적을 비교해 어떤 궤적이 더 선호되는지 학습하는 PbRL(Preference-based Reinforcement Learning) 문제를 다룹니다.

기존 방식들은 단일 모달리티에 의존해 선호 판단이 불안정하거나, 초기 학습 단계에서 쿼리가 모호해지는 문제가 있었습니다. PRIMT는 이러한 한계를 극복하기 위한 새로운 프레임워크로, LLM과 VLM을 결합한 멀티모달 선호 융합과 궤적 생성(foresight/hindsight) 방식을 통해 더 정확하고 안정적인 선호 학습을 가능하게 합니다.

• 
  
•  - Hierarchical Multimodal Preference Fusion:
  LLM과 VLM이 제공하는 상보적 정보를 결합해, 로봇 행동의 선호를 더 정확하고 안정적으로 판단합니다.
•  - Bidirectional Trajectory Synthesis:
  LLM이 다양한 초기 궤적을 생성해 학습 초반의 모호한 비교 문제를 줄이고, 반사실(counterfactual) 궤적을 만들어 보상 신호가 어떤 행동에 의해 결정되는지 명확히 드러냅니다.
• 
  

PRIMT는 기존 PbRL의 약점을 보완하면서, 조건 충실도와 행동 자연스러움 모두를 개선하는 결과를 보여주었고 다양한 로봇 조작 및 이동 과제에서 성능 향상을 입증했습니다.