LAMDA연구실(지도교수: 오하영)의 논문이 데이터 마이닝 분야의Top-tier 학술대회인 WSDM 2026 (The 19th ACM International Conference on Web Search and Data Mining) Main Conference에 게재 승인(Accept) 되었습니다.

왼쪽부터 LAMDA Lab 이진권, 김기성, 양혜지 ‘인공지능융합학과’ 학생(지도교수 : 오하영), ‘인터렉션사이언스학과’ 차동영

본 연구는 사회적으로 복잡하고 갈등을 유발하는 인터넷 밈을 정확히 해석하기 위해, 이미지·캡션·외부 문서를 통합하는 프레임워크 MerFT(Meme Exploration via Multimodal Retrieval-Augmented Fine-tuning)를 제안합니다. 함께 공개한 RoMQD데이터셋은KnowYourMeme 오라클 문서와 의미는 비슷하지만 맥락은 어긋나는‘디스트랙터’ 문서를 체계적으로 포함해, 현실적인 노이즈 환경에서의 해석 능력을 평가합니다.

MerFT는 인용-인식Chain-of-Thought와 문서 정렬 기반 답변 손실을 결합하고, 오해를 부르는 외부 정보 의존을 명시적으로 패널티하여RAG의 취약점을 보완했습니다. 8개 사회갈등 영역, 6가지 인지 역량(문화 맥락, 풍자/아이러니, 이미지-텍스트 통합 등)에서 평가한 결과, Qwen2.5-VL 기준선 대비F1 +8.1을 달성했으며, 특히 풍자/아이러니와 이미지-텍스트 통합 과제에서 큰 개선을 보였습니다. 입력을 이미지+캡션+문서로 모두 활용할 때 가장 안정적이었고, 클러스터링 기반의 강한 디스트랙터 설계가 견고성을 한층 높였습니다. 또한 최신 재순위 기법과 결합한 하이브리드 접근이 계산 비용은 늘지만 최고 성능을 기록했습니다. 본 연구는 밈 기반 사회문화 갈등 분석을 위한 검색 강건성 다중모달 추론의 실현 가능성을 입증하고, 신뢰 가능한 콘텐츠 분석 시스템 구축에 실질적 지침을 제시합니다.