전자공학과 공경보 교수가 서강대학교 강석주 교수팀, 네이버 Cloud 팀과 공동 연구를 진행해 인공지능 분야 Top Conference인 국제 컴퓨터 비전 학회(ICCV) 2023에 총 4편의 논문(Main track 1편, Workshop 3편)을 발표하였다.

ICCV는 컴퓨터비전·패턴인식학회(CVPR), 유럽컴퓨터비전학회(ECCV)와 함께 컴퓨터 비전 분야를 대표하는 3대 국제학술대회 중 하나로, 인공지능 분야의 권위있는 학회로 꼽히고 유수의 기업·연구기관이 최신 연구 성과를 공유하는 자리다. 지난 10월 2일부터 6일까지 프랑스 파리에서 개최된 ICCV 2023에서 공경보 교수는 3D Human/Hand Pose Estimation, Text to Video Editing, Text to Video Generation 등의 다양한 분야에 대한 논문을 발표했다.

특히 다른 물체에 의해 가려진 사람에 대해서도 정확한 사람의 자세를 추정할 수 있는 'SEFD: Learning to Distill Complex Pose and Occlusion' 연구는 네이버 Cloud와의 공동 연구를 통해 성과를 이루었다. 연구팀은 이번 논문에서 기존의 지식 증류 기법의 개념을 새롭게 접근하면서 실제 테스트 단계에서 효율적인 결과를 보일 수 있도록 설계하여 그 우수성을 인정받았다.

ICCV 2023 Main Track

제목: SEFD Learning to Distill Complex Pose and Occlusion

저자: 부산대학교 공경보 교수(공동제1저자), 서강대학교 강석주 교수팀(공동제1저자 양창희 석사과정, 교신저자 강석주 교수), 삼성전자(공동제1저자, 민성준 연구원), 네이버 Cloud(공동저자 차건호, 장호덕, 위동윤)  

Project Page: https://yangchanghee.github.io/ICCV2023_SEFD_page/

▲ (a) SMPL 엣지 맵을 만드는 방법 및 입력 단계에서의 작동 방식

(b) 노이즈 엣지를 SMPL 엣지 맵으로 증류하는 방법

또한, Optical flow 정보를 활용한 Video editing 연구인 'Enhancing Text-to-Video Editing with Motion Map Injection'는 ICCV 2023 Workshop on AI for Creative Video Editing and Understanding 에서 구글 연구진의 연구 결과와 함께 구두(Oral) 세션 발표로 선정됐다.

기존 Text-to-Video editing 모델은 이미지-텍스트 쌍 데이터 셋으로 학습되었기 때문에 동사에 해당하는 텍스트의 attention map을 정확히 추정하지 못한다는 것을 발견하여 optical flow로부터 움직임 정보를 추출하여 기존 attention map에 주입하는 모듈을 개발했다. 기존의 Text-to-Video editing 모델에 이러한 모듈을 적용했을 때 더 나은 editing 성능을 확인할 수 있었으며 우수성을 인정받았다.

ICCV 2023 workshop on AI for Creative Video Editing and Understanding (Oral Presentation Invitation)

제목: Enhancing Text-to-Video Editing with Motion Map Injection

저자: 부산대학교 공경보 교수(교신저자), 부경대학교 연구원(공동제1저자, 정성훈, 진인환, 추해수, 나현준)

Project Page: https://currycurry915.github.io/MMI/

그리고 기존의 사람의 움직임을 생성할 수 있는 모델로부터 움직임 정보를 추출한 후 이를 활용하여 비디오를 생성하는 연구인 ‘Text-Based Video Generation with Human Motion and Controllable Camera’ 또한 ICCV 2023 Workshop on AI for Creative Video Editing and Understanding의 Poster 세션으로 발표되었다.

ICCV 2023 workshop on AI for Creative Video Editing and Understanding

제목: Text-Based Video Generation with Human Motion and Controllable Camera

저자: 부산대학교 공경보 교수(교신저자), 부경대학교 연구원(공동제1저자, 김태훈, 박재혁, 정다운), 서강대학교 강석주 교수팀(공동제1저자 강찬희, 양창희, 교신저자 강석주 교수)

Project Page: https://yangchanghee.github.io/ICCVW_CPM/

또한 3D Hand dataset이 부족하다는 한계를 극복하기 위해 생성형 AI를 통해 3D hand mesh로부터 새로운 RGB 이미지 생성하는 구조를 개발한 ‘A Novel Framework for Generating In-the-Wild 3D Hand Datasets’ 연구 또한 7th ICCV workshop on Observing and Understanding Hands in Action의 Poster 세션에서 발표되었고 많은 연구진들에게 관심을 받았다.

ICCV 2023 workshop on Observing and Understanding Hands in Action

제목: A Novel Framework for Generating In-the-Wild 3D Hand Datasets

저자: 부산대학교 공경보 교수(공동제1저자), 서강대학교 강석주 교수팀(공동제1저자 박준호 석사과정, 교신저자 강석주 교수)