CoActivity Detection by Absorbing Markov Chain Considering Temporal
Co-Activity Detection by Absorbing Markov Chain Considering Temporal Co-occurrence 포항공과대학교 COMPUTER VISION LAB. 석박통합과정 여동훈 1
CO-ACTIVITY DETECTION BY ABSORBING MARKOV CHAIN 연구 목표 weakly supervised co-activity detection algorithm based on absorbing Markov chain 여러 비디오에서 공통적으로 나타나는 행위(activity)를 포함하는 프레임 검출 기술 개발. 모든 비디오에서 같은 activity가 한번씩은 나온다고 가정. (weakly supervised) Video sub-clip을 노드로 하는 graph 형성. Absorbing Markov chain property를 이용해, absorption time이 긴 노드가 co-activity 를 포함하는 sub-clip이 되도록 설계. Co-activity에 속하는 sub-clip들은 co-occurring한다는 점을 이용. 주어진 여러 비디오들의 공통행위 프레임 검출 Video sub-clip을 이용한 그래프 형 성 2
CO-ACTIVITY DETECTION BY ABSORBING MARKOV CHAIN 본 기술의 접근 방법 Video sub-clip들을 이용한 Graph 형성 Temporal sliding window를 통해서 video sub-clip 얻음. Temporal axis에서 overlapping이 있는 짧은 sub-clip들 Sub-clip들을 node로 하는 graph 형성. 모든 node를 transient state로 사용. absorbing node 하나를 추가. 동영상 1 동영상 2 동영상 3 Temporal sliding window 방법을 이용 한 video sub-clip 추출 3
CO-ACTIVITY DETECTION BY ABSORBING MARKOV CHAIN 본 기술의 접근 방법 Absorbing node 4
ABSORPTION TIME Use absorption time to compute co-activity score of a frame Large absorption time A node which has many similar neighbors Small transition probability to the absorbing node Each frame obtains a co-activity score Mean of the absorption times of sub-clips containing the frame Thresholding Threshold Mean of the co-activity scores of the whole frames in each video Detect the frames which have co-activity score above threshold 5
EXAMPLE Co-activity score Segmentation result 6
비교 알고리즘. Co. Act. Seg Xiong, C. and Corso, J. J. Coaction discovery: segmentation of common actions across multiple videos. In Proceedings of the Twelfth International Workshop on Multimedia Data Mining, 2012. Image co-segmentation algorithm 사용. Clustering algorithm Co-activity Detection을 하지 못함. Page. Rank 기존에 우리가 제안한 알고리즘. Absorbing node가 없음. normalization을 거쳐서, similarity가 낮은데도, 높은 Transition probability를 가지게 되는 경우 존재 Ours(AMC) Ours+ temporal co-occurrence (AMC_Temp) 미 완성작. 시간 축으로 함께 나타나는 sub-clip의 pair 사이에 edge를 연결해, 도움을 주고자 함. 8
TOY DATA 10
YOUTUBE DATASET 11
12
연구 주제 1 LINK ANALYSIS를 이용한 공통행위 포함 FRAME 검출 기술 실험 결과 Ours with Camera Invariant Sampling Ours with Original Sampling 0. 75 0. 70 Mean Average Precision 카메라의 움직임에 영향을 받지 않는 행위 유사도 계산을 위한 feature point sampling 방법 실험 결과 Category Ours [Xiong 2012] Bench. Press 0. 71 0. 65 Boxing. Punching. Bag 0. 71 0. 57 Cleanand. Jerk 0. 52 0. 4 Drumming 0. 69 0. 66 Juggling. Balls 0. 81 0. 64 Jump. Rope 0. 91 0. 94 Playing. Violin 0. 91 0. 82 Indoor. Rock. Climbing 0. 73 Soccer. Juggling 0. 79 0. 68 Mean F-measure 0. 75 0. 68 Youtube 영상 9개 카테고리 공통행위 프레임 검출 결과 삼성DMC-POSTECH 전략 산학 과제 1차년도 여러 비디오에서의 공통 행위 검출’ 기술을 특허 심사 중(MH-201406 -010 -1 KR 0) 14
- Slides: 15