[정리중] OccAM's Laser: Occlusion-based Attribution Maps for 3D Object Detectors on LiDAR Data

paper: https://arxiv.org/abs/2204.06577

OccAM's Laser: Occlusion-based Attribution Maps for 3D Object Detectors on LiDAR Data

github: https://github.com/dschinagl/occam

GitHub - dschinagl/occam: Demo code for the paper: OccAM's Laser

 

0. 읽게된 배경

해당 논문을 읽게된 이유는 이번 학기 말쯤에 LiDAR Super Resolution (SR)에 관심을 가지게 되었고 연구실 내에 비슷한 분야로 Point Generation (PG) 쪽을 연구하시는 분이 계신다. 곧 해당 분야에 involve할 것 같은 상황이기도 하고 SR과 PG쪽이 많이 다르지는 않다 생각이 들기도 한다. 

그리고 다음주에 스터디와 수업내 발표가 있는데 그때 쓸 논문을 찾다가 이 논문을 CVPR 2022 accepted list에서 발견하게 되었다.

0-1. 추후 연구 방향

개인적으로는 PG에 이 논문에서 언급하는 주요한 point들을 어떻게 생성할지로 연구 방향을 가져가는게 좋지 않을까 싶다. SR 논문들을 보면 볼 수록 이걸로는 detection 성능 높이기 어렵겠는데 하는 생각이 더욱 들고 있다. ;;;

 

1. 논문 내용

이미지의 경우 heatmap을 활용해서 검출기가 어디를 주로 보고 있는지를 확인하였는데 해당 논문 이전까지는 LiDAR point cloud를 활용한 object detection을 Deep learning을 적용하였을 시 어떤 포인트가 중요하고, 어떤 포인트가 덜 중요한지 알기 어려웠다. 

하지만 해당 논문에서는 detection 모델의 종류와 상관없이 attribution map(검출 모델에 point가 기여하는 정도를 나타내는 그림)을 표현할 수 있다고 한다.

 

빨간색에 가까울 수록 해당 point가 검출에 기여를 많이 하고 파란색에 가까울 수록 기여도가 낮아진다.

자동차의 경우 번호판쪽이 빨간색이 몰려있는 것을 확인할 수 있다. 이전까지는 point cloud를 사용하여 객체 검출을 하는 모델들이 어떻게 point를 활용하는지를 몰랐기 때문에 black box 영역이었다. 이를 해당 논문을 통해서 이 부분을 조금은 이해할 수 있다고 말한다.

 

이 논문을 읽으면서 여러모로 당황스러웠던 부분이 많았다. 그전까지는 자동차를 검출하려면 앞뒤 범퍼쪽에 point가 있어야 잘 잡히겠지 라는 막연한 뇌피셜이 가득했다. 하지만 앞에서 언급한 바와 같이 해당 논문에서 나온 결과를 보면 그렇지 않다.

자동차의 경우 번호판 (license plate) 쪽과 A-pillar 부분~썬루프 전방부 쪽에 주요 포인트들이 몰려있음을 볼 수 있다. 

또한 보행자의 경우 머리쪽이, 오토바이 운전자의 경우 번호판 근처쪽 튀어나온 부분이 객체 검출에 주요 포인트로 표시되고 있다. 

당연한 이야기 일 수도 있는데 객체 검출 모델마다 주요하게 보는 포인트들의 위치가 꽤나 다르다. 위의 4개의 모델들 중 SECOND의 경우 C-Pillar 쪽을 유난히 많이 보고 있는 것(주요 point)을 확인할 수 있다. 

 

또한 PointPillar의 경우 BEV에서 보기 때문에 아무래도 이렇게 자동차가 없는데도 불구하고 바닥의 point들을 가지고 객체 검출을 하는 False-Positive가 발생하는 것도 이렇게 확인이 가능하다. 

-> 좀 이상한게 박스아래와 안에 포인트가 없는 것을 보면 뭔가 객체가 있어서 저렇게 나온건지 아니면 occlusion 발생해서 point가 없는게 아닌가?