9/22 - Sparse4D, fasterrcnn resnet50 fpn 로직 수정(feat 차량 정보)

목표 시간	10000
총 시간
공부 시간
시작 시간	xx : xx
종료 시간	xx : xx

목표 :

---

내가 처음 아래 로직을 분석했을때 이렇게 오래 걸릴지는 몰랐다.

https://github.com/HorizonRobotics/Sparse4D/tree/main

GitHub - HorizonRobotics/Sparse4D

 

그냥 분석만 하고 끝내려고 했지만 생각보다 잘되었고....

 

내가 수정을 했을때 어떻게 될까? 궁금했다.

 

카메라만으로 영상을 전공하지 않은 내가 이렇게까지 결과를 뽑아 낼 수 있다는것이

 

데이터의 힘에 다시한번 경의로움을 느낀다.

 

이때까지 내가 수정했던 내용들을 정리해서 올려놨다. 아래 처럼 수정해서 실행해봤다.

https://github.com/freddiekimN/Sparse4D/blob/feature/visualize_with_mini/scripts/run_tutorial_fundamental_04.py

Sparse4D/scripts/run_tutorial_fundamental_04.py at feature/visualize_with_mini · freddiekimN/Sparse4D

 

이때까지 내가 한일을 정리해보면

 

1. Camera 6개와 lidar 정보를이용해서 global 좌표계로 변환하는 부분을 분리했다.

 

2. 그리고 Camera 6개 정보와 차량정보(속도, yawrate) 만 사용해서 실행되도록 수정함. 

 

3. 고정 변수값은 고정된 변수값으로 변경함. 그래서 입력은 camera 6개, 차량정보2개, 카메라 intrinsic cal 6개 이렇게만 사용함.

 

여기서 global 좌표계를 계산하기 위해서 Kalman Filter사용함.

 

당연히 차량정보만 이용하므로 많은 오차가 보임에도 불구하고 생각보다는 잘되어서 놀랐다.

 

4. 로직 개선 : fasterrcnn_resnet50_fpn 로직은 이미지에서 차량 정보를 잘 추출했지만 Sparse4D로직은 잘 추출하지 못했다.

 

기본적인 차량도 잘안되서 확인해보니 거리값을 계산하다보니  score값이 들죽 날죽하였다.

 

그래서 fasterrcnn_resnet50_fpn에서 찾은 결과값을 토대로 다시 score값을 올려주는 로직을 추가함.

 

그러나  위 사진 처럼 정면에 있는 차량도 Sparse4D 로직은 score 값을 0.3으로 했을때 차량이 사라지는 모습을 많이 보임.

 

score값이 낮아서  filtering되는것임.

 

fasterrcnn_resnet50_fpn에서 찾은 결과값을 토대로 다시 score값을 올려주는 로직을 추가함.

 

그랬더니 잘 찾는것을 확인함.

 

내가 딥러닝과 상관없는 이것을 왜하는지 모르겠지만.....

 

궁금했고.....해봤더니....잘됨......

 

ps. 해당작업을 하면서 전처리에대해서 많이 알게되었다.

 

생각보다 이미지 전처리가 많은 작업을하고 있고 성능에도 중요한 영향을 미치는것 같다.

 

역시 해서 나쁜것은 없다. 귀찮고 시간이 소모될 뿐이지.....