실험은 성공적인 모델로부터 하나 하나 살을 붙여가는 방식으로 설계되어야 한다. 하나씩 붙일 때마다 실험에서 어떤 결과가 나오는지 살펴보아야 한다.
중간 결과물도 시각화 해봐야 한다. 최종 출력물을 기반으로한 정량적, 정성적 결과 확인만 하고 넘어가는건 하수이다. 그건 누구나 할 수 있다. 어디에서 문제가 생기는 건지 알려면 모델을 뜯어봐야 한다. 내가 원하는 결과가 어디서 부터 안나오고 있는지 파악해야 한다.
실험 결과가 나올 때마다 "왜" 이런 결과가 나왔는가를 생각해보고 대답해야한다. 왜 "왜"라는 질문을 던져야할까? 그건 다음 실험의 방향을 찾기 위해서다. 예를 들어서 만약 "왜 이런 실험 결과가 나왔을까?" 라는 질문의 대답이 overfitting 이라면 다음 실험으로는 overfitting 을 방지하는 기법들을 사용해보는 식으로 방향이 정해진다.
실험 결과들을 모아서 매번 작은 결론들을 지으면서 연구가 진행되어야 한다. 작은 결론들이 내 연구의 나침반 역할을 한다.
내 아이디어가 효과가 있는지를 빨리 알아보기 위해 GT 를 이용한 feasibility check 을 먼저 하고 연구를 하는 것도 좋은 방법인 것 같다.
