R&D 시험인증 후기 및 개발, 행정 관련 느낀 점

공개SW 기반의 클라우드 통계 패키지SW 과제를 수행하면서, 외부 공인 기관에 시험인증을 의뢰해야 했습니다. 이와 관련된 후기, 또 전반적인 과제 관련 정보를 남깁니다. 당사로서는 처음 수행하는 R&D였습니다. 저희 팀원들과 공동연구기관에서 다 같이 열심히 참여하였기에 잘 완수할 수 있었습니다. 그러나 그 과정에서 어쩔 수 없이 겪은 몇가지 어려움이 있었기에 이를 공유합니다.

개발

최초에 R&D 연구개발계획서를 작성하면서, 계획서 표지(요약 페이지)와 하단에, 높은 TRL단계를 달성하겠다고 기재하였습니다. 또, 하단에는 외부 기관으로부터 인증을 받겠다고도 기재하였습니다.

이를 인지하지 못하고 있다, 2차년도 10/26에 최초로 위와 같이 기재한 것을 발견하였습니다. 관련하여 주관 기관에, 수행하지 않아도 될지에 대해 문의하였으나 외부 시험이 필요할 것이라는 회신을 받았습니다(사유: 최초 연구개발계획서에 기재되어 있고, TRL이 높은 단계인 점 등 고려)

그 후, 12/18에 현장 테스트가 완료되었으며, 12/27경 최종 보고서 초안를 받았습니다. 시험 준비부터 완료까지 거의 2달이 소요됩니다. 만약 이러한 준비가 되어 있지 않은 경우 마감이 아주 촉박해 제때 마무리 하지 못할 우려가 있습니다. 우리만 준비되면 되는 것이 아니고, 시험인증 업체측 일정도 고려해야 합니다. SW인증업체가 전국에 10개소 정도밖에 되지 않는 것으로 알고 있습니다. SW R&D는 최소 100건은 될 것입니다. 모두가 시험인증을 거치는 것은 아니지만, 미리 준비해야 합니다. 제가 10월 말경 문의하였을때 이미 12월 말까지 일정이 있어 의뢰받지 못한다고 회신한 업체도 2~3개정도 있었습니다.

시험인증은 상당히 시간이 많이 소요되는 작업입니다. 가능하다면 피하는 것이 좋으나, 현재 우리 회사의 기술 수준을 볼 때 대부분 상용화/성숙 단계 R&D일 것이므로 피하기 어려울 것입니다. 미리 준비해야 합니다.

연구개발계획서 내용을 R&D 참가 인원과 잘 공유하고, 우리가 해야 할 것을 정리

처음 연구개발계획서를 가장 잘 쓰는 것이 중요하고, 그 R&D 전 기간에 거쳐 참가할 사람과 공유하여 향후 어떠한 검증을 외부 업체에서 받아야 하는지를 사전에 알고 있는 것이 중요합니다. 그렇게 해야만 해당 부분의 유지보수를 조금 더 잘 할 수 있으리라 생각합니다.

현재는 연구개발계획서를 다 같이 보는 것이 아니라, 대표님이 작성하시고 그것을 개개인이 읽어 보는 형태로 진행되고 있습니다. 하지만 앞으로는 한 자리에 모여 다같이 연구개발계획서를 검토하고, 비현실적인 부분이 있는지, 또는 미리 준비해야 하는 부분이 있는지를 검토하고 가능하면 쉽게 수행할 수 있도록 향후 우려되는 요소를 미리 제거한 연구개발계획서를 작성하는 것이 중요하겠습니다.

RFP에 기반한 목표치를 알맞게 설정

RFP의 ‘국내 기업 최고치’, ‘해외 기업 최고치’를 준용하지 않는 경우(즉, 해당 값을 변경하거나 새로운 기준을 만드는 경우)에는 ’국내 기업 최고치’, ’해외 기업 최고치’가 해당 값인 것도 우리가 입증해야 함에 주의하여야 합니다(간사 문의사항). 다행히도, 이번 과제의 경우 RFP상에서 국내/해외 기업 최고치를 제시하였기에 우리가 입증 할 필요가 없었습니다. 시험인증이 불가하여 외부에 위탁하지는 않았지만, 예를 들어 ’분석 속도’에 정확한 기준을 적지 않은 채, 해외 기업을 100%라고 한 경우 매우 곤란한 경우가 생길 수도 있으리라 생각됩니다. 연구개발계획서를 작성 할 때에는 상대적인 수치가 아닌, 절대치로 기재하는것이 좋겠으며 달성이 어렵더라도, 입증 자체는 쉽게 할 수 있는 항목을 기재하는 것이 최종 결과보고서 작성에 유리합니다.

다른 업체와의 업무 분담 명확화

이번 시험인증에서는 다른 공동연구개발기관와 함께 시험인증을 진행했습니다. 그 공동연구개발기관 역시 시험인증에 대한 준비가 되지 않은 상황이었으며, 상대측 실무자 또한 경험이 많이 없어 미숙한 면이 있었다고 보입니다. 마찬가지로 연구개발계획서를 작성 할 때에 언제쯤, 어떻게 시험을 진행할 지, 각자 서류작업(페이퍼워크)의 분담은 어떻게 할 지 등을 미리 검토 할 필요가 있습니다. 그렇지 않으면 서로 소통이 되지 않아 일을 이중으로 하게 됩니다.

이번 시험인증의 경우 다른 공동연구개발기관에 요청한 서류 대부분을 사용하지 못하고 우리 회사측에서 새로 작성하였습니다. 주관기관으로 참여할 경우 대부분의 페이퍼워크를 우리가 부담해야 하니 미리 알고 있을 필요가 있습니다.

사전에 검증 가능한 항목인지, 공인인증 업체에 미리 확인

통계분석 시간 단축률 항목의 경우, 다른 상용 프로그램과의 비교가 불가능하다는 시험인증 업체의 회신을 받았습니다, 이는 최종 평가에서 분명히 마이너스 요소가 될 수 있는 사안입니다. 다음 연구개발계획서 작성 시에는, 평가 항목을 사전에 업체와 조율하여 평가가 가능한지를 파악한 후 이를 기재하는것이 바람직하리라 생각됩니다.

개발 시 시험항목과 테스트 항목에 맞추어 개발

기능을 개발 할 때에, 시험항목에 포함되는 개발 항목과, 시험 항목에 포함되지는 않지만 연구개발계획서에는 존재하는 항목이 있습니다. 시험인증을 하지 않아도 되는 항목의 경우 일단 구현만 하면 연구개발계획서를 어기지는 않은 반면, 시험인증을 해야 하는 항목의 경우 여러 번/여러 플랫폼에서 테스트를 할 필요가 있고, 기능 명세도 작성해야 합니다. 또 이러한 항목의 경우 코드에 주석 작업을 철저히 하여 추후 오류가 발생했을 때 쉽게 수정할 수 있어야 할 것입니다. 미리미리 해 두지 않으면 추후 유지보수가 굉장히 어려워, 시간이 2~3배 더 소요될 수 있습니다.

양식 작성 시 스크린샷은 최대한 자세하게

이번 시험인증을 진행한 업체를 포함해, 약 4개정도의 업체에서 견적을 받거나, 최소한 문의하여 양식을 작성했습니다. 공통적인(비슷한) 양식이 있는 것을 보니 정형화된 서류가 존재하는 듯 합니다.

이번에 수행한 업체의 경우, 해당 서류를 작성해서 제출했음에도 불구하고, 그 이후에 해당 서류의 내용을 바탕으로 전체적인 테스트를 수행한 후 보내달라고 하였습니다. 최초에 테스트 할 항목을 작성할 때, 미리 테스트를 겸하여 어떻게 작동되는지를 스크린샷으로 촬영 해 두면 간편하게 시험인증을 마무리 할 수 있습니다.

테스트 도구의 도입

아직 한번도 이런 도구를 사용해보진 못했지만, 이러한 도구의 필요성을 절실히 느꼈습니다. 예를 들어, statgarten의 ML 중 lightGBM 패키지가 업데이트 되어, 특정 버전을 지정하여 설치하도록 한 경우에는 다른 ML에 영향이 없는지 확인이 필요합니다. 어떤 dependency가 업데이트 되었을 때, 테스트 도구가 없다면 매번 모든 항목을 수동으로 테스트 해야 합니다. 이런 번거로움을 막고자 테스트 도구 도입을 검토 할 필요가 있습니다.

행정

연구비는 인건비와 연구활동비 위주로 편성

연구비로 회사에 필요한 비품을 구매하거나, 용역을 주는 것은 쉽지 않습니다, 이번 IITP에서 회계를 제가 담당할 때는 대부분 인건비와 식비였기에 예산 집행에 큰 어려움은 없었습니다. 하지만 그 후에, NIPA나 창업도약패키지 연구비 집행을 옆에서 지켜 본 결과, 사실상 인건비와 식사 이외에는 사용하지 말라는 의도라고 생각하게 되었습니다. 실물 재료가 필요한 다른 연구와는 달리, 우리는 SW개발업이기에 인건비가 가장 많은 비중을 차지하고, 최대한 인건비를 연구비로 계상하는 것이 중요할 것 같습니다. 만약 다른 항목(예: 장비 구매 등)이 꼭 필요하다면, “협약 초기”에 끝내는 것이 좋겠습니다.

2024년 1월 추가: 2023년 12월 28일부터 회의비 사용이 어려워졌습니다. 대부분 인건비로 처리가 필요합니다.

간사와의 연락은 메일로

출장 등으로 전화가 잘 되지 않을 뿐더러, 상대가 전화를 선호하지 않습니다. 한 명의 간사가 10개 이상의 사업을 관리하는 경우도 있기에 메일이 좋습니다. 또 추후 문제가 생겼을 때 우리가 대응하기 굉장히 껄끄러운 상대방입니다. 따라서 가능한 한 기록이 남는 메일로 연락을 주고받는것이 좋겠습니다.

협약 변경은 한번에

비교적 자유로웠던 IITP과제와는 달리, 현재 수행중인 타 과제는 협약 변경이 매우 번거롭습니다. 그 기관의 특성으로 보이나, 연구 분야를 보았을 때 우리가 추가로 R&D를 수행한다면 그 기관 과제일 확률이 매우 높습니다. 앞에 언급 한 것처럼 최대한 최초 연구개발계획서에 구체적으로, 우리가 유리한 방향으로 작성하는것이 좋습니다.

또 위 기관의 경우 한번 협약 변경에 오랜 시일이 걸립니다. 지난 10월경 협약변경한 건은 약 1개월 걸렸으며, 그 과정에서 반려도 최소 5회 이상 당했습니다. 또, 과제 종료 시기(11월 이후?)가 되면, 원래는 협약변경 가능한 시기임에도 불구하고 협약변경을 잘 해주지 않으려 합니다. 이 점 감안하셔서, 하반기 진입 시 과제 상황을 한 번 체크하시는 것이 좋습니다.

전문연구사업자

전문연구사업자 자격이 있으므로 기존인력 인건비 계상이 가능합니다. 현재 수행하고 있는 R&D의 주관기관은 거부하였는데 해당 법령 소관기관인 과기부 문의 결과 부처 상관없이 기존인력 인건비 계상이 가능하여야 합니다. 현재는 기존인력인건비 계상이 꼭 필요하지는 않았지만, 앞으로 필요시 과기부 문의 결과를 바탕으로 요청해보아야 할 것 같습니다.

Slack을 통한 계획서 공유는 지양

Slack으로 계획서를 공유하면 간편하지만, 버전 관리 문제가 발생합니다. 같은 파일에 각기 다른 내용이 추가되고, 이들을 합칠 수 없는 문제가 생깁니다. 그리 길지 않은 문서라면 대조하며 확인이 가능하지만, 백 페이지가 넘는 문서들은 그렇게 대조하는 것이 매우 고통스러운 작업일 것입니다. 가급적이면 버전 관리가 가능한 회사 드라이브를 통해 하는 것이 좋습니다.

주관기관이 대부분의 일을 합니다

만약 우리가 주관기관으로 참여하게 되면 대부분의 서류 작업을 우리가 해야 합니다. 각 기관별 예산/성과등은 각 기관에게 요청할 수 있지만, 대부분의 페이퍼워크를 우리가 해야 하므로 미리 준비해야 합니다.

결론 요약

1. 과제 지원/시작 단계에서 다같이 모여 연구개발계획서와 (있는 경우) 과업지시서를 읽고 논의하자
2. 개발 단계부터 체계를 갖추고, 테스트를 잘 수행하자
3. 협약 관련 사항은 여름까지는 완료하고, 인건비 이외 지출항목은 가능하면 연초에 소진하자