| 초록 |
1. 서론 ■ (필요성) 대규모 델파이조사 방식의 한계 극복하고 기술수준평가 결과의 신뢰도 제고 및 기술수준평가 결과의 활용도를 향상을 위해 평가방법론 개선 연구 및 활용 방안 모색이 필요 ◎ 기존 연구에서는 주로 델파이조사 방식의 객관성 제고에 집중하였으나 델파이 조사 중심의 평가 방식의 개선 필요성이 대두 - 전체 평가에서 델파이조사와 결과 분석에 들어가는 시간과 비용의 비중이 지나치게 높아 심층적인 평가 결과의 도출과 활용도 제고에 제약사항으로 작용하고 있어, 평가 과정의 효율성을 높이고 정성적 분석을 강화하는 방법론에 대한 검토가 필요 - 국내・외 기술수준평가 사례 분석, 국내 기술수준평가 참여 전문가 및 활용전문가 의견수렴, 방법론 개선에 대한 시범연구 등을 통해 차기 기술수준 평가를 위한 평가방법론 개선방향(안) 도출 필요 ◎ 평가대상 기술에 관해 수행된 다른 분석 결과와 수준평가 결과를 연계 분석하여 기술수준평가 결과의 활용 가능성을 모색할 필요가 있음 - 국가연구개발사업 중 각 기술별 관련 과제 현황(연구비 규모, 연구수행주체,연구개발단계 등)과의 연계 분석을 통해 향후 기술수준 향상을 위한 정부연구비 투자전략 및 관련 정책에 대한 시사점을 얻을 수 있음 ■ 연구목표 ◎ 기술수준평가 결과의 신뢰도 및 활용도 제고 방안 고찰 - 기술수준평가 방법론 및 절차 개선 방안 도출 - 기술수준평가 결과와 정부연구개발활동 연계 분석 ■ 연구내용 ◎ 기술수준평가 결과의 신뢰도 제고를 위한 평가방법 개선 방안 도출 - 국내・외 기술수준평가 사례 조사 - 전문가 의견 수렴을 통한 기존 방법론의 장단점 분석 및 개선방안 도출 - 국내・외 사례조사, 전문가 의견 수렴 과정에서 도출된 개선 방안 중 주요 내용에 대한 시범적용 연구 - 기술수준평가 개선안 도출: 기술수준평가 대상기술과 분석 단위 조정, 평가참여자의 전문성 제고, 정책적 활용도 제고를 위한 정성적 분석 강화 방안 등 ◎ 기술수준평가 결과의 활용도 제고를 위한 타 조사 결과와의 연계 분석 - 기존의 평가대상인 국가전략기술에 대해서는 관련된 정부연구개발사업 세부과제에 대한 파악이 가능하므로, 동 과제의 다양한 정보와 기술수준 평가 결과와의 연계 분석이 가능함 - 즉 국가전략기술별 기술수준과 관련 정부연구비 규모, 과제 수행 주체,연구개발단계 등 다양한 정보와의 관계 분석을 통해 향후 투자의 효과성 향상을 위한 시사점 도출: 2014년과 2016년 기술수준평가 결과 변화를 동기간의 국가연구개발사업의 관련 과제 현황과 비교・분석 2. 국내・외 기술수준평가 사례 조사・분석 ■ 국내 기술수준평가 ◎ 대부분 델파이조사 또는 설문조사를 이용해 세계 최고기술 보유국 대비 국내 기술의 상대적 수준과 격차를 정량화하여 평가 - 사례조사 대상 10개 중 9개에서 델파이조사 또는 설문조사 중심의 평가방법을 채택하였고, 사례조사 대상 10개 모두에서 최고기술보유국을 도출하고, 해당 국가 대비 상대적 기술수준을 백분율(%)로, 기술격차를 기간(년도)로 정량화하여 평가함 ◎ 기술수준 및 기술격차 이외에도 다양한 지표에 대해서 객관식 문항을 이용한 델파이조사 또는 설문조사 방식의 평가를 수행 - 기술수준 및 기술격차의 이유, 기술의 위치나 특성, 기술의 중요도, 기술수준 향상방안 또는 기술격차 해소방향(안) 등에 관해 몇 개의 척도 또는 유형에 대해 선택(응답) 비율을 활용해 분석 ◎ 일부 조사 사례에서는 델파이조사 또는 설문조사 방식으로 수행된 결과에 추가 자료조사와 전문가의 분석 과정을 더해 정책방향 및 제언사항을 제시 - KISTEP 기술수준평가 등 일부 조사의 경우 기술별 기술・산업・정책 동향 자료조사, 논문・특허 분석 결과 등을 추가로 수행하고, 이를 바탕으로 SWOT 분석과 정책제언을 제시하였고, IITP 기술수준평가의 경우 Hype Cycle 이라는 분석 프레임을 적용해 기술의 산업적 의미와 관련 정책 제언을 제시 ■ 국외 기술수준평가 ◎ 미국과 일본 사례를 중심으로 전문가에 의한 심층적인 자료조사와 분석 과정을 거친 평가를 수행 - (주요 사례) 5점 척도 조사 결과에 대해 자문위원회의 최종 검토(미국 OSTP),분야별 전문가의 해외 방문 인터뷰(미국 WTEC), 국내・외 유명 연구자 인터뷰 조사(일본 NISTEP), 국내・외 연구기관 및 연구자에 대해 400여회의 방문조사・의견교환・워크숍(일본 JST-CRDS) 등 ※ 단, 중국의 경우에는 국내사례와 유사하게 전문가 집단에 대한 델파이조사 중심의 평가 수행 ◎ 기술의 현황과 국제 수준 대비 자국 수준 평가를 척도화・등급화・유형화 방식으로 수행하고 이를 바탕으로 각 사례별로 다양한 정책적 활용 방안을 제시 - 미국 OSTP 사례는 미국의 기술성능을 주요국 대비 수준에 따라 5점 척도로 평가하였고, 일본의 JST-CRDS 사례는 연구개발활동 및 성과 정도를 4등급으로, 최근 2년의 변화 트렌드를 3개 유형으로 평가함 ■ 국내・외 기술수준평가사례의 시사점 ◎ 보다 다양한 평가방법론 고찰이 필요 - 대부분의 평가에서 전문가 집단에 대한 델파이조사 또는 설문조사 방식을 통해 정량적 지표에 대한 산술적 결과를 도출하고 있어 기술수준평가 방법론의 발전과 평가결과의 활용도 향상 속도가 더뎌지는 원인이 될 수 있음 ◎ 평가의 신뢰도뿐 아니라 정책적 활용도 제고를 위한 분석 강화가 필요 - 국내 및 중국의 경우 대규모 전문가 대상 델파이조사 방법론을 중심으로 정량적 기술수준 지표에 대한 평가결과의 신뢰성 확보에 중점을 두고 있음 - 이에 비해 미국 및 일본 사례는 전문가의 심도 있는 조사와 분석 과정을 통해 다양한 내용분석과 전략적 제언을 도출함으로써 향후 정책적 활용도 향상을 지향한다는 점을 참고할 필요가 있음 3. 평가방법론 개선 연구 ■ 개선 방향 ◎ 델파이조사에 참여하는 전문가의 전문성 향상, 델파이조사 결과와 종합분석과의 연계성 강화 등을 중심으로 평가결과의 신뢰도를 향상 ◎ 평가/분석 근거 강화, 전략적 중요성 관련 분석 강화 등을 중심으로 기술 수준 중심의 활용에서 벗어나 정책적 활용성을 높이는 것이 필요 ■ 기초자료 강화 ◎ 결과의 신뢰도 향상을 위해서는 평가의 정확성을 향상시킬 수 있도록 평가자들의 객관적이고 전문적인 판단에 도움이 될 수 있는 관련 자료 제공을 강화할 필요 ■ 평가절차 및 평가방법 ◎ (평가절차) 결과의 신뢰도 향상을 위해서는 평가 과정의 일관성 확보의 불확실성을 최소화할 수 있도록 평가 방법・절차가 개선되어야 함 - 다수 전문가들의 응답을 수렴하여 수치로 표현되는 델파이조사 결과와 특정 전문가의 해석을 거쳐 정성적으로 작성되는 종합분석 결과 간에는 왜곡의 위험성이 존재하므로 델파이조사와 종합 분석 간의 연계성 강화가 필요 - 델파이조사 방식의 단점을 보완하기 위해 FGI(Focused Group Interview)방식을 적절히 활용・연계하는 방법론을 통해 보다 활발하고 적극적인 논의를 유도하고 기술수준 및 관련 내용을 보다 면밀히 분석할 수 있는 방안을 마련할 필요하며, 특히 델파이조사 참여와 중에서 소수패널을 구성하여 종합분석 FGI를 통해 기술수준 및 기술격차, 증감원인 등에 대한 분석을 추진하는 방안에 대한 검토 필요 ◎ (평가자 구성) 평가자의 전문성과 책임성 제고 방안을 위해 평가자 참여 과정에 대한 질적 관리 방안을 마련하고, 델파이조사와 종합분석 참여 전문가의 연계 강화가 필요 - 국가전략기술 선정을 위해 부처로부터 추천받은 전문가를 활용하거나, 관련 학회나 협회, 연구관리 전문기관 등을 중심으로 분야별로 적절한 전문가를 선정하기 위한 위원회를 구성하거나 관련 절차를 마련할 필요 - 「제4차 과학기술기본계획」 수립을 위한 국가전략기술의 동향 분석에 참여한 전문가, 관련 정부연구개발과제의 연구책임자 등을 활용해 보다 구조화된 평가자 선발 방안을 모색할 필요 ◎ (평가항목) 결과의 활용도 측면에서 평가항목을 재구성하고, 델파이조사 이외의 데이터 기반 평가지표를 강화할 필요 - 기술수준평가의 과학기술정책 수립을 위한 기초자료 제공이라는 목적에 부합할 수 있는 고품질의 다양한 자료를 제공할 수 있도록 조사문항을 검토하여 활용도, 중요도가 높은 항목들을 중심으로 재구성할 필요 - 한편, 수요조사를 통해 필요시 정책적 중요도가 높은 항목들을 추가하거나 기존 항목을 수정・보완・활용방안 변경 등을 통해 활용도를 제고하는 방안 마련 필요 - 신규 항목이 추가될 경우 해당항목의 분석 및 활 |
