연구자의 척도: 연구 업적 평가에서 정량분석과 SCI급 강조의 제도적 배경

김종립 (서울대학교 기술경영경제정책협동과정 박사 수료)

prome00@hotmail.com

 


 

시작하며

한국에서 대학 간 서열에서 높은 순위를 차지하거나, 연구 과제를 수주하거나, 혹은 대학의 교원이나 연구기관의 연구원이 되기 위해서는 SCI급 연구 성과를 되도록 많이 보유해야 한다. 언제부터 이러한 연구 공동체의 풍토가 정착되었을까. 이 질문에 대답하기 위해서는 한국의 학술 문화 전반에 대해 검토할 필요가 있다. 일단은 질적인 동료 평가에 대한 신뢰의 부재가 그 핵심에 놓여 있다고 지적할 수 있지만, 이 글에서 그 양상을 총체적으로 분석하기는 불가능할 것이다. 현재 우리가 목도하고 있는 현상은 지난 30년 동안 한국 대학들이 경쟁력을 높여 빠른 추격을 이루기 위한 노력에서 비롯된 하나의 부작용이라고 평가할 수 있다. 또 한국어 사용자가 5000여만 명에 불과한 상태에서 온전한 평가 기준을 지닌 연구 공동체로 성립하기 위한 향후 조건을 갖출 수 있을지도 알 수 없다. 따라서 이 글에서는 우선 1990년대 이후 한국에서 SCI급 논문의 정량적 척도에 따른 평가 제도가 형성되는 과정을 보이는 데만 집중하고자 한다. 이러한 작업은 결과적으로 한국 사회가 외부의 기준에 따른 정량적 판단을 선택할 수밖에 없었으며, 이 현상의 부작용과 한계를 향후 명확하게 밝혀내는 데 도움을 줄 것이다.

 

연구 사회를 지배한 SCI급 기준의 정량 분석

SCI급 연구 성과란 주로 SCI, SCIE, SSCI, A&HCI 저널 등에 수록된 논문을 이르는 말이다.[1] SCI(Science Citation Index)는 과학기술 저널 인용색인인데, 이에 준하는 SCIE(Science Citation Index Expanded)도 넓은 범위에서 인정받고 있다. 사회과학 분야에서는 SSCI(Social Science Citation Index)가 주로 이용되며, 인문 및 예술 분야에서는 A&HCI(Arts and Humanities Citation Index)가 그 기준이다. 다만 인문사회예술 분야에서는 학문 특성상 SSCI와 A&HCI 저널 투고가 많지 않아 SCI급은 이공계 연구자들에 주된 고민 사항이었지만, 점차 인문사회예술 분야로 그 영향력이 커지고 있다. 한국 국내 저널의 평가를 위해 KCI(Korea Citation Index)가 2007년부터 서비스를 시작하였다.

이 중 SCI는 미국의 Institute for Scientific Information 사가 1964년 서비스를 시작하며, 그 데이터를 이용할 수 있게 되었다. 최초로 이를 만든 유진 가필드는 갈수록 많아지는 논문 속에서 제대로 된 논문을 찾는 시간을 줄일 수 있도록 도움을 주기 위한 것이었다. 이렇게 시작된 계량서지학은 1970년대 도서관에서 널리 사용되었다. 도서관에서는 한정된 예산에서 더 나은 저널을 우선적으로 구입할지 판단하기 위해 이러한 방법론을 적극적으로 받아들였고, 더욱 발전시켰다.[2] 1980년대에 접어들면서 연구기관과 개인 연구자들의 연구 업적을 평가하는 도구로 점차 사용되기 시작하였다.

한국의 언론 보도에 SCI가 처음 등장했던 것은 1980년대 초의 일이었다. 당시 한국의 맥락에서 SCI는 한국의 과학기술 연구 역량을 국제적으로 비교하기 위한 척도라는 의미를 가졌다.[3] 그리고 이후 1990년대를 거치며 “국제적인 과학기술수준의 비교수단”이었던 SCI는 현재와 같이 대학이나 연구집단, 개인의 연구 수준업적 평가를 위한 기준으로 변용되었다. 이러한 변화는 연구 업적 평가의 필요성 증대에 발맞춘 정량적 연구 업적 평가 제도들의 도입과 함께하였다.

 

정량적 평가의 필요성 증가

1990년대 들어 연구 사회는 큰 변화를 맞이하였다. 문민정부와 국민의 정부는 고등교육 분야에서 대학의 연구 역량 강화를 위해 다양한 제도를 도입하였다. 문민정부에서 1994년 1월 발족한 대통령 직속 자문기구 교육개혁위원회는 1995년 5월 31일 「세계화․정보화를 주도하는 신교육체제 수립을 위한 교육개혁방안」을 발표하였다.[4] 이후 네 차례에 걸쳐 교육 개혁 방안을 발표하였다. 국민의정부 또한 교육발전 5개년 계획에서 문민정부의 5·31 교육개혁안의 기본 방안을 계승하였다.

두 계획 모두 대학의 연구 역량을 강화와 다양화·특성화를 위해 평가와 재정을 연계를 강조하였다. 기존에는 연구 예산의 규모가 크지 않았으며, 또 대학 간 혹은 연구 단위 간, 또 교수 간 경쟁이 많지 않았다. 이에 따라 평가 수요가 많지 않았고, 이를 재정과 연계할 필요성도 크지 않았다. 하지만 1990년대 들어 연구 예산이 증가하고, 대학이 급증하였다. 이에 정부는 수월성을 기조로 하여 경쟁 원리를 도입하였으며, 이를 뒷받침할 경쟁의 결과를 객관적으로 평가할 방법이 필요하였다. 이때 좋은 논문과 좋지 않은 논문, 혹은 업적이 되는 논문과 업적으로 인정받지 못하는 논문을 나누는 기준이 SCI급이었다.

 

대학 평가의 정량화

본격적으로 대학 평가가 시작된 해는 1994년이었다. 대학 간 협의체인 한국대학교육협의회가 1994년 7년 주기의 대학종합평가인정제를 시행하였다. 대학평가인정제는 대학 전체를 평가하는 종합평가인정제와 학과 및 학문 분야를 평가하는 학과인정제로 구분되어 시행되었다. 평가인정 점수는 4년제 대학으로서 사회적으로 인정받기 위해 도달해야 할 최소한의 수준을 의미했다. 이 평가에서 연구 분야에 배정된 점수는 그리 크지 않았다. 학부와 대학원의 평가가 별도로 진행되었는데, 2000년 기준 학부 평가 전체 500점 만점에서 연구 분야 점수는 65점이었고, 그중 실적과 관련된 점수는 17점이었다. 대학원 평가는 전체 100점 만점에서 22점이 교수 평가에 해당되었다. 평가인정제에서 연구 분야의 평가는 그리 중요성이 높지 않았다. 한국대학교육협의회 20년사(2002)는 “대학평가인정제는 대학의 발전뿐만 아니라 그 결과를 정부와 사회에서 인정받는 것이 필요하다”고 기록하였는데, 이 평가 결과가 정부의 행정·재정적 지원과 연계되지 않았다.[5] 하지만 대학 간 경쟁이 본격화되었다는 데에서 그 의의를 찾을 수 있다.

같은 해 중앙일보는 전국 100개 대학의 교육여건, 교수연구, 국제화, 평판도를 측정한 순위를 공개하였다. 이 평가는 대학교육협의회의 대학정보 공시와 한국연구재단의 한국연구업적통합정보(KRI)의 자료를 활용하였다. 평가인정제와 달리 논문, 연구비, 지적재산권 등 교수 연구 부문에 가장 많은 비중을 부여였다. 특히 SCI, SSCI, A&HCI에 가중치를 매겨, SCI급을 평가 기준으로 받아들이는 데 있어 큰 계기가 되었다. 일부 대학들은 입시에 많은 영향력을 미친다고 여겼기에 이 평가의 평가지표를 중시하였다.

 

연구사업 평가의 정량화

연구사업경쟁도 본격화됨에 따라 정량적 평가 기준이 점차 받아들여지기 시작하였다. 1990년대 국가연구개발사업이 목적지향적으로 개편되었고, 이에 따라 1992년부터 사업을 전문화하기 시작하였다. 기초과학분야 연구개발사업은 핵심전문연구과제, 특정기초연구과제, 협력연구과제 등으로 구분되어 사업이 진행되었다. 1994년부터 기초연구진흥종합계획이 의결되고, 과학재단 중심으로 우수연구센터를 선정하여, 탁월성 위주로 기초 연구 지원 사업을 진행하였다. 기초연구에 한정 지어 보아도 과학재단은 목적기초연구사업, 우수연구센터 및 지역협력연구센터, 특성화장려사업 등이 있었고, 학술진흥재단에 의한 학술진흥사업에는 자유공모과제, 지방대육성과, 신진교수지원과제, 대학부설연구소 과제 등이 진행되었다. 이에 따라 연구실 단위의 연구 과제 선정을 위한 다수의 평가 수요 발생하였다.

이러한 상황에서 1999년 BK21의 시행은 연구 사업에서 SCI급 논문을 가장 우선적으로 고려해야 할 평가의 기준으로 삼는 데 큰 역할을 하였다. BK21은 연구 중심대학 육성, 국제적인 학술연구수준으로 향상, 대학원 중심 대학시스템 전환을 통한 입시 경쟁 완화를 시행 목표로 삼았다. BK21은 SCI급 논문을 당시 한국 학술 연구 수준의 평가 근거로 삼았다. 1998년 기준으로 SCI급 논문의 수는 미국의 3.9%, 일본의 15.2%에 불과하였으며, 전체 국가 순위에서도 16위에 그쳤다.[6] 이 사업에서 재정지원과 대학 개혁을 본격적으로 연계하여 자금 지원을 조건으로 대학의 제도 개혁을 요구하였고, 경쟁 결과를 통해 수월성 있는 대학을 선정하여 집중적으로 지원하였다.

이러한 SCI급 논문을 기준으로 한 선별적 지원 정책은 SCI급 논문의 폭발적인 증가를 가져왔다. 1단계 BK21이 시작되기 전인 1998년 3,765편이었던 SCI급 논문 수는 2004년 7,060편으로 약 두 배 가까이 증가하였다.[7] 이러한 연구개발성과, 특히 SCI급 성과의 강조로 인하여 BK21 사업은 인력 양성의 성격이 약화되었으며, 제도 개혁 요구가 지나치다는 평가를 받기도 하였다.[8]

 

교원 평가의 정량화

개별 교원 수준에서도 정량적 평가가 심화되었다. 대학의 성장 과정에서 수요에 비해 공급이 부족하던 시기가 지나, 대학 교원의 공급이 수요를 초과하기 시작하였고, 교원 선발과 정년 연장 등에도 경쟁이 점차 시작되었다. 이러한 분위기에 따라 학교별 업적기준을 만들기 시작하였다. 1986년 포항공대를 시작으로 1994년 연세대와 서울대가 업적 기준을 만들었다.[9]

업적평가의 기준은 주로 연구 편수와 논문집의 심사 과정 유무에 치중되었다.[10] 특히 대학의 SCI급 국제논문에 대한 선호가 뚜렷하였다. 인문사회 분야에서는 양적인 평가 기준에 비해 저서 출판의 중요성이 상대적으로 간과되었다. 이공계에서는 SCI급 논문 이외에도 산학협력에 유리한 특허나 지적재산권을 상대적으로 더 중시하기도 하였다.

2000년 기준으로 서울대를 제외한 대다수의 학교는 업적평가를 인사관리에 활용하였거나 활용할 계획을 갖고 있었다.[11] 당시 포항공대와 연세대 등 18개교가 업적 평가를 인사 관리에 활용하고 있었으며, 112개 대학이 이를 시행할 예정이었다.

당시 업적 평가가 인사관리에 본격적으로 활용된 계기는 1999년 시행된 『교수임용제도 개선 및 사립대학 운영구조 개선방안』이었다. 교수사회에서 “교수계약제”라 불리는 제도가 도입된 것이다. 신임 교수의 질을 높이고, 교수의 연구 경쟁력을 강화시키려는 것을 그 목적으로 하였다. 임용 시 기초 심사, 전공심사와 면접 심사 등 3단계 심사를 거치도록 하였고, 이에 따라 새로 채용된 교수가 일정 계약 기간이 지나 교수인사위원회의 평가에서 불합격 판정을 받으면 바로 퇴직하는 제도였다. 기존 교수들은 이 제도에 해당되지 않아 초기 그 영향력은 제한적이었지만, 점차 업적에 따라 교수의 임용과 재계약을 분위기가 확산되었다.

이때 주관적 업적 평가 기준에 따라 학교에서 배제되는 것을 많은 교수들이 걱정하였다. 김종서는 『교수 계약제, 연봉제 Q&A』라는 문서에서 교수계약제의 구체적 내용과 개별 사례를 제시하였다.[12] 제시된 9개 사례 중 두 사례가 주관적 업적평가기준에 따라 재임용을 보장받지 못할 것을 걱정하거나, 실제 거부된 사례였다.

 

정량분석을 위한 제도적 기반 마련

효율적인 정량 평가의 집행을 뒷받침할 제도적 기반도 순차적으로 마련되었다. 1998년부터 늘어나는 학술지의 질을 평가하기 위해 등재학술지와 등재후보학술지를 선정하였다. 우수한 학술지를 지원하기 위한 대상을 선정하는 것이 최초의 목적이었다. 이러한 지원 사업의 결과로 학술단체설립이 급증하고, 다양한 분야의 학술지 발행이 확대되었다. 2013년 교육부는 객관적인 연구 결과와 업적을 평가하는 데 도움이 되었다고 밝혔다.[13] 대학에서도, SCI급 논문을 많이 게재하지 않는 인문사회 분야에서 교수 업적 평가에 주로 활용하였다. 이 제도 또한 업적의 정량적 평가에 따른 부작용을 강화하여 논문의 양적 팽창과 형식 중심주의 등의 결과를 낳았다.

계량서지학은 효율적 인용 분석 방법을 개발하여 학문의 정성적 연구 역량 평가의 근거를 강화하였다.[14] 앞서 이야기했듯이 계량서지학은 도서관에서 효율적 예산 사용을 위해, 저널의 구입 우선순위를 판단하기 위해 1970년대 발달하였다. 1980년대부터 계량서지학의 지표와 색인이 연구기관과 개인연구자들의 업적평가 도구로 사용되기 시작하였고, 이후 1990년대 중반 이후 계량서지학이 제시한 지표들이 연구 기간의 연구 업적 평가와 정부의 예산 배분에 사용되기 시작하였다. 파올라는 평가 대상의 크기가 충분히 클 때 즉, 국가 혹은 광역 단위 평가에 유용할 수 있다고 하였으나, 개인과 개별 기관 평가에 적합하지 않음을 지적하였다. 하지만 한국에서도 이러한 계량서지학적 방법을 기반으로 효율적인 인용 분석 방법이 연구되어 그 이용의 근거를 확보하기 시작하였다.[15]

정량적 평가에 관한 여러 기술적 기반의 조성도 이러한 분위기를 만드는 데 큰 도움을 주었다. 분야별 학술 데이터베이스 구축과 구글 학술검색 등으로 인하여 학자들의 성과를 손쉽게 검증할 수 있게 되었다. 그리고 한국연구업적통합정보 등의 포털이 마련되어 정량적 평가의 검증이 한층 쉬워졌다. 이에 따라 정성적 평가 대비 정량적 평가가 지속적으로 선택되는 잠금 효과가 발생하였다.

 

나가며

1990년대부터 연구 업적 평가의 필요성이 증대함에 따라 정량 분석이 주된 평가 방법으로 자리 잡았고, 이때 그 기준이 SCI급 논문이 되었다. 이러한 정량적 평가가 많은 한계를 지니고 있지만, 최근까지도 대학사회에서는 어쩔 수 없다는 분위기가 존재한다.[16] 먼저 어쨌든 업적의 수량이 중요하다는 생각이 널리 받아들어지고 있다. 다음으로는 대학 외부에서도 충분히 수긍할 수 있는 객관적 지표가 제시되어야한다는 점이고, 또 질적 평가를 객관적으로 계량화하지 않으면 공정하지 않다는 생각이 널리 받아들여지고 있었기 때문이다. 이는 한국은 학문 분야가 세분화되어 있지만, 이렇게 세분화되어 있는 분야마다 적절한 평가를 할 인원이 충분하지 않고, 또 연구 과제를 선정하거나, 임용 과정에 대한 낮은 신뢰도를 갖고 있었기 때문이라고 짐작된다. 이러한 짐작은 추후 연구를 통해 확인할 필요가 있다.


 

읽을거리

 김종립-1앨프리드 크로스비, 김병화 역, <수량화혁명>, 심산, 2005

미국의 역사학자 앨프리드 크로스비가 저술한 책이다. 크로스비는 유럽의 성공적 근대화와 산업화에 있어 질적 세계관에서 양적 세계관으로의 전환이 큰 역할을 했다고 주장한다. 측정이 어려웠던 감각을 계량화하여 중세의 도덕과 가치가 지녔던 시간과 공간의 질적 차이를 제거하였다. 이런 변화는 수학에 그치지 않고 천문학, 군사학, 문화, 예술 전반에 이어져 유럽인들의 사고방식을 새롭게 만들었다고 주장한다. 폭발적으로 증가하는 논문의 양으로만 우리의 연구성과를 평가할 수 있는 것일까? 우리에게는 두 가지 길이 있다. 피어 리뷰에 기반한 주관적인 질적측정 체계를 공고화할 수도 있고 양적 측정 체계를 더욱 정교화 할 수도 있다. 수량화 혁명은 질적 세계관에서양적 세계관으로 넘어 가며 얻은 장점과 그로 인한 한계를 이해하는데 큰 도움을 준다.


 

[1] 김기덕 (2009), 「한국학술지의 전개 방향과 역사와 현실」, 『역사와현실』 71호, 한국역사연구회.

[2] 조성택 (2013), 「대학교수 연구업적평가의 문제점- 인문사회 분야를 중심으로」, 『역사비평』 8월호, 역사비평사.

[3] 경향신문(1980.10.2) 「과학한국 건설 획기적 정책—고급두뇌 대량 해외연수키로」 국제적으로 과학기술수준의 비교수단이 되고 있는 과학논문인용(SCI 73년판)을 보면 우리나라는 남북한을 통틀어 논문 수(국제수준급)는 3백 편으로 세계 71위에 그치고 있는 실정. 79년도 우리나라 논문 수 3백 편을 지난 72년도 일본의 1만4천여 편과 비교해보면 얼마나 뒤떨어져 있는가를 쉽사리 짐작할 수 있는 일이다.

[4] 대통령자문교육개혁위원회 (1995), 『세계화·정보화 시대를 주도하는 신교육체제 수립을 위한 교육개혁 방안』, 서울: 교육개혁위원회.

[5] 한국대학교육협의회 (2002), 『한국대학교육협의회 20년사』, 서울: 한국대학교육협의회.

[6] 민철구, 우제창, 송완흡 (2003), 『대학의 Academic Capitalism 추세와 발전 방향』, 과학기술정책연구원.

[7] BK21기획단 (2006), 『2단계 BK21 사업 기본계획』, 교육인적자원부.

[8] 같은 책.

[9] 주요 대학 업적 평가 기준 만든 시기 및 어느 시점에서의 업적 평가 대학 수 등을 파악할 필요 있음

[10] 이현청 (2001), “대학 변화와 교수 업적 평가”, 『대학교육』 110호, 한국대학교육협의회; 박남기(2006), 『대학별 교수업적평가 현황 분석 및 교수업적 평가 모형 개발』, 교육인적자원부.

[11] 이현청 (2001), 「대학 변화와 교수 업적 평가」, 『대학교육』 110호, 한국대학교육협의회.

[12] 김종서 (2002), 『교수 계약제, 연봉제 Q&A』, 미출간 문서.

[13] 교육부 학술진흥과(2013), 『학술지 평가 및 지원제도 개선 방안 마련을 위한 공청회』, 교육부.

[14] Paola, Galimberti (2010), “Research Assessment in the Humanities: Problems and Challenges In 9th European Evaluation Society International Conference”, Prague (Czech Republic), 6-8 October.

[15] 황석원 (2006), 『SCI와 연구개발 성과평가』, 과학기술정책연구원.

[16] 조성택, 위의 글.

 

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중

WordPress.com 제공.

위로 ↑

%d 블로거가 이것을 좋아합니다: