한 인턴이 기록한 AI 만들기의 뒤켠

익명의 기고자

behind.making.ai@gmail.com

시작하며

나는 경계에 있는 사람, 경계인(人)이다. 어렸을 때부터 컴퓨터공학을 재밌어했고, 잘하기도 했다. 하지만 고3부터는 관심이 전부 과학기술학으로 쏠렸다. 아마 고등학교 시절 정체성의 변화 때문일 것이다. 이공계 여성으로서 소수자성을 느끼고, 여러 사회운동을 접했다. 기술보다는 사회가 더 중요한 문제로 와 닿았다. 컴퓨터공학과에는 컴퓨터라면 눈이 반짝이는 아이들이 많았다. 유튜브에서도 코딩 관련 채널을 구독하는 아이들이었다. 반면 내 눈은 사회 이슈에 번뜩였다. 내 유튜브에는 닷페이스 같은 뉴미디어 언론이 등장했다. 이도 아니고 저도 아닌 정체성은 대학 수강 목록에도 드러났다. 컴퓨터공학 수업 반, 과학기술학 수업 반. 가끔은 어떠한 전문성도 쌓지 못한 것 같았다. 이력서에 ‘나는 이걸 할 줄 안다’라고 자신있게 쓸 수 있는 무언가도 없었다. 하지만 한편으로는 ‘경계인(人)으로서의 나’만 할 수 있는 일도 있을 것이라 생각했다.

이 글은 내가 모 회사의 AI 관련 부서에서 인턴으로 일하면서 한 고민을 정리한 글이다. 인턴을 하며 아주 소중한 경험들을 쌓을 수 있었다. 회사 생활도 정말 만족하며 즐겼다. 회사 사람들은 누구든 함께 일하고 싶을만한 사람들이었고, 그들을 바라보며 많은 걸 배웠다. 그만큼 좋은 회사였다. 하지만 좋은 회사라고 비판할 점이 없는 것은 아니다. 이 회사만의 문제는 아닐 것 같은 AI 산업의 모습을 보고 경험했다. 사실 AI 산업을 비판하는 사회과학 연구는 이미 많다. 하지만 현장의 AI 개발자들은 이런 비판을 현실을 모르고 하는 지적으로 여기기도 한다. 나는 그 사이에서 AI 산업을 보고 서술하고 싶었다. 직접 AI를 만드는 주체이면서도 AI와 사회의 상호작용에 대해 말할 수 있는 상황이 흔하지 않다고 생각했다. 사회적 맥락을 고려하면서 현장에서 마주하는 수많은 작은 고민과 선택에 대해 말하고 싶었다.

그래서 모든 것을 적었다. 연구자에게는 논리를 탄탄하게 쌓아서 설득력 있고 반박하기 어려운 논문을 쓰는 것이 중요하겠지만, 나에게는 잠재력을 가진 생각을 빠짐없이 기록하는 것이 더 중요했다. 나의 경험이 일반적인지 모르겠고 이렇다 할 근거가 충분한지 잘 모르겠을 수 있다. 하지만 그 미묘함을 그대로 담고 싶었다. 하나로 모이지 않은 생각도 담고자 했다. 같은 서술을 보고 누군가는 별 의미를 느끼지 못하고 넘기지만, 누군가는 크게 공감하며 더 큰 생각의 재료로 쓸 수도 있을 것 같았다. 글이 다소 난잡해도 글쓴이가 그 내용을 버리지 못한 이유를 떠올려주길 바란다. (일부 사실은 익명성 보장과 회사 보안을 위해 의도를 해치지 않는 선에서 바꾸어 서술하였다.)

입사

인턴을 해야겠다고 마음먹었다. 아는 것도 없고 할 줄 아는 것도 없는 거 같지만 그냥 어디든 가봐야겠다 싶었다. 연구실 밖에서 제품과 서비스로 실질적인 변화를 만드는 모습을 보고 싶었다. 산업계에 대한 막연한 기대를 그냥 둘 수는 없었다. 쓴맛을 보고 환상을 깨버리든, 단맛을 보고 갈 길을 정하든 해야 했다. 때마침 SNS에서 인턴 채용 홍보를 보았다. 순식간에 지원하고 입사했다.

아직 AI 분야의 지식과 내공이 부족한 나는 AI 모델을 만들 수 없었다. 대신 내가 할 줄 아는 건 데이터 관련 일이었다. AI 회사에게 데이터는 AI 모델과 양대 산맥을 이룰 만큼 중요했고, 사람들도 왜 모델만큼 데이터가 중요한지에 대해 강조했다. 하지만 AI 모델을 만드는 개발자들은 AI 모델에 대한 전문 지식과 경험이 충분히 많은 고학력 고연봉의 경력직 직원이었던 반면 데이터를 다루는 사람들은 비교적 많은 지식과 경력을 갖지 않아도 되는 더 낮은 연봉의 직원이었다. 이렇게 된 데에는 여러 가지 이유가 있을 것이다. 데이터는 결국 어떤 분야(domain)의, 어떤 내용의 데이터냐가 필요한 전문성을 크게 바꿔놓는다. 게다가 데이터에 대한 ‘전문성’을 정의하기도, 검증하기도 어렵다. 하지만 우연인지 필연인지, AI 모델 개발자는 대부분 공대 배경을 가졌고 데이터 개발자는 어느 정도 ‘문과 배경’을 가진 경우가 많았다. (데이터를 다루는 사람들은 회사마다 다른 이름으로 불리는데, 편의상 데이터 개발자라고 부르도록 하겠다.) 데이터 개발자가 AI 모델 개발자보다 불안정한 직군인 것은 문·이과 차이라고만 볼 수는 없지만 또 전혀 관련 없다고 말할 수는 없는, 모두가 체감하는 경향이었다. 아무튼 나는 데이터와 관련된 일을 하는 사람으로서 함께 AI를 만들게 되었다.

‘AI’라는 단어

회사 안에서 소통을 위한 대화를 할 때는 ‘AI’라는 단어를 거의 쓰지 않았다. 대신 ‘모델’, ‘학습’, ‘데이터’, ‘GPU’, ‘어노테이션’ 같은 구체적인 단어를 말했다. ‘AI’가 등장하는 맥락은 영업을 위해 외부와 소통해야 하는 상황, 홈페이지에 쓰는 회사 소개 등 비전문가와 소통하는 상황이었다. Crawford는 ‘AI’라는 단어가 연구자에 의해서 쓰이기보다는 펀딩 요청, 언론의 관심을 받으려고 할 때 등 마케팅에 쓰인다고 지적한다.¹ ‘AI’는 그만큼 상징적이고, 기술적 의미가 작고, 경계가 명확하지 않은 개념이다.

이 글에서는 산업계에서 개념을 정확히 가리키기 위해 어떤 단어를 썼는지 그 전반적인 느낌을 전달하기 위해 기술적인 단어들을 살려서 서술한다. 전달의 편의를 위해서 언어 AI를 주된 예시로 들겠다. 한국어 문장을 영어 문장으로 번역하는 태스크(task)를 해야 한다고 생각해보자. 우리는 머신러닝(machine learning, 기계학습)이라는 기술을 이용한다. 머신러닝 개발자는 어떤 한국어 문장에 어떤 계산을 거쳐야 적절한 영어 문장이 나오는지 연구한다. 어려운 태스크일수록 아주 복잡한 계산을 거쳐야 한다. 이 계산을 ‘모델(model)’이라고 부른다. 모델은 여러 번역 예시를 보면서 어떤 계산을 할지 수정한다. (흥미롭게도, 머신러닝에서 모델은 객체로 서술되기도, 주체로 서술되기도 한다.) 모델을 거쳐서, 즉 일련의 계산을 거쳐서 나온 영어 문장은 점점 정답에 가까워진다. 어떤 한국어 문장을 어떤 영어 문장으로 번역해야 하는지 ‘배운(learning)’ 것이다. 여기에서 모델에게 먹여준 한국어 문장과 모델이 뱉어낸 영어 문장은 모두 데이터(data)이다. 특히 학습과 평가를 위해서는 어떤 한국어 문장에 어떤 영어 문장을 뱉는 것이 맞는지 답을 붙여줘야 하는데, 이걸 어노테이션(annotation) 또는 데이터 레이블링(data labeling)이라고 한다. 주어진 태스크를 잘하는 모델은 ‘성능(performance)’이 높다고 한다.

구체적인 정의를 가진 단어들과 다르게 ‘AI’라는 단어는 명확하지 않고 상징적이다. 머신러닝 모델을 가리키기도 하고, 더 복잡한 머신러닝인 딥러닝 모델만 가리키기도 하고, 위에서 서술한 시스템 전체를 가리키기도 한다. 다만 ‘AI’는 항상 최첨단 기술, 복잡하고 어렵지만 뛰어난 기술을 상징한다.

추출 산업

AI는 ‘인간적이지 않은 무언가’를 대표하기도 한다. 하지만 역설적으로 AI는 인간적 요소가 극도로 응축된 결과이다. 먼저, AI 모델이 어떤 태스크를 수행할지를 인간이 정의한다. 어떻게 성능을 평가할지도 인간이 정한다. 이 태스크에서 맞는 ‘답’이 무엇인지도 인간이 정한다. 모델에 입력할 데이터도 인간이 만들고, 모델의 구조도 인간이 설계한다.

나는 이 중에서 데이터를 만드는 사람이었다. 예를 들어 댓글에서 기쁨을 탐지하는 AI 모델을 만들어야된다고 하자. 그럼 먼저 이 질문이 떠오른다. 기쁨은 정확히 무엇인가? “너무 좋아요!”라는 댓글에서 기쁨이 많이 탐지된다고 정의하는 건 쉽다. 그럼 “잘 읽었습니다.”는 기쁨인가? “잘 읽었습니다.”와 “공감돼요…” 두 댓글 중 무엇이 더 기쁘다고 봐야 하는가? 즐거움도 기쁨이라고 볼 수 있는가? 학습과 평가에 쓸 데이터를 직접 만들어야 한다면, 우리는 기쁨이라는 감정을 아주 작은 차이와 경계까지 세세하게 정의해야 한다. 그러니까 나는 수많은 예시를 보면서 무엇이 기쁨이고 무엇이 아닌지 정의하는 사람이었다.

‘지도 학습’이라는 방법으로 모델을 학습한다면 답이 붙은 학습 데이터가 필요하다. 앞에서 데이터에 답을 붙이는 과정을 어노테이션(annotation)이라고 불렀다. 어노테이션이 된 데이터는 수천 개 단위로, 경우에 따라 몇만 개, 몇십만 개까지 필요하기도 하다. 하지만, 연구자나 개발자의 노동력은 비싸기 때문에, 일은 값싼 노동력을 제공하는 외주 업체에 맡겨졌다. 이때 나는 어떤 기준으로 기쁨이라는 답을 대응시켜야 할지 세세한 기준을 모두 서술해서 하나의 가이드라인(guideline)으로 전달했다. 그럼 외부 업체 노동자는 이 가이드라인에 따라 몇 초에 하나씩 데이터를 만들었다. 이 노동자들은 어노테이터(annotator)로 불린다. AI 모델은 이렇게 만들어진 데이터를 학습하여 기쁨을 탐지할 줄 아는 비인간이 되었다.

이 과정을 떠올리면, AI는 인간의 어떤 요소를 응축한 모습이라는 생각이 든다. 기쁨이라는 인간이 느끼는 감정의 모든 면을 탐색하고, 정의하고, 아주 많은 예시에 대해 노동자들이 판단을 하도록 해서 그 판단의 노동을 하나의 모델로 응축한 모습. 혐오 표현을 탐지하는 AI는 혐오 표현이라는 개념을, 대화형 챗봇은 가장 이상적인 대화의 모습을 응축할 것이다. Crawford는 AI가 지구의 에너지와 광물 자원, 노동력, 그리고 데이터를 대규모로 추출하는 ‘추출 산업(extractive industry)’이라고 말한다.² 나는 어떻게 노동력이 추출되어 AI 모델로 응축되었는지 보았다. 그리고 이 생태계에서 데이터가 어떻게 대규모로 추출되어 다시 생산되고 또 추출되는지 보았다. 그리고 비록 나는 보지 못했지만, 저 멀리 어딘가에선 어떤 에너지와 광물 자원의 추출로 생산된 GPU(연산 장치의 한 종류)들이 우리 모델의 계산을 해내고 있었다.

이 추출과 응축은 우리를 어떤 사회로 이끌까. Crawford는 AI가 만들어질 때 “저항할 힘이 가장 약한 사람들에게 정보와 자원이 더 많이 추출된다”고 말한다.³ 다시 생각해보면, AI를 만드는 데 쓰일 노동, 정보, 자원은 돈이 필요한 사람, 정보가 추출되는 체계를 잘 모르는 사람에게서 더 많이 추출되었다. AI는 우리 사회를 취약한 사람의 노동, 취약한 사람의 정보, 취약한 사람의 자원이 더 많이 추출되는 사회로 이끌었다. 그리고 아마 AI 산업이 커질수록 이 격차는 더 커질 것이다. AI는 인간과 별개의 기술로서 무에서 유로 창조된 기계가 아니라, 취약한 인간의 것들을 응축하며 발전한 기계이니 말이다.

고스트워크(Ghost Work)

사실 ‘완성’된 AI 서비스를 사용하는 사람들 대부분은 AI를 만들기 위해 어노테이터들이 수많은 데이터에 직접 답을 달았다는 점을 상상하지 못할 것이다. AI를 만든 사람들은 어려운 첨단 기술을 다루는 연구자와 개발자로 대표된다. ChatGPT를 사용하는 사람들은 ChatGPT가 아주 영리한 답변을 했을 때 이런 연구자와 개발자를 떠올리며 ‘AI가 똑똑하네’ 또는 ‘Open AI가 AI를 잘 만들었네’라고 생각하지, ‘비슷한 질문에 대해서 수많은 비슷한 답변을 작성한 노동자들이 글을 잘 썼네’ 라고 생각하지 않는다. 이들의 노동은 ‘AI가 한 것’으로 대표된다. Gray와 Suri는 이렇게 AI나 자동화 시스템이 한 것으로 대표되는 노동이 ‘겉으로 잘 드러나지 않으며, 사실 의도적으로 감춰지는 경우가 많다’는 의미에서 고스트워크(ghost work)라는 이름을 붙였다.⁴

어노테이터 주변에는 또 다른 사람들이 특수한 노동의 체제를 구성하고 있었다. 우리 회사가 외주를 맡긴 업체는 우리 프로젝트에 ‘매니저’를 배정했다. 데이터를 만드는 모든 프로젝트가 이렇게 매니저를 배정받는 듯했다. 그럼 의뢰자는 어노테이터들과 직접 소통하지 않고 주로 이분을 통해 간접적으로 소통해야 했다. 매니저는 어노테이터가 가이드라인을 제대로 이해했는지 확인하고, 작업을 마쳐야 하는 일정을 확인하며 필요할 때는 재촉하고, 결과물에 틀린 것이 많지는 않은지 퀄리티를 확인하는 등 어노테이터를 ‘관리’했다. 나는 의뢰한 쪽 사람으로서 결과물을 검토했는데, 그 과정에서 매니저와는 활발하게 소통한 반면 어노테이터와는 직접 소통한 적이 한 번도 없었다. 어노테이터가 의뢰자에게 질문이 있으면 매니저를 통해서 전달했고, 우리도 매니저를 통해서 답변을 전달했다. 언뜻 보면 소통의 단계가 하나 늘어나서 비효율적인 듯한 이 구조가 왜 이 산업에 정착하게 되었을지 생각해볼 만하다. 직접 만나지 않고 매니저를 통해 결과물만 받을 때, 어노테이터는 사람이 아니라 어떤 일을 해내는 노동력이 되었다. 그들의 노동은 회사 밖에서 일어나는 일이었고, 그 노동의 고통이나 그들의 노동 환경은 자연스럽게 전달되지 않았다. 두 세계를 분리하는 것은 노동의 실상을 외면하고 노동의 결과만 빠르게 얻을 수 있는 간편한 방법이었다. 한편 사람들은 이 구조를 꽤나 익숙하게 여겼다. 모든 외주 산업이 이런 식이라는 ‘현실적인’ 태도였다.

나는 어노테이터로서 근로비를 받으면서 학교 연구실과 협업한 경험이 있는데, 회사에서 경험한 이 시스템은 내가 연구실에서 경험한 시스템과 매우 대비되었다. 연구실 근로 당시에 나는 연구 조교로 고용되어서 바로 연구자들과 미팅을 하고 소통을 했다. 가이드라인에서 안내하지 않은 애매한 예시나 예외가 있으면 잘 기록해두고 전달했다. 어노테이션을 하면서 어려운 점이나 가이드라인이 의도와 다르게 작동하는 것 같을 때 가이드라인에 대한 피드백을 전달하기도 했다. 어노테이터는 데이터를 볼수록 데이터를 모은 방식이 가져온 편향이나 데이터의 독특한 특징을 알아차릴 수 있다. 앞선 예시처럼 기사 댓글에서 기쁨을 탐지하는 태스크가 있다고 하자. 어노테이터는 수많은 데이터를 보면서 사회 주제의 기사에서는 기쁨이 탐지되는 데이터가 거의 없지만, 연예 주제의 기사에서는 절반이나 기쁨이 탐지된다는 특징을 발견할 수 있다. 이런 통찰은 데이터를 모으는 방식을 수정하는 식으로 프로젝트에 도움이 될 수 있다. 그러니까 사회보다는 연예 기사 댓글을 더 많이 포함하도록 데이터 수집 방식을 수정해서 부족한 기쁨 데이터를 더 많이 확보하는 식이다. 다른 예시를 들어보자. 어노테이터가 많은 데이터를 살펴본 뒤, 기쁘지 않음이라고 표시한 데이터의 특징이 둘로 근명하게 나뉜다는 것을 인식한 것이다. 그러니까, 어노테이션 가이드를 만든 사람은 데이터가 기쁨, 기쁘지 않음으로 분명히 나뉠 거라 예상했지만, 알고보니 사실과 정보를 다루는 댓글이 감정이 있지만 기쁘지 않은 댓글과 많이 달랐던 것이다. 어노테이터는 데이터를 기쁨, 기쁨이 아닌 감정, 감정 없음으로 나누는 게 더 적절해 보인다고 분류 체계의 보완을 건의할 수 있다. 그럼 데이터를 더 적절히 분류하는 체계가 만들어질 수도 있다. 나는 똑같은 어노테이터 역할이었지만 회사의 어노테이터와 다르게 어노테이션 과정에서 생긴 통찰을 직접 전달할 수 있었다. 기계처럼 입력한 과제를 반복적으로 수행만 하는 게 아니라 연구에 일부 일조하고 있다는 성취감과 재미를 느낄 수 있었다.

반면, 회사에서 외주로 진행된 어노테이션에서는 많은 통찰이 버려졌다. 나도 데이터를 볼수록 이런 수정을 거듭할 수 있었던 사람으로서 어노테이터의 통찰이 가진 가치를 잘 알았다. 하지만 외주 업체의 어노테이터는 통찰을 전달할 수 없었다. 기계적으로 요구한 일만 해내는 것 이상의 작업을 기대하지 않기에 어노테이터가 어떠한 통찰을 가질 이유가 없는 것이다. 가이드라인을 따르는 것 이상으로 뻗어나가는 생각을 갖는 것은, 그리고 매니저에게 굳이 의견이나 질문을 전달하는 것은 오히려 작업 속도를 늦추는 방해 요소다. 결국 그를 통해서 오가는 소통은, 질문하지 않으면 정확한 작업을 할 수 없는, 그래서 재작업을 요청받거나 보수에 영향을 줄 수 있는 아주 필수적인 질문뿐이었다. 외주 업체도 우리 회사도 빠른 어노테이션과 다량의 데이터 생산이라는 명목하에 이 시스템에서 버려지는 가치를 눈감았다. 어노테이터가 마주할 효능감 부족이나 동기의 상실도 중요하지 않았다. 어노테이터는 값싼 노동력일 뿐이었다.

기업은 사회적 가치를 추구할 수 있을까

이제 빅테크나 스타트업은 홈페이지만 보면 사회에 없어서는 안 될 이로운 단체처럼 보인다. 이익을 추구하는 모습보다는 사회적 가치를 중요시하는 모습으로 브랜딩(branding)하기 때문이다. 기업에게 이 둘은 꽤나 긴밀하게 엮여 있기 때문에 아주 틀린 이야기는 아니다. 나 또한 이제 기업이 사회적 책임과 ESG를 중요시한다는 말을 익히 들어서 과연 어디까지가 가면일까 궁금했다.

많은 사회적 가치는 기업에게 가까운 손익보다 장기적인 손익으로 이어진다. 적극적으로 차별을 경계하는 문화, 구성원의 다양성 등은 당장의 손익으로 직결되지 않고, 시간이 지나야 잔잔하게 빛을 발한다. 하지만 AI의 세계는 변화가 빨랐다. 우리 회사에서도 장기적인 고려보다 당장 AI 모델의 성능을 높이는 것이 중요했다. 사회적 가치는 정말 큰 리스크와 연결될 때 비로소 중요해졌다. 유저의 반발이 크게 예상되거나 법적으로, 정책적으로 문제가 될 소지가 있을 때 등이다. 하지만 유저는 AI 개발의 단계를 살필 만큼 기업을 가까이 감시하고 있지 않았고 법과 정책은 빠른 속도로 변한 AI를 따라오지 못했다.

일을 하면서 이 방향이 사회적 가치를 훼손하는 것은 아닌지 걱정이 든 순간들이 있었다. 자세히 말하긴 어려워서 똑같이 AI 업계에서 일하는 다른 사람들의 이야기로 대신 설명해보려고 한다. 일을 하면서 이런 작은 갈등이 스치는 순간은 누구에게나 있을 테니 말이다. ChatGPT를 만든 회사 OpenAI는 소셜 미디어 댓글, 블로그 글, 위키백과 등 인터넷에 있는 텍스트를 허가 없이 학습 데이터로 사용하여 저작권과 사생활(privacy)을 침해했다고 소송을 당했다.⁵ 그 외에도 많은 소송이 OpenAI가 적법하지 않은 방식으로 데이터를 사용했다고 주장한다.^{6, 7} 이렇듯 기업이 대형 언어 모델의 학습을 위해 인터넷의 글을 무단으로 학습해서 ChatGPT 같은 AI를 만든다고 추정되고 있다. 추정이 사실이라고 하면, OpenAI의 구성원들은 무단으로 저작권과 사생활을 침해하는 것에 동의했을까? 일에 관여된 사람들의 머릿속에 걱정이 스치지 않았을까? 아마 걱정이 스쳤지만 AI 모델 성능 높이기를 방해하는, 회사의 이익에 반하는 의견을 내기는 어려웠을 것이다. 만약 의견을 표시했다면, 이것이 어떻게 미래에 법적인 문제가 되거나 브랜드에 위협이 될 수 있는지 설득하는 방식이었을 것이다. 나의 경험도 비슷했다. 머릿속에 불확실한 걱정이 든 순간들이 있었다. 하지만 명백하지도 않은 사회적 가치 훼손은 법적, 정책적 리스크가 적을뿐더러, 지금 AI에 대한 법적, 정책적 기반은 유독 부족해서 회사가 전혀 고민할 이유가 없다는 생각이 들었다. 회사는 빠르게 AI 모델의 성능을 높이는 것이 중요했다. 나는 내 생각들이 나중에 연구해 볼 만한 주제라고 속으로 생각하며 하던 일을 계속했다.

문화

걱정을 공유하지 못한 것이 회사의 이해관계 때문만은 아니었다. 일적으로 의미가 없어도 사담을 나눌 때 일에 대한 잡다하고 다양한 생각을 나눌 수도 있을 것이다. 그중 일과 엮인 사회적 가치에 대한 고민이 포함될 수도 있었다. 다만 이런 고민을 말하기는 어려운 분위기였다. 누군가는 일의 사회적 가치에 대한 잡담이, 그런 잡담을 할 수 있는 환경이 그렇게 중요하냐고 물을 수도 있다. 의미 있는 말이라면 회의에서 꺼내도 되지 않냐고 물을 수 있다. 하지만 잡담은 의미 없는 다양한 말 속에서 의미 있는 말을 발굴하게 하는 원천이다. 흐릿하게 스쳐 지나가는 생각도 함께 이야기하며 뚜렷해지는 법이다. 내가 이 글에서 적은 주제들은 회사에 다니며 머리 한구석에 박혀있던 흐릿한 생각들이었다. 하지만 회사에서는 입 밖으로 꺼내거나 누군가와 되짚어볼 일이 없었다. 나중에 이 글을 쓰고 싶어졌던 이유이기도 하다. 글을 써 내려가며 비로소 그 흐릿한 생각들이 정확히 무엇이었는지, 정말 의미가 있는 것이었는지 아니었는지 알 수 있었다. 쓰면서 생각이 타고 타고 더 큰 통찰로 이어지는 경우도 많았다. 회사에서 이런 주제를 편하게 이야기할 수 있었다면 글을 쓴 다음에야 얻은 통찰을 당시의 잡담에서 얻을 수도 있지 않았을까.

나는 회사에서 내가 공부하고 추구하는 사회적 가치, 그것과 관련된 관심사, 나의 소수자성 등에 대해서도 말하지 않았다. ‘나’라는 사람에서 딱 그 부분만 제외한 사람이 되어 살았다. 회사의 문화가 배제적인 것은 아니었다. 회사는 수평적인 문화를 추구하는 곳이었다. 사람들은 친절했고, 혐오적인 말을 하지도 않았다. 하지만 특별히 포용적이지도 않아서 결국 조심하게 되는 문화였다. 우리 학교 공대 전체를 하나의 문화로 표현하긴 어렵지만, 나는 공대에서 꽤나 자주 접할 수 있었던 신자유주의적인 문화를 다시 볼 수 있었다. ‘문과적’인 것은 미묘하게 더 가치가 떨어지는 것으로, ‘인문학’은 미묘하게 쓸모없는 것으로 여겨졌다. 소수자나 차별에 대해서는 거의 말하지 않았고 주로 경제와 관련된 사회 이슈에 대해 말했다. 인권 관련 사회 이슈가 있는 날엔 친구와 한창 그 얘기를 나누다가도 회사에선 이야기 꺼내는 걸 자제했다. 최근 문화생활을 공유할 때 나는 내가 본 여성서사 영화와 콘텐츠를 이야기했지만, 많은 남성 동료들은 남초 유튜브 채널에서 많이 언급되던 콘텐츠와 게임을 말했다. 한 유명 여성서사 영화를 주제로 대화하게 되었을 때, 친구들과는 영화가 가지는 의미와 공감된 부분에 대해 대화했지만 회사에서는 누군가 영화가 ‘PC(politically correct)하다’고 말해서 조용히 말을 아끼게 되었다. 소수자 인권을 ‘민감한 주제’로 치부하는 분위기 때문에 직접적인 의견 표현은 누구도 하지 않았지만, 간접적으로 드러나는 가치관, 관심사, 문화생활의 차이는 나의 한 부분을 위축시키기에 충분했다. 이런 상황 속에서 인턴이 사회적 가치 측면에서 일에 관해 이야기하는 것은 어려운 일이었다.

같은 부서가 아니어서 평소에 일을 함께하지는 않았지만, 이런 대화를 꺼내기 쉬운 사람들도 있었다. 사회 문제와 관련이 깊다고 들은 책을 언급했다든가, 사회적 차별에 대한 이해가 드러나는 말을 어쩌다 했다든가 한 사람들이었다. 주제를 직접적으로 꺼내지 않아도 어떤 사회적 가치에 얼마나 적극적으로 관심을 가지고 있는지는 함께한 시간이 길어질수록 쉽게 알아챌 수 있었다. 하는 일이 다르기 때문에 자세한 대화로 이어지지는 않았지만, 포용성이 느껴지는 사람과 둘이 대화할 상황이 생기면 조금씩 예민한 주제를 말할 수 있었다. 물론 적극적인 관심은 없어도 어떤 사회적 가치가 중요하다고 공감하는 사람은 아주 많았을 거다. 아마 대부분 그랬을 거다. 하지만 그 공감이 표면 위로 공유되지 않는 상황에서 이 사람이 내 생각에 적대적일 수 있는 확률을 감수하면서까지 말하고 싶은 주제를 꺼낼 이유는 없었다. ‘민감한 주제’를 꺼낼 수 있는 분위기는 그렇게 깨지기는 쉽고 만들어지기는 어려운 것이었다. 공격적이진 않지만, 그렇다고 굳이 포용적이라고 말할 수 없는 문화는 결국 ‘취약한 나’를 지우는 문화였다.

꼭 말하지 못한 무엇을 살리고 수면 위로 끌어내는 것이 전부는 아니다. 문화와 정체성은 우리가 하는 일 속 선택 하나하나에 스며든다. 앞서 AI를 만드는 사람은 ‘기쁨’을 정의해야 한다고 말했다. 그런데 정의해야 하는 개념이 ‘기쁨’이 아니라 사회적, 정치적 의미를 갖는 개념이 되면 고민은 깊어질 것이다. 예를 들어 ‘차별’이 무엇인지 정의하는 것은 어떤 집단의 차별을 부정하거나 경시하는 메시지를 담을 수 있다. 어떤 문장이 사실인지 아닌지 판단하는 것은 정치적, 역사적, 과학적으로 큰 의미를 내포할 수 있다. 사람마다, 학자마다, 문화마다 다른 기준을 갖고 있어도 데이터와 모델을 만드는 사람은 그나마 타당하고 보편적이라고 생각하는 하나의 기준을 택해야 한다. 하지만 결국 이들이 하나의 기준을 택하는 사람들이기 때문에 선택의 결과에는 이 사람들이 녹아든다. 우리 회사가 만든 AI에도 우리의 정체성이 녹아들었을 것이다. 내가 회사에서 조금 더 신자유주의적인 공대 문화의 나로 존재하고, 사회적 가치에 관심이 많은 소수자로서의 생각을 억제했던 게 우리가 만든 AI 모델에도 반영되었을 것이다.

자본과 권력

Crawford는 AI를 ‘권력의 등록부(registry of power)’라고 표현한다.⁸ 그리고 이렇게 설명한다. “AI를 대규모로 구축하는 데 필요한 자본과 AI 시스템을 최적화하는 자본을 보는 방법은 결국 기존의 지배적인 이익에 부합하도록 설계되었다.” AI 산업이 이토록 많은 투자를 받는 것은 수요가 많아서도 있지만, 무엇보다 ChatGPT 같은 거대 AI 모델을 만들기 위해서 어마어마한 양의 연산 장치가 필요하기 때문이다. 한 마디로 많은 투자를 받지 못하면 복잡한 과제를 해내는 AI 모델을 만들 수가 없다. 게다가 AI는 소수자를 과소 대표(underrepresent)하고 다수자 집단을 기준으로 최적화된다. 흑인보다 백인의 얼굴을 더 잘 인식하고,⁹ 의사는 남성, 간호사는 여성으로 번역하고,¹⁰ 무슬림을 테러리스트로 암시하는¹¹ 등의 예시는 이미 많이 보고되어 있다. 거대 자본에 의해서 만들어지고, 권력을 가진 집단을 기준으로 최적화되는 AI는 권력이 사용되는 곳이자 권력이 표현되는 곳이다. Crawford의 표현처럼, 우리 시대에 AI는 가장 명백한 ‘권력의 등록부’가 되었다.

몇 달 전, OpenAI의 연구자 한 분이 우리 학교에서 강연을 하셨다. 그분은 미래에 훨씬 더 많은 연산으로 훨씬 더 커지고 성능이 좋아진 AI 모델에 대해 말했다. 그런데 나는 더 좋은 성능의 AI가 기대되기보다 더 많은 연산장치, 더 많은 탄소배출, 더 많은 자본, 더 커진 기업, 더 커진 권력 격차, 더 커진 불평등이 떠올랐다. 더 뛰어난 ChatGPT를 활용하는 모습보다 앞으로도 계속 한국어보다 영어를 더 잘하고, 한국어를 해도 묘하게 ‘영어스러운’ 번역투로 말하고, 한국 문화보다 미국 문화를 잘 대표하는 ChatGPT를 쓰는 미래가 그려졌다. 광물이 더 많이 추출돼서 GPU 같은 연산장치를 쉴 새 없이 만들고 데이터센터 크기가 커지는 모습이 그려졌다. OpenAI 같은 빅테크는 더 큰 힘을 손에 쥐고, 누구도 그만큼 막대한 자본을 들여 그들을 상대할 수 없는 상황이 그려졌다. 이 글이 기록한 AI, 자본과 권력으로 움직이는 시스템의 이면은 곧 해결될 과도기의 문제가 아니라 더 또렷해질 현상의 조짐일 듯하다.

다만 권력을 가진 자를 악당으로 단정하고 싶지는 않다. 내가 본 사람들은 누구도 권력을 가진 자나 가지지 못한 자로 분류할 수 없었기 때문이다. 누구나 어떤 면에서는 권력을 가졌고 어떤 면에서는 가지지 못했다. AI를 만드는 개발자들은 실무의 선택은 했지만 그들의 일의 범위는 상급직의 선택에 따라 정해졌다. 회사의 임원이라도 시장의 선택에 따라, 이익을 가장 많이 창출할 수 있는 AI 서비스를 개발했다. 여기에는 투자 회사 사람들이 또 투자자의 의견을 반영하기 위해 관여했다. 그런데 내막을 자세히 모르는 그 투자자들이 AI 개발을 설계했다고 보기도 어려웠다. 자본이 만드는 권력만 있는 것도 아니다. AI 모델에 내재된 사회적 차별의 대상, 즉 앞서 언급한 흑인, 여성, 무슬림 같은 소수자 집단 또한 권력의 반대편에 있다. 데이터를 만드는 노동자 집단은 또 다르고, 데이터 수집에 취약한 이들은 이 모든 집단에 걸치는 장노년층이나 청소년일 수도 있다. 누군가에게는 차별이 교차되고 누군가에게는 권력이 교차된다. 그러니 우리는 권력을 가진 허상의 악당에게 반성을 기대하기보다 시스템에 주목해야 한다. AI를 단편적인 악으로 보지 않고 자본과 권력이 움직이는 시스템으로 보아야 한다.

마무리하며

이 글은 AI라는 시스템의 이면을 한 사람의 시선에서 기록했다. AI에 대한 상징적 인식과 다르게 실제 회사 내부의 모습은 어떤지. AI 산업이 어떻게 인간이 만든 개념, 인간이 할 일을 추출하고 응축하는지. 추출되는 노동은 어떻게 감춰져 있는지. 더 가까이 들여다보면 어떤 모습이고 어떻게 착취적인지. 기업은 어떤 구조 때문에 사회적 가치를 추구하지 못하는지. 이것이 구성원의 문화와는 어떻게 엮여있는지. 그리고 AI가 왜 자본과 권력으로 움직이는 시스템인지.

처음에는 이 글이 의미 있는 시도일지 확신이 없었다. 같은 이야기를 AI 분야의 전문가나 AI 윤리 분야의 논문이 더 잘할 수 있는 건 아닐까 우려했다. 그러던 중 임소연 교수의 강연에서 우연히 접한 이지은과 임소연의 연구¹²는 이 글만이 가질 수 있는 의미가 무엇인지 명확히 설명해주었다. AI를 둘러싼 사회적 문제를 해결하기 위해서는 기술개발의 전 과정을 봐야 한다며 현장에 ‘위치지어진(situated)’ 주체가 특별한 잠재력을 가진다고 설명했다. ‘위치지어짐(situatedness)’은 인간이 보편적인 하나의 주체가 아니라 특정한 상황 속에 있는 주체로서 가지는 성질을 말한다.¹³ 한 마디로, AI 분야의 전문가나 AI 윤리 분야의 논문과는 다르게 컴퓨터공학과 과학기술학 사이에 있는 내 상황, 전문가나 경력직이 아닌 인턴이라는 상황이 만드는 특별한 관점이 있는 것이다. 나는 컴퓨터공학을 전공한 학생으로서 회사에 입사하였지만, 과학기술학을 전공한 학생이었기에 관찰한 것을 이론과 연결할 수 있었다. 학부생 때 어노테이터로 연구실에 고용됐었던 것도 AI 기술의 그 시점에 내가 학부생으로 존재했기 때문이고, 그래서 어노테이터를 관리하는 위치가 되어서도 다른 시각으로 체계를 바라볼 수 있었다. 그리고 업계에 오래 머무른 경력직이 아니라 대학에 있다 온 인턴이었기 때문에 약간은 외부인의 시각을 겸비해서 회사의 문화를 비판적으로 바라볼 수 있었다.

AI 산업을 비판하면서 나 또한 이 산업의 구성원으로 이 시스템이 만드는 불평등에 일조하고 있는 것은 아닌지 회의감이 들 때도 있었다. 그럴 때 큰 위로가 된 논문 속 한 마디를 소개하며 마무리하고 싶다. AI를 둘러싼 사회적 문제를 논할 때 보통은 외부의 전문가들이 윤리 가이드라인이나 정책을 만드는 등의 해결책이 언급된다. 하지만 이지은과 임소연은 AI 개발 과정에서 다양하게 위치지어진 주체에 주목했다. 추상적인 윤리 가이드라인을 제시하는 것보다, 다양하게 위치지어진 주체들이 “개발 과정에서 더 좋은 방향이 무엇일지 질문”하는 것 자체가 문제 해결의 동력이라는 것이다.¹⁴

이 모든 문제를 해결할 거창한 답이 있지는 않을 것이다. 각각의 자리에 있는 사람들이 더 나은 모습을 고민하며 만들어나갈 뿐이다. 이 글도 하나의 위치지어진 주체로서 ‘더 좋은 방향이 무엇일지’에 대한 질문을 함께 던지고, 다른 위치지어진 주체들이 또 다른 관점을 갖는 데 도움을 주기를 바란다. AI라는 시스템에 관여하고 있는 사람이든, 미래에 관여하기를 희망하며 지켜보는 사람이든, 그 바깥에서 AI와 상호작용하는 사람이든 그 특별한 위치와 배경이 만든 관점은 그만의 의미를 가질 것이다.

---

읽을거리

AI 지도책 – 세계의 부와 권력을 재편하는 인공지능의 실체

글 전반에서 인용한 책의 번역본이다. AI의 연산장치를 만들기 위한 광물 채취부터 시작해서 AI라는 시스템의 모든 부분을 살핀다. AI 속 권력과 정의 문제에 대해 폭넓은 통찰을 얻을 수 있다.

고스트워크: 모든 일과 직업의 모습이 바뀐다.

글에서 소개한 ‘고스트워크’라는 개념을 처음 정의한 책이다. AI가 만든 이 새로운 형태의 일이 어떻게 숨겨져 있는지, AI는 왜 본질적으로 고스트워크를 만들 수밖에 없는지, 고스트워크를 둘러싼 문제를 어떻게 해결할 수 있는지 설명한다.

---

References