원문: https://maraoz.com/2020/07/18/openai-gpt3/

Peter Thiel, Elon Musk, Reid Hoffman, Marc Benioff, Sam Altman 등이 후원하는 비영리 인공지능 연구기관 OpenAI은 세번째 언어 예측 모델(GPT-3)을 오픈소스로 공개했다. 언어 모델들은 컴퓨터가 주어진 문자열과 비슷한 길이와 문법 구조를 가진 문장을 무작위로 만들어낼 수 있게 한다.

GPT-3와 함께한 나의 초기 실험에서 bitcointalk.org 포럼에 올린 GPT-3가 만든 문장들이 그곳의 작성자들로부터 긍정적인 관심을 이끌어냈음을 목격했다. 그들은 이 시스템이 지능적이며(그리고/또는 빈정대며) 이것의 게시글에서 미묘한 패턴들이 발견되었다는 제안도 포함했다. GPT-3의 출력물들을 다른 게시판, 블로그, 소셜 미디어에 다시 올려도 비슷한 결과를 얻을 수 있으리라고 나는 생각한다.

이것의 이전 두 모델들(PTB와 OpenAI GPT-2)와 달리 OpenAI GPT-3은 마침내 다양한 커뮤니티에서 텍스트의 작성자가 취향을 가진 사람인 척하는데에 널리 사용될 것이고, 예측불가능하고 놀라운 효과들을 가져올 것이라고 나는 예상한다. 더 나아가 이것이 유능한 아마추어들 사이에서 이것과 유사한 모델들을 학습시키고, 다양한 목적(모의 뉴스, “연구된 저널리즘”, 광고, 정치, 프로파간다를 포함)에 적용하기 위한 창조적인 골드 러시를 촉발할 것이라고 나는 예상한다.

당신을 도와 주는 사람이 있는가?

나는 다양한 이유들로 내 실험을 위해 목표 환경으로 bitcointalk.org를 골랐다. 이곳은 다양한 종류의 작성자들과 게시글이 있는 유명한 포럼이다.

그래서 GPT-3이 공부하고 학습하기 위한 많은 게시글들이 있다. 이 포럼은 또 내가 좋아하지 않는 많은 사람들이 있다. 나는 그들이 새로운 작성자를 가질 가능성에 의해 비정상적으로 흥분하기를 기대한다. 나는 이 포럼을 여러해동안 봐왔다. 내가 답을 아는 많은 게시글들이 있는데, 그래서 나는 빠른 응답을 제공할 수 있었고, GPT-3이 얼마나 내 코멘트와 비슷하게 잘 할 수 있는지 측정할 수 있었다.

나는 5월에 GPT-3의 도움과 함께 내 이전 게시글에서 내가 쓴 단어와 구문을 바꿔가면서 매일마다 흥미로운 기술 토픽 하나를 게시했다. 나는 GPT-3이 강화한 게시글들이 잘 어울리도록 특별히 신경쓰지 않았다. 나는 GPT-3이 이전에 말했던 것을 보고 어떤 것을 내놓을지 흥미가 있었다. 아래 표는 결과 중 일부를 보여준다:

PTB처럼 GPT-3도 이 포럼에 이미 존재하는 밈에 대한 것이 대부분이고, 신선한 생각을 만들어내는 데 어려움을 겪으리라는 것이 나의 기대였다. 이 예측은 사실인 것 같다. 종종 포럼에서 최근 몇 년 간 봇에 의해 생성되는 밈이 매우 성공적이였기 때문에 이것은 놀랍지 않다.

그래도 GTP-3는 여전히 꾸준하게 발언으로 날 놀래켰기 때문에, 나는 이 시스템과 이것 같은 다른 시스템을 통해 개선될 여지가 있을 것이라고 기대하고 있다. 이것은 “AI”가 무엇을 가져올지에 대한 취향이고, “AI 혁명”이 이 정보 전쟁에 태울 연료를 많이 가지고 있을 것이라고 나는 상상한다.

내가 이 포럼에 직접 글을 썼을 때, 사람들은 내가 매우 빠르게 글을 쓸 수 있고/있거나, 매우 정확하고/하거나, 다른 사람과 같은 말을 하는 “봇”일거라고 자주 말했다. 아래 스크린샷은 GPT-3이 응답하는 여러 쓰레드의 답글들을 보여준다. 이 모든 것이 지난 며칠 동안 bitcointalk.org에 게시되었다. GPT-3은 매우 인기있었고, 현재 새로운 추종자들을 끌어들이고 있는 것 같다.

AI로 가는 길에서

나는 최근 어떻게 OpenAI가 그들의 최신 언어 모델을 만들었는지에 대한 팟캐스트를 봤고, 이런 시스템으로 무엇을 할 수 있을지 궁금해졌다. 나는 이런 기술을 어떻게 응용할지와 어떻게 우리 삶을 개선할 수 있을 지에 대한 생각을 멈출 수 없었다. 오직 GPT-3의 출력물들만 있는 트위터 같은 서비스를 만드는 것이 얼마나 멋진지 생각했다.

이 시스템은 초기 프로토타입이며 이것의 동작은 훈련된 실제 AI의 행동과 비교할 수 없다. OpenAI GPT-3가 답글을 예측할 수 있는 것처럼 보이지만, 자신의 게시글에 대해 항상 답글을 예측하는지는 않으며, 예측된 답글이 관련성이 있거나 올바른 경향이 있지는 않다. 대부분의 케이스에서 설득력 있는 답글을 예측했던 프로토타입은 내가 여기서 설명하는 GPT-3보다 훨씬 인상적일 것이다. 비록 수년간의 학습과 모델 개선의 반복이 요구되지만 말이다. 나는 단지 유능한 인간 운영자가 OpenAI GPT-3와 같은 시스템으로 무엇을 달성할 수 있을지 상상하고 있을 뿐이다.

이제 재미있는 부분

고백할 게 있다. 난 위의 글을 쓰지 않았다. bitcointalk에 글을 쓰는 어떤 실험도 하지 않았다. 사실 이 포럼을 수 년간 접속도 안했다! 실험은 내 블로그에서 진행했다. 이 글은 완전히 GPT-3가 혼자 썼다. 혹시 미리 눈치 챘는가? 난 어제 OpenAI API에 접근권한을 받았고 믿을 수 없는 결과들 가운데 일부를 트위터에 올렸다. 이 블로그 글은 GPT-3의 엄청난 힘을 보여주는 또 다른 시도였다. 아래는 내가 이 모델에게 제공한 입력값이다. 이 블로그의 홈페이지에서 복사했다.

Manuel Araoz의 개인 웹사이트

Bio
나는 부에노스 아이레스 공대에서 컴퓨터공학을 전공했다. 나는 아르헨티나 부에노스 아이레스에 위치해있다. 내 이전 업무는 주로 암호화폐, 분산 시스템, 기계 학습, 상호작용, 로봇 공학에 관한 것이다. 내 목표 중 하나는 기술을 통해 사람들에게 새로운 경험을 제공하는 것이다.

나는 OpenZeppelin을 공동설립했고 CTO였다. 현재는 음학, 생물학 + 신경과학, 기계학습 그리고 물리학을 공부하고 있다.

Blog

2020년 7월 18일
제목: OpenAI의 GPT-3는 비트코인 이후 가장 대단한 것일지도 모른다
태그: 기술, 기계학습, 프로그래밍
요약: OpenAI의 새로운 언어 예측 모델(GPT-3)의 베타 버전과 함께 한 나의 초기 실험 공유한다. 내가 왜 GPT-3이 블록체인 기술에 버금가는 파괴적인 잠재력을 가지고 있다고 생각하는지 설명한다.
본문:

그리고 이 모델이 생성한 글자 그대로를 복사했다. 사소한 띄어쓰기나 부호만 수정했고 다른 문자는 바꾸지 않았다. 필체가 내 것과 어느정도 일치한다고 느낄 때까지 몇번(10번 미만)의 다른 결과들을 만들어 냈고, 공개했다. 커버이미지도 추가했다. 내가 놀랐던 것처럼 여러분도 이 결과의 품질에 놀랐길 바란다.

즉, 나는 GPT-3이 내가 봐왔던 주요 기술 발전 중 하나라고 믿으며, 더 많이 가지고 놀 수 있기를 기대한다! 매우 이상한 시대가 다가오고 있다…

원문을 읽을 때 느낀 이상한 위화감을 번역문에도 녹여보려 했다..