챗 GPT는 방대한 양의 텍스트 데이터를 학습하여, 마치 사람처럼 자연스러운 문장을 생성하고 이해하는 인공지능 모델입니다. 그 중심에는 트랜스포머(Transformer)라는 특별한 구조를 가진 신경망 모델을 기반으로 합니다.
Chat GPT는 어떤 모델일까?
Chat GPT는 대규모 언어 모델(Large Language Model, LLM)이란 방대한 양의 텍스트 데이터를 학습하여, 결과물로는 텍스트를 생성, 이해, 번역 등 다양한 언어 관련 작업을 수행할 수 있도록 설계된 인공지능 모델입니다. 구체적으로 표현하면 GPT는 Generative Pre-trained Transformer로 이와 같은 아키텍처를 기반으로 만든 모델이죠.
쉽게 얘기하면, 자연스러운 대화를 할 수 있도록 문장을 다듬는 인간의 개입을 통해 기존의 챗봇과는 다르게 이야기를 이어갈 수 있는 특징이 있으며, 이는 사람과 대화하는 유사한 경험을 할 수 있는 느낌을 줄 수 있는 최초의 모델이었습니다.
Chat GPT의 인공지능 모델은??
간단히 표현하면, LLM 기반의 트랜스포머 구조를 가진 생성형 AI로 강화학습과 딥러닝을 기반하고 있는 모델입니다.
Chat GPT에 적용되고 있는 기술적 특징은 크게 4가지 정도의 단어를 파악하면 이해하기 쉽습니다.
- LLM, 트랜스포머, 강화학습, 생성형 AI
1. LLM(Large Language Model)
LLM은 방대한 양의 데이터를 학습하여 언어를 이해하고 생성하는 인공지능 모델이며, 대표적인 LLM 모델이 Chat GPT입니다.
2. 트랜스포머
Chat GPT의 기반이 되는 인공 신경망 구조로 문장의 단어들 사이의 관계를 매우 효과적으로 학습하여 문맥을 파악하고, 다음에 올 단어를 예측하는 능력이 뛰어납니다. 쉽게 예를 들면, 문장과 문장 사이에 빈칸이 있으면 그 빈칸에 알맞은 의미와 단어를 유추해서 문장을 만들어 낼 수 있는 능력입니다.
이러한 트랜스포머 모델을 개발한 구글은 세상에 논문과 코드를 공개함으로써 학계와 산업현장에서 누구나 자유롭게 모델을 활용할 수 있었죠.
2017년 이전까지만 해도 순환 신경망(RNN)이란 구조가 자연어 처리 분야를 지배하고 있었습니다. 하지만 이 구조는 병렬 처리의 어려움을 가지고 있었으며, 이에 구글은 트랜스포머라는 어텐션(Attention) 메커니즘을 도입을 통해 문장 내 단어 간의 관계를 더욱 정확하게 파악할 수 있는 도구를 개발하였습니다. 이 구조가 바로 트랜스포머이며, 이를 기반으로 Chat GPT가 인간 수준의 대화를 할 수 있게 되었죠.
이때 구글은 트랜스포머를 오픈소스로 공개하면서 Open AI가 자신들만의 방식으로 Chat GPT 모델을 발전시켰습니다. 즉, 구글의 트랜스포머 모델을 기반으로 Open AI가 자체적인 연구, 개발을 통해 GPT 시리즈를 개발했습니다.
반대로 얘기하면, Open AI가 LLM 기반의 구글 트랜스포머 구조를 더욱 뛰어난 모델로 발전시킨 꼴입니다.
결국 트랜스포머의 등장과 함께 방대한 양의 텍스트 데이터를 학습시킬 수 있는 컴퓨팅 자원이 확보되면서 LLM이 등장하게 되었으며, LLM은 트랜스포머 구조를 기반하여 데이터를 학습하고 다양한 언어 작업을 할 수 있도록 설계되었죠.
3. 생성형 AI
새로운 텍스트를 생성하는 인공지능으로 사용자의 질문에 대한 답변, 글쓰기, 번역 등 다양한 텍스트를 생성할 수 있는 AI입니다.
예를 들면 질문에 대한 훌륭한 답변을 생성하는 것입니다. 다양한 주제에 대한 글을 쓸 수 있죠. 시, 소설, 기사, 보고서 등 창의적인 글쓰기부터 정보 전달을 위한 글쓰기가 가능하며 자연스러운 대화를 나눌 수 있게 만다는 AI 기술입니다.
4. 강화학습
Chat GPT는 강화 학습이라는 방법을 통해 사람들의 피드백을 받고 지속적으로 발전하고 있습니다. Chat GPT의 강화학습 과정은 GPT의 대화를 평가하고 더 나은 답변을 제시하는 사람들의 개입과 그 개입결과를 바탕으로 보상 신호를 줌으로써 더 정확한 답변을 생성하기 위해 노력을 함으로써 AI 스스로 학습을 통해 결과물은 점차 발전할 수 있습니다.
Chat GPT 개발 과정에서 사람의 개입
Chat GPT 개발 과정에서 기존의 챗봇과 같은 딱딱한 대화체를 바꾸기 위해 수많은 사람들의 개입은 매우 중요한 부분 중에 하나였습니다. 데이터 정제, 모델 평가, 인간 트레이너, 문제점(편향, 오류, 부적절한 내용 등) 발견, 개선 등 문장의 완성도를 높이기 위해 사람들의 개입과 피드백 등은 Chat GPT 완성도에서 매우 중요한 역할을 했죠.
- 데이터 정제 : 수집된 데이터에는 불필요한 정보나 오류, 사회적으로 불신임하는 이야기 등의 내용이 포함되어 있을 수 있기 때문에 양질의 데이터를 만들기 위해 데이터를 사람이 직접 정제하는 과정을 거쳤습니다.
- 인간 모니터링 : AI 모델이 생성한 답변이 정확한지 부정확한지 평가하기 위한 과정이 필요했으며, 결국 AI 훈련을 위해 인간이 지속적으로 정성껏 다듬는 과정이 필요했습니다. 이러한 평가를 바탕으로 AI는 보상 신호를 받고 점차 사람이 선호하는 방향으로 학습해 나가는 과정을 거쳤습니다. 따라서 Chat GPT와 같은 AI 기술은 유지 비용이 크게 발생하기 때문에 유료 전환이 필요할 수 밖에 없습니다.
- 모델 성능평가 : AI 모델이 생성한 텍스트를 사람들이 직접 개입하여 모델의 성능을 평가하고 개선방향을 제시함으로써 인간 수준의 대화 텍스트를 만들 수 있는 과정을 거쳤습니다.
- 문제점 발견 및 수정 : 모델이 생성한 텍스트에서 오류, 부적절한 내용 등이 발견되면 이를 수정하기 위한 노력이 사람들에 의해 이루어지면서 완성도를 높였습니다.
다른 종류의 AI와 비교했을 때 Chat GPT의 특징
- 텍스트 생성 능력 : 기존의 인공지능 은 주로 주어진 데이터를 분석하고 분류하는 데 초점을 맞췄지만, Chat GPT는 새로운 대화형 텍스트를 생성하는데 특화되어 있습니다.
- 문맥 이해 : 문장의 의미뿐만 아니라 문맥까지 파악하여 더욱 자연스러운 대화를 할 수 있는 특징이 있습니다. 따라서 대화형 챗봇, 번역, 콘텐츠 생성 등 다양한 분야에서 활용될 수 있습니다.
- 사람의 검교정 : 인간과 같은 자연스러운 대화체를 구현하기 위해 단어하나 문맥하나에 대해 사람들이 개입하여 검교정을 하는 과정을 거치고 있습니다.
결론적으로 Chat GPT는 LLM 기반의 트랜스포머 구조를 가진 생성형 AI로, 인공지능 기술의 발전을 보여주는 대표적인 예로 자리 잡고 있습니다.