1. 대형 언어 모델(LLM, Large Language Model)
대형 언어 모델은 생성형 AI를 설명할 때 가장 먼저 이해해야 하는 개념
대형 언어 모델이란, 말 그대로 광범위한 양의 텍스트 데이터를 학습한 모델을 뜻하는데, 이 개념은 인간의 언어 능력 성장 과정을 생각하면 이해하기 쉬움
-> 어렸을 때 언어에 대한 학습량이 적어 제한된 단어와 짧은 문장 위주의 대화만 가능하지만, 이후 교육 과정, 일상생활 속에서의 대화, 독서, 인터넷 등 학습을 통해 언어 능력이 자연스럽게 성장이 됨. 이 과정에서 이해력과 추론 능력도 함께 높아지며, 대화 수준과 답변의 정확도가 향상됨.
대형 언어 모델도 이와 유사하게 방대한 양의 언어 데이터를 학습하면서, 기본적인 지식을 습득하게 됨.
인간의 글과 대화 방식을 받아들이며 더욱 정교하고 자연스러운 대화 능력을 갖춰감. 오늘날 대부분의 텍스트 기반 생성형 AI 서비스는 이 대형 언어 모델을 기반으로 작동함.
2. GPT (Generative Pre-trained Transformer)
대형 언어 모델이 거대한 양의 언어 데이터를 학습한 모델이라 말했는데, 단순하게 많은 양의 데이터를 학습했다고 해서 인간과 유사하게 대화할 수 없음. 이 개념 역시 인간의 학습 과정으로 예를 들면
-> 인간의 경우 언어 학습을 많이 할수록 작문 능력도 동시에 향상될 수 있지만, 항상 비례하는 건 x
지식을 쌓는 일과 작문 능력은 또 다른 능력이기 때문
인간이 작문 실력을 키우기 위해 별도의 훈련을 하듯, 대형 언어 모델도 단순한 학습을 넘어 인간처럼 말하기 위한 전문적인 훈련이 필요한데, 이를 잘 수행한 모델이 바로 미국의 인공지능 연구소 OpenAI에서 만든 ChatGPT.
ChatGPT는 채팅을 뜻하는 Chat과 GPT를 결합한 용어로, 여기서 말하는 GPT는 대형 언어 모델의 대표적인 예시이자 인간처럼 말할 수 있도록 잘 훈련된 모델.
이름에서 알 수 있듯 트랜스 포머 라는 아키텍처를 기반으로 하며, 이는 인간의 언어 처리 방식을 모방한 자연어 처리 분야의 심층 신경망 구조를 말함.
3. 매개변수 (Parameter)
chatGPT를 시작으로 생성형 AI의 시대가 열리자, 경쟁 기업에서는 뒤처지지 않기 위해 저마다 자체 개발한 대형 언어 모델을 하나둘씩 발표하기 시작함. 이때 가장 많이 주목받았던 용어 중 하나가 매개변수(파라미터)
chatGPT 와 같은 서비스의 핵심 경쟁력은 사용자가 원하는 최적의 답을 제공하는데 있는데, 질문에 관한 답변을 산출하기 위해서는 정밀하게 설계된 함수가 필요로 함. 그리고 이 함수는 결괏값에 영향을 미치는 매개변수로 이루어져 있음.
매개변수는 요리의 레시피라고 생각하면 쉽게 이해할 수 있는데,
-> 김치찌개를 끓인다고 할 때 가장 먼저 재료를 선택해야하는데, 단순히 물에 김치를 넣어 끓이는 것보다는 육수와 조미료, 파, 양파 등의 부재료가 들어갈 때 더 깊고 풍부한 맛을 낼 수 있음. 음식에 들어가는 부재료가 바로 매개변수에 해당함.
새롭게 출시되는 대형 언어 모델들이 파라미터 수를 강조했던 이유도 매개변수가 많아질수록 보다 정교한 답을 생성할 수 있기 때문.
그러나 단순히 재료가 많다고 맛이 보장되는게 아니듯, 매개변수도 답변의 정확도를 높이기 위해서는 각 변수의 가중치를 적절히 조정해야 하며, 어떤 변수들은 입력 데이터에 의존하지 않고 고정된 값을 가지도록 편향시키기도 함.
일반적으로 매개변수의 양이 많을수록 정답에 가까운 답을 도출할 수 있지만, 오히려 너무 많으면 과적합 문제가 발생할 수 있음. 과적합이란, 모델이 훈련 데이터에 지나치게 적응해 버려 새로운 데이터나 일반적인 상황에 대해서는 오히려 성능이 떨어지는 현상을 말함.
4. 프롬프트 엔지니어링 (Prompt Engineering)
생성형 AI 시대가 도래하면서 영어가 가장 중요한 역량이 될 것이라 의견이 나옴.이는 생성형 AI 서비스의 작동 방식에 기인한 것.
사용자의 특별한 행위 없이 오로지 질문과 요청에 의해 우너하는 결과를 제공하고, 초기 모델의 경우 영어 기반의 학습 데이터 비중이 높기 때문인데, 특히 영어로 대화했을 때 가장 효과적인 답변을 받을 수 있었음. 이때 AI 에 주어지는 입력, 즉 질문이나 명령을 '프롬프트' 라 부름.
즉 어떻게 질문을 하느냐에 따라 결과가 크게 달라질 수 있는데, 많은 기업이 이를 효과적으로 활용하여 업무 생산성을 높이기 위해 '프롬프트 엔지니어'라는 직업이 탄생하기도 했음. 프롬프트 엔지니어는 최적의 결괏값을 얻어낼 수 있도록 효과적인 프롬프트 값을 입력하는 업무를 담당하며, 이 과정에서 사용되는 기술을 '프롬프트 엔지니어링' 이라 부름
ex)
- 효과적이지 못한 질문 : " 이탈리아 여행 계획을 세워줘. "
=> 이 질문은 목적지만 명시되어 있을 뿐, 여행 기간, 선호하는 활동, 방문하고 싶은 도시 등에 대한 정보가 없기 때문에, AI는 사용자의 선호도와 관심에 대해 추측을 해야함. 따라서 불분명하거나 사용자의 기대에 부합하지 않는 계획을 제안할 확률이 높음.
- 효과적인 질문 : " 이탈리아 여행을 위한 7일 일정 계획을 세워줘. 로마, 피렌체, 베니스를 꼭 방문하고 싶고, 역사적인 장소와 현지 음식을 경험하고 싶어. 계획표는 표 형태로 작성해줘. "
=> 이 질문은 여행 목적지, 기간, 관심사 등 구체적인 정보를 포함하고 있기 때문에 AI 는 이 정보를 바탕으로 구체적인 여행 계획을 제안할 수 있음. 또한 표 형태로 출력을 요청하여 별도의 정리 없이 바로 출력할 수 있음.
5. 토큰 (Token)
토큰은 대형 언어 모델의 핵심 구성 요소 중 하나로 언어 데이터를 처리하는 기본 단위를 말함.
일반적으로 단어, 문자 또는 문장의 일부를 포함하는데, 여기까지 보고 '형태소'를 떠올리는 사람들도 있을 것임. 형태소의 개념과는 명확한 차이가 있음.
'Unbelievably' 라는 단어를 예시로 두 개념의 차이를 설명해보자면
- un : 부정을 의미하는 접두사
- believe : 믿다라는 동사
- able : 가능함을 의미하는 접두사
- -ly : 부사를 만드는 접미사
반면, AI 모델의 Unbelievably는 다양한 토큰으로 나눌 수 있으며 모델의 토큰화 방식에 따라 달라짐.
예를 들어 형태소와 같이 위와 같이 나눌 수 있지만, unb, elie, vably 와 같이 전혀 다른 형태로 나눌 수 있다는 의미.
이처럼 토큰은 반드시 명확한 의미를 내포하지 않을 수 있다는 점에서 형태소와 차이점이 있음.
또한 토큰을 구분하는 방식은 모델의 설계와 목적에 따라 달라지기 때문에 그 명확한 기준을 알기 쉽지 않음.
우리가 토큰에 대해 알아야 하는 이유 중 하나는 돈과 연관이 되어있다는 점인데, ChatGPT 의 API 를 사용할 때 토큰을 기준으로 사용량을 측정함. 또한 같은 의미의 내용을 영어로 작성할 때 사용되는 토큰보다 한글로 작성할 때 더 많은 토큰이 사용된다는 특징이 있음. 이를 바꿔 말하면 한글로 입/출력을 할 때 상대적으로 더 많은 비용이 발생할 수 있다는 것을 의미. 이러한 가격 정책은 우리가 자체적으로 한글에 특화된 대형 언어 모델을 만들어야 하는 이유로 꼽히기도 함.
6. 플러그인 (Plugins)
플로그인은 기본적으로 기존의 소프트웨어나 시스템에 추가적인 기능을 제공하는 소프트웨어 컴포넌트를 말함.
웹 브라우저에 설치되어 특정 기능을 확장하는 확장 프로그램이 플러그인의 좋은 예시인데, 프로그인 자체로는 이미 오래된 개념이지만 ChatGPT가 인기를 끌면서 재조명 받고 있는 개념임.
- 익스피디아 (Expedia)
보유하고 있는 데이터를 기반으로 숙박 시설 찾기 , 관광 명소, 즐길거리 탐새과 같은 여행 관련 정보를 제공함.
- 웹 브라우저 (Web Broqser)
ChatGPT 는 사전에 학습된 날짜 이후의 정보는 알지 못함. 따라서 최신의 정보를 확인하기 위해서는 인터넷 검색이 필요한데, 이때 웹 브라우저 플러그인을 통해 GPT가 인터넷 검색할 수 있게 되었음. (오 이건 몰랐는디)
- 코드 인터프리터 (Code Interpreter)
이 플러그인은 ChatGPT 에게 파이썬 코딩 기능을 추가함. 파일 업로드 및 다운로드를 지원하며, 실행된 코드는 보안이 강화된 환경에서 처리됨. 이를 통해 ChatGPT는 수학 문제 해결, 데이터 분석 및 시각화, 파일 형식 변환과 같은 다양한 코딩 작업을 수행할 수 있음.
7. GPU (Graphics processing unit)
최근 펼쳐지고 있는 생성형 AI 전쟁에서 최후의 승자는 누가 이기든 돈을 버는 엔비디아가 될 것이라는 이야기가 있음.
본래 엔비디아는 컴퓨터 그래픽 카드로 유명한 회사였는데, 엔비디아의 GPU는 기본적으로 컴퓨터 화면에 이미지를 표시하는데에 사용됐음. 그리고 게임 산업이 발전하면서 고사양 그래픽 게임에 대한 수요가 증가했고, 엔비디아는 이를 효과적으로 지원하기 위해 복잡한 그래픽 연산을 빠르게 처리할 수 있는 그래픽 카드를 개발했음.
때마친 AI 기업에서 모델을 학습시키는 데에 복잡한 수학적 연산과 데이터를 빠르게 처리할 수 있는 기술이 필요했고, 엔비디아의 GPU 는 AI 모델 학습에 이상적인 도구로 부상하게 됐음. 몇 년 전 비트코인 채굴 열풍 당시 엔비디아의 GPU 수요가 증가했던 것도 이러한 맥락에서 이해할 수 있음.
GPU 의 강점은 '병렬 처리 능력'에 있는데, 전통적인 CPU의 경우 강력한 연산 능력을 가지고 있지만, 주로 한 번에 하나의 작업을 처리하는 데에 최적화 되어 있다면 GPU는 수백 또는 수천 개의 작은 코어를 가지고 있어 많은 양의 연산을 동시에 처리할 수 있다는 특징을 가짐.
이 처럼 단일 연산에서는 CPU의 속도가 더 빠를 수 있지만. 대량의 계산이 필요할 때는 GPU의 병렬 처리 능력으로 인해 전체적인 시간을 줄이는 데에 크게 기여할 수 있음.
8. 환각 (Hallucinate)
생산형 AI 란 이름에도 알 수 있듯 무언가를 <생성> 한다는 것에 큰 의미를 두는데, 이 과정에서 때때로 실제 데이터나 사실을 반영하지 않고, 비현실적이거나 오류를 포함한 내용을 만들어내는 경우가 있음. 이를 '환각' , '할루시네이션'이라 부름.
9. 일반 인공 지능 (Artificial General Intelligence, AGI)
현재 널리 사용되는 AI 의 경우 정확하게는 '좁은 의미의 인공지능'을 말하는데, 이는 특정 작업이나 기능에 최적화된 인공 지능을 의미하며, 예를 들어 언어 번역, 이미지 인식, 게임 등 특정 영역에서만 인간을 능가하는 성능을 보임. 이세돌을 바둑에서 이긴 알파고가 실생활에서 사용될 수 없는 것과 같은 논리.
일반 인공 지능은 특정 분야에만 특화되어 있는 것이 아닌, 기본적으로 인간과 유사한 지능 수준을 가진 인공 지능을 말함.
예를 들어 평범하게 교육 과정을 밟아 온 성인이 회사에서 새로운 업무를 맡게 됐을 때, 그동안 쌓은 기본적인 지식과 경험을 바탕으로 약간의 바탕으로 약간의 교육을 통해 업무를 수핼할 수 있는 것과 같음.
이와 유사하게 AGI 도 기본적인 이해 능력, 추론. 문제 해결, 창의적인 사고 등을 갖춘 상태로, 새로운 상황에서 약간의 교육만으로도 적응할 수 있는 유연성을 갖추고 있음. 이에 따라 단일 모델로도 다양한 작업을 수행할 수 있다는 특징을 가짐. 또한 경험과 학습이 축적되면 이를 기반으로 자연스럽게 능력이 향상될 수 있음.
ChatGPT 를 개발한 OpenAI 의 궁극적인 목표도 일반 인공 지능을 개발하는 데에 있음. OpenAI 는 일반 인공 지능이 인류에게 도움을 줄 수 있다는 믿음으로 기술을 개발하고 있으며, ChatGPT 는 이러한 목표의 중간 단계라고 볼 수 있음.
참고로 슈퍼 인공 지능은 일반 인공 지능보다 일반 인공 지능보다 한 단계 발전한 개념으로 인간보다 더 똑똑한 인공지능을 말함.
10. 멀티 모달 (Multi-Modality)
최초의 ChatGPT는 텍스트 기반의 대화에만 국한 되어 있었는데, 사용지가 텍스트로만 질문할 수 있었고, 답변도 오직 텍스트로만 받을 수 있었음. 지금의 GPT는 텍스트로 특정 이미지를 생성해달라고 하면 이미지를 생성해주고, 텍스트가 아닌 음성으로 질문을 하더라도 텍스트나 이미지로 답변을 받을 수 있음. 이때 텍스트, 음성, 이미지 등을 모달리티 라 불리며, 다양한 형태의 모달리티를 입력 및 출력에 제한 없이 활용하는 방식을 멀티 모달(리티) 라고 함.
이 역시 일반 인공 지능으로 가는 중간 단계라 할 수 있으며, 인간이 눈과 귀를 통해 정보를 습득(인풋)하고, 취즉한 정보를 기반으로 뇌를 활용하여 생각하며, 입으로 말하거나 손과 발로 작업(아웃풋)을 수행하는 것처럼 AI역시 다양한 감각 기관을 갖추는 과정이라 이해할 수 있음.
더불어 AI 관련 내용을 공부하다 보면 STT, TTS와 같은 용어를 많이 봤을텐데, 이러한 용어들은 멀티 모달 기술과 일부 연관이 있어 함께 소개하겠음.
먼저 STT는 Speach To Text 의 줄임말로 음성을 텍스트로 변환해 주는 기술을 말하며, TTS는 Text To Speach 의 줄임말로 텍스트를 음성으로 변환해 주는 기술을 말함.
즉, 입력 형태와 출력 형태가 다른 경우에 사용되는 용어라 이해하면 되는데, 최근에는 기술의 발전으로 인해 Text to Image, Speach To Video 등과 같이 다양하게 활용되고 있음.
11. 인간 피드백 기반 강화학습 (Reinforcement Learning from Human Feedback, RLHF)
강화 학습이란 쉽게 말해 AI 모델이 특정 환경에서 시행착오를 통해 최적의 행동 방식을 학습하는 과정을 말하는데, 이는 보상 이라는 개념을 기반으로 함.
게임을 예로 들면, 긍정적인 결과 (죽지 않고 높은 점수를 얻는 등)을 얻는 행동(액션)을 했을 때 보상을 주면 그 행동을 반복하게 되고, 부정적인 결과 (게임에서 죽거나 점수를 잃는 등)를 얻는 행동을 했을 때 보상을 주지 않으면 그 행동을 피하게 됨. 이러한 방식으로 AI는 죽지 않고 높은 점수를 얻는 행동을 하도록 학습하게 됨.
인간 피드백 기반 강화 학습은 이러한 강화학습의 일반ㅂ적인 프로세스에 인간의 피드백이 추가된 접근 방식.
이 방식에서는 AI가 특정 작업을 수행한 후 , 인간 평가자로부터 직접적인 피드백을 받음. 피드백에는 AI 가 취한 행동이 얼마나 적절했는지, 더 나은 행동은 무엇이었을지에 대해 정보를 제공함. 이를 통해 AI는 단순히 자동화된 보상 시스템을 통해 학습하는 것이 아니라, 인간의 판단과 가치관을 반영하여 보다 정교하고 인간적인 반응을 학습할 수 있게 됨.
이러한 방식은 안전한 AI 개발을 위해 이는 필수적으로 여겨지는 있는데, 인간과 직접적으로 상호작용을 하는 서비스로, 정치적 이슈, 윤리적인 문제, 문화적 특성에 대해 부도덕한 사고를 학습했을 때 심각한 사회적 문제와 갈등을 초래할 수 있기 때문. RLHF 학습 방식은 앞으로도 중요한 요소로 자리 잡을 것으로 예상됨
'오늘의 개발 > IT 트랜드' 카테고리의 다른 글
쿠팡 로고, 비전이 숨겨진 숨겨져 있다고 ?! (0) | 2024.06.02 |
---|---|
Ubuntu 24.04 LTS, 24년 4월 24일 정식 출시 ! (0) | 2024.05.09 |
Naver, 2023년 검색어 결산 발표 (1) | 2023.12.27 |
요즘 웹 사이트에 있어야 하는 3가지 최신 CSS 속성 (0) | 2023.12.22 |
2024 서울 기계식 키보드 엑스포 개최 (0) | 2023.12.20 |