메타는 왜 대화형 생성 AI의 판을 바꾸려고 하는 것일까?

 

반응형

 

MASTER RYU 2023. 7. 25 | 

Llama2, Llama2 vs GPT-4, PaLM2 차이점, 그래도 Llaam2가 매력적인 이유? Meta의 Llama가 LLM 최초의 오픈 소스인가? Llama2 챗봇은 어떻게 사용할 수가 있나요?

 

 2023년 7월 18일 메타(META)는 차세대 대규모 오픈소스 언어모델 Llama2를 공개했습니다.

ChatGPT가 쏘아올린 공이 대화형 생성 AI의 춘추전국시대를 열게 되면서 글로벌 기업뿐만 아니라 다양한 기업 및 연구소에서 생성AI를 출시하고 있습니다. 하지만 이번 메타의 Llama2에 관심이 가는 이유는 지금까지 출시된 다른 글로벌 기업의 대화형 생성 AI와 다르게 '오픈소스'로 서비스를 제공한다고 합니다.

 

 오늘은 메타에서 공개한 Llama2에 대해서 다른 대규모 언어모델과 같이 이야기를 해보려고 합니다. 

 

• Llama2 

메타에서 오픈소스로 공개한 대규모 언어 모델이며 Llama는 Large Language Model Meta AI의 줄임말입니다. Llama는 명사로 낙타과에 속하는 포유류인 아메리카낙타를 의미합니다. 
Llama2는 70억, 130억, 700억 개의 선택할 수 있는 파라미터로 사전 학습되고 약 2조 개의 토큰으로 훈련되었습니다. 
이 말은 쉽게 이야기하면 700억개의 파라미터를 통해 입력된 데이터를 분석하여 결과 값을 만들어 낸다는 의미이며, 약 2조 개의 토큰이라는 것은 기계가 자연어를 이해할 수 있도록 2조 개의 단어를 가지고 훈련되었다고 생각하면 됩니다. 
우리가 자라면서 배움을 통해서 말의 깊이가 달라지는 것처럼 파라미터가 높아질 수록 우리의 질문에 적합한 결과물을 출력할 수가 있으며, 토큰이 많을 수록 말의 의미를 정확하게 이해한다고 생각하면 됩니다. 

Llama-2, 이미지출처 : Meta

 

• Llama2 vs GPT-4, PaLM2 차이점

우리가 일반적으로 뉴스에서 많이 접하는 ChatGPT와 구글에서 출시한 PaLM2는 Llama2와 달리 오픈 소스가 아닌 클로즈 소스입니다. 오픈 소스라고 함은 제품을 누구나 자유롭게 사용, 수정, 복제할 수 있다는 의미입니다. 
ChatGPT도 초기 1,2버전에서는 오픈소스로 출시했지만 우리가 가장 많이 사용하는 3버전부터는 클로즈 소스로 변경을 했습니다. 

그럼 가장 최근에 출시된 Llama2가 GPT-4와 PaLM2보다 뛰어난가?
그렇지 않습니다.
실제로 벤치마크 측면에서 Llama2가 GPT-4나 PaLM2보다 낮은 성능을 보인다고 하며
PaLM2는 Llama2보다 거의 2배나 많은 3조 6천억개의 토큰으로 훈련되었다고 하며
PaLM2의 파라미터는 5,620억개의 파라미터를 통해 입력된 데이터를 분석하여 결과 값을 만들어 내고 있습니다. 
또한 지원하는 언어도 GTP-4나 PaLM2에 비해 적습니다.
이미 GTP-4나 PaLM2는 한국어를 잘 지원하고 있지만 Llama2는 아직 한국어를 정확하게 지원하지 않고 있습니다. 
결론적으로 Llama2는 현재 새롭게 출시된 GPT-4와 PaLM2에 비해서 뛰어난 성능을 가지지는 않았습니다.

 

반응형

 

• 그래도 Llama2가 매력적인 이유?

파라미터와 토큰의 숫자 그리고 벤치마크 성능만으로 Llama2가 GPT-4나 PaLM2보다 좋지 않다고 판단할 수만은 없습니다. 
물론 파라미터와 토큰의 숫자가 대규모 언어 모델에서 중요하고 모델의 성능을 기대하고 판단할 수 있는 지표인 것은 사실입니다.  
하지만 중요한 것은 데이터의 크기만으로 대화형 생성AI에서 질문에 원하는 답을 줄 것이라고 이야기는 할 수 없습니다. 
Llama2는 백만개가 넘는 새로운 human annotations 도입과 섬세한 미세 조정 프로세스를 통해서 뛰어난 품질의 출력을 제공합니다. 
그리고 이를 통해서 여러 가지 테스트를 통해서 증명해 냈습니다. 
결국 메타는 작은 데이터를 가지고 훌륭한 결과를 가져다주는 것에 포커스를 맞췄으며 이는 오픈소스라는 이점을 더욱 부곽시켜 줍니다.

그리고 가장 중요한 것은 메타가 Llama2를 오픈 소스로 배포한 것입니다.  
왜 오픈 소스가 중요한 것인가? 먼저 AI를 현재 바라보는 시선입니다. 개인적으로 그렇지만 사회적으로도 AI에 대한 경각심이 대두되고 있는 상황입니다. 메타는 후발 주자이지만 이를 오픈 소스로 공개하여 투명성을 높힘으로써 자신의 브랜드를 부각시켰습니다.
그리고 Meta는 솔루션을 올바르게 이용할 수 있도록 다양한 리소스를 제공하며 사용자의 피드백을 적극적으로 수용할 계획이라고 합니다.  이를 통해서 개인에서부터 영리 및 비영리 기관까지 다양한 곳에서 Meta의 Llama2를 활용할 것으로 예상이 됩니다. 
백종원 선생님이 자신이 가지고 있던 음식 솔루션을 공개함으로써 대중에게 미친 영향이 상당했던 것처럼 메타의 이런 행보는 떠오르는 오픈 소스 AI의 활발한 출현을 알리는 서막이 되는 것과 동시에 LLM의 새로운 판을 열게 될 것입니다. 

Llama2의 fine-tunning Model, 이미지 출처 : Meta

 

Llama2의 경쟁 LLM과 유용성 비교, 이미지 출처 : Mera

 

• Meta의 Llama가 LLM 최초의 오픈 소스 인가?

그렇지는 않습니다. 앞서 이야기한 것처럼 ChatGPT도 1,2 버전에서는 오픈소스였으며, 지금까지 깃허브에 등록된 오픈 소스 AI 솔루션은 총 37개입니다.
잘알려진 오픈소스 LLM은 UAE기술혁신연구소가 공개한 Falcon과 모자익ML의 MPT가 있습니다. 
하지만 이번 Meta의 Llama2는 단연 최고라고 이야기할 수 있습니다. 

 

• Llama2 챗봇은 는 어떻게 사용할 수 가 있나요?

https://llama2.ai/ 사이트에 접속하여 로그인하여 서비스를 사용할 수 있으며 좌측 바의 설정을 조정할 수가 있습니다. 
https://huggingface.co/spaces/ysharma/Explore_llamav2_with_TGI 데모사이트를 통해서 Llama2를 사용해 볼 수가 있습니다. 현재 접근하는 사이트는 700억개의 파라미터를 통해서 결과를 노출하는데 위에 토끼와 여우를 선택하여 다른 옵션으로도 확인 가능합니다. 

huggingface.co의 Llama2 옵션 변경

  생성형 AI의 서막은 OpenAI의 ChatGPT로 시작했으며 ChatGPT의 등장은 우리에게 놀라운 세상을 안겨다 주는 것과 동시에 엄청난 반발력이 형성되어 규제의 목소리가 높아지고 있습니다. 이런 가운데 Meta의 이런 행보는 안전한 생성형 AI의 대중화에 기여하는 것은 물론 확장성을 통해서 얻어진 정보를 통해 Meta의 Llama의 발전은 앞으로도 기대가 됩니다. 물론 이런 오픈 소스의 이면에는 또 다른 단점이 반드시 있다는 것을 잊지 않고 이를 규제할 새로운 방안을 빠르게 모색하여 AI로 인해 피해를 입지 않도록 해야 합니다. 

Meta는 기존의 FACEBOOK이라는 사명을 Meta로 변경한 이후 현실과 공존하는 가상 세계가 반드시 우리 앞에 빠른 시일 내에 찾아올 것이라고 예상했습니다. 그리고 이 가상 세계에서 생성형 AI는 필수적인 요소가 될 것이라고 생각이 듭니다. 

애플의 아이폰이 세상을 바꾼 것처럼 지금 생성형 AI는 아이폰과는 다르게 우리의 세상을 바꾸게 될 것입니다. 

 

 

반응형