라마(LLaMA 2) 의 출시와 챗GPT의 비교

대규모 언어 모델의 정의 그리고 생성형 AI (라마 (LLaMA 2), 챗GPT)

라마(LLaMA 2) 의 출시와 챗GPT의 비교

 

우선 먼저 내가 몰라서 쓴 용어 정리

*오픈소스란 :

소프트웨어의 소스 코드가 공개되어 누구나 접근 가능하다. 해당 소스코드를 볼 수 있고, 수정 및 배포가 자유롭다.소프트웨어의 개발 및 배포 방식을 말한다. 해당 소프트웨어의 소스 코드를 공개하여, 누구나 접근이 가능하고, 코드를 검토하고 사용할 수 있도록 개발하는 기업 또는 개인들에게 열어 놓은 것이다. 오픈소스 소프트웨어는 많은 이점을 가지고 있다. 공개되어 있으니, 많은 개발자들이 코드를 볼 수 있고, 이에 대한 버그를 쉽게 찾아 낼 수 있으며 서로 커뮤니티를 만들어 프로젝트를 협업할 수도 있다.

 

*대규모 언어모델(LLM) :

GPT와 BERT 모델을 대표적인 예로 들 수 있다. LLM을 간단히 설명하면, 입력된 값의 다음 단어를 예측하고, 출력한다. 모델은 대화 또는 기타 자연어에 대해 인간과 유사한 응답을 할 수 있다.

 

예를 들어, LLM 입력창에 대화를 시도한다고 가정해보자. “오늘 점심 메뉴 추천해줘.”와 같은 걸 입력한다면, LLM은 “햄버거”, “떡볶이”, “피자”와 같은 답을 생산할 것이다. 기존 데이터를 기반으로 가장 적절한 답인 “햄버거”로 문장을 생성할 것이다. 하지만, 확률엔진이기에 아까 예시로 든 음식 답변 들 중 백분율을 설정하게 된다. 가령 “햄버거” 60%, “떡볶이”는 “20%”, “피자”는 0.005%의 확률로 나오게 하는 것이다.

 

LLM은 방대한 양의 텍스트 훈련된 인공 지능의 하위 집합이다. 이러한 자연어 응답을 생성하기 위해 LLM은 다층 신경망을 사용하여 복잡한 데이터를 처리, 분석 및 예측하는 심층 학습 모델을 사용한다.

 

메타가 심상치 않다 : 라마2

오픈AI가 챗 GPT(Chat-Gpt)를 먼저 세상에 내놓았다. 온 세상이 떠들썩 했다. 하지만, 메타는 별다른 소식이 없었다.

메타도 가만있을 수 없다. 드디어 LLaMA 2(라마2) 가 세상에 공개됐다. 마크 저커버그가 페이스북을 통해 “마이크로소프트(Microsoft)와 협력하여 차세대 오픈 소스 대규모 언어 모델(LLM)인 Llama 2를 출시합니다”라며, 라마2가 세상에 나왔음을 알린 것이다.

반응형

라마2가 개발되기 까지 : 우여곡절 끝에 개발 된 라마

 

라마 이전의 메타의 과학용 언어모델 갤럭티카(Galactica)는 이전에 발생한 일련의 실패 사례를 통해 배울 수 있는 점들을 반영했다. 예를 들어, 갤럭티카는 출시 후 단 3일 만에 오프라인으로 전환되었다. 이러한 결과로 인해 메타는 허위 정보나 온라인상의 괴롭힘과 같은 AI 언어 모델과 관련된 위험 요소들을 제대로 고려하고 있는지에 대한 의문과 비판을 받게 되었다.

 

이전 모델인 라마(LLaMA) 또한 문제가 있었다. 연구 목적으로만 사용하려 했던 이 모델은 온라인에 유출되어 정치인들로부터 비난받기도 했다. 이러한 사례들로 인해 정치인들은 메타의 머신러닝 기술이 얼마나 신중하게 적용되고 있는지에 대해 의문을 제기하고 있다.

 

메타는 이러한 실수를 반복하지 않기 위해 머신러닝 기술을 혼합하여 적용했다. 이는 유용성과 안정성을 개선하기 위한 시도로 사용되었다. 메타 라마2는 이전 모델보다 40% 더 많은 데이터를 학습에 사용하였으며, 두 가지 학습용 데이터 세트를 활용하였다. 온라인에서 스크랩한 데이터와 인간 어노테이터의 피드백을 반영하여 미세조정된 데이터 세트를 사용했다. 또한, 개인정보가 많이 포함된 사이트의 데이터는 사용하지 않았다고 말했다.

메타의 노력을 통해 이전 모델의 문제점을 보완하고, 더 나은 성능과 안정성을 가진 라마2를 개발하였다.

아쉬운 점

웹사이트를 통해 액세스할 수 있는 챗GPT는 개방성이 좋은 편이다. 필자도 심심하면, 챗GPT랑 종종 얘기를 나눌 정도로, 포털사이트에 챗 GPT쳐서 들어가 말을 걸 정도니깐.

 

그런데, 라마2는 조금 제한적이란 생각이 들었다. 라마2는 메타의 파트너사인 마이크로소프트 애저(Azure), 아마존 웹 서비스(AWS), 허깅 페이스에서만 다운로드할 수 있다는 것이다. 라마1도 연구자들한테만 공개하더니 폐쇄성은 여전히 버리지 못했나 보다.

 

부족한 점은 또 있다. 메타는 라마2 학습에 사용한 데이터 세트를 공개하지 않았다. 또한 데이터 세트에 저작권이나 개인정보를 포함하지 않았음을 확실시하지 않았다. 또한 라마2에는 LLM이 가지고 있는 고질적인 문제, 즉 허위 사실과 불쾌감을 일으키는 언어를 생성하는 경향이 있다.

출처: 연합뉴스

그래도 메타는 도전해야 한다.

라마 2는 연구 및 상업적 용도로 무료로 제공될 예정이라며, 대화형 생성 AI 시장 중 챗GPT가 지배하는 구조에 도전한다는 선포로 들렸다. 올해 연구자로 제한했던 라마1과 달리, 메타는 이번 출시를 통해 라마2를 기반으로 누구나 무료로 상용화 제품을 구축할 수 있게 하여 더 발전된 모델이 나오지 않을까 기대한다.

 

경쟁과 개방적인 접근은 AI 기술의 발전과 상용화를 더욱 가속화 시키며, AI를 보다 폭넓게 사용하고 적용하는 데 기여할 것으로 기대한다. 라마 2의 출시와 무료 상용화로 인해 AI 산업과 관련 산업들은 더욱 빠르게 성장하고 혁신을 이끌어낼 수 있을 것이다.