당신의 클라우드 ‘원픽’ 뉴스레터, 베스픽입니다 🙂
매주 새로운 소식으로 찾아뵙겠습니다.
👍 베스픽의 원픽
[베스픽] ChatGPT 출시 1년… 한국, 중국, 중동 LLM 모델 앞 다투어 등장
하룻밤 사이에 기온이 뚝 떨어졌습니다. 본격적으로 겨울 돌입인가 싶은데요. 베스픽 독자 여러분들 모두 건강 조심하세요!
IT 생태계에 격변을 몰고 온 OpenAI의 ChatGPT가 등장한지 이달로 꼭 1년이 되었습니다. ChatGPT 공개 이후 LLM은 어떻게 발전되었을까요? 여러 기업과 기관들은 발 빠르게 한국어 LLM을 출시했고요. LLM 모델들을 선보이는 플랫폼, 일명 ‘리더보드’도 등장했습니다. 국가의 장벽을 넘어 기업과 기관이 협업하는 오픈 연구소도 출연했고요. 자, 그럼 한국어 LLM 엔진들부터 알아보겠습니다.
● 네이버: 하이퍼클로바 X(HyperCLOVA X)
● 카카오: 코GPT(koGPT)
● SKT: 에이닷(A.)
● KT: 믿음(MI:DEUM)
● LG: 엑사원(EXAONE)
● 엔씨소프트: 바르코(VARCO)
● 스캐터랩: 루다 젠1(Luda Gen 1)
● 고려대학교: 구름(KULLM) GitHub link
● 코난테크놀로지: 코난LLM(Konan LLM)
● 솔트룩스: 루시아(LUXIA)
● 일루더AI(EleutherAI): 한국어 LLM 오픈소스 Polyglot-Ko
한국지능정보사회진흥원(NIA)와 업스테이지는 누구나 참여해 한국어 언어 모델의 성능을 평가하고 비교할 수 있는 리더보드 ‘Open Ko-LLM 리더보드’를 AI 커뮤니티 플랫폼 허깅페이스(Hugging Face)에 만들었는데요. 여기에는 벌써 300여 개의 한국어 언어 모델들이 올라와 있습니다. 기업과 기관, 학교 등 여러 다양한 조직에서 자유롭게 참여하고 있다고 하는데요. 최근 롯데정보통신의 AI 모델이 리더보드 순위 1위를 차지했다는 소식도 있었습니다.
허깅페이스는 머신러닝 모델을 위한 툴과 리소스를 개발하고 정보를 서로 공유하기 위해 설립된 프랑스계 미국 회사이자 오픈 소스 커뮤니티인데요. 생성형 AI 엔진이 등장하면서 관심도가 폭발적으로 상승했습니다. 여기에선 한국어 LLM 모델을 위한 리더보드만이 있는 것이 아니라 아랍어와 같은 다른 언어의 리더보드들도 살펴볼 수 있습니다.
영어 외 다른 언어권의 LLM 모델도 다양하게 선보이고 있는데요. 대표적인 것이 중국어와 아랍어입니다. 아무래도 두 언어를 사용하고 있는 문화권이 넓고 속한 국가도 많다 보니 빠르게 움직이고 있는 것이 아닌가 싶습니다. 중국에서는 10억 개 이상의 매개변수를 갖춘 LLM이 70개 이상 출시되고 있다고도 합니다.
[중국]
● 베이징AI연구원(BAAI,Beijing Academy of Artificial Intelligence): 우 다오2.0(悟道 / Wu Dao)
● 알리바바클라우드: 통이치엔원2.0(通義千問 / Tongyi Qianwen)
● 바이두: 어니3.5(智能巨人 / Ernie3.5)
[중동]
● G42+: Jais
G42의 인셉션 연구소(Inception Institute)와 모하메드 빈 자예드 AI 대학(Mohamed bin Zayed University of Artificial Intelligence, MBZUAI), 세레브라스(Cerebras)와 협력해 개발
● 아부다비 기술 혁신 연구소(Technology Innovation Institute, Abu Dhadi): 팔콘 40B(Falcon 40B)
그리고 일루더AI(EleutherAI)와 같은 비영리 오픈소스 연구 단체도 있는데요. 개발자라면 누구나 제한 없이 사용할 수 있는 오픈소스 LLM을 제공하고 있습니다. 약 1,000여 명의 학술 자원봉사자들로 구성된 프로젝트 조직 빅사이언스(BigScience)가 내놓은 오픈 LLM ‘블룸(BLOOM)’도 있습니다. 빅사이언스는 블룸의 개발을 위해 1년간 60개국 250개 기관의 연구원들이 함께 했다고 하는데요. 여기에는 AI 연구원들뿐만 아니라, 사회 과학, 법률, 윤리, 공공 정책 등 다양한 부문의 전문가들이 참여했다고 합니다. 빅사이언스과 일루더AI 모두 대형 언어 모델 기업에 대응하기 위해 오픈이노베이션을 통한 오픈LLM을 출시한 사례입니다.
OpenAI의 ChatGPT, Google의 Bard, 메타의 LLaMA 등 널리 쓰이고 있는 LLM들 외에도 이렇게나 다양한 LLM 모델들이 있다는 것이 놀랍지 않으신가요? 고작 1년 동안 이렇게 활발하게 발전되었다면, 앞으로 1년 뒤에는 또 어떤 혁신적인 활동들이 펼쳐질지 상상하기가 어렵습니다. 또 소규모 LLM 모델인 sLLM이 앞으로 더 많이 등장할 것이라고 하는데요. 전 세계 언어 수천 개 중 1,000만 명 이상이 사용하는 언어는 약 20개로 세계 인구의 60%가 사용하고 있습니다. 더욱 다양한 sLLM이 곧 등장할 것이니 흥미롭게 지켜보시면 어떨까요?
Sources:
- The Open Ko-LLM Leaderboard
- HuggingFace
- 전자신문 – 롯데정보통신 AI모델, 한국어 특화 LLM 리더보드 1위
- Open Arabic LLM Leaderboard
- AI 타임스 – “중국서 10억개 이상 매개변수를 갖춘 LLM 70개 이상 출시”
- Forbes – Wu Dao 2.0 – Bigger, Stronger, Faster AI From China
- alizila – Alibaba Cloud Debuts Generative AI Model for Corporate Users
- Baidu Research – Introducing ERNIE 3.5: Baidu’s Knowledge-Enhanced Foundation Model Takes a Giant Leap Forward
- JAIS
- Falcon 180B
- EleutherAI
- BigScience – A one-year long research workshop on large multilingual models and datasets
⛅ 안쓰면 클나우
AI 비즈니스를 하고 싶은데 어떻게 시작해야 할지 막막하신가요?
전문 인력 없이도 AI 프로젝트를 체계적이고 효율적으로 진행하기 원하시나요?
AI 비즈니스에 필요한 모든 영역을 지원하는 베스핀글로벌의 AI MSP 서비스 ‘B2D2’를 소개합니다. 다양한 데이터 + AI 프로젝트를 수행해 온 베스핀글로벌의 경험과 역량을 바탕으로 AI 비즈니스의 End-to-End 서비스를 제공합니다.
● Consulting
● Modern Data Stack
● Analytical AI Stack
● Generative AI Stack
● Training
데이터 활용 목적과 산업별 특성, 조직 규모 등을 고려해 가장 적합한 서비스를 선택하고 AI 비즈니스 단계별 최적의 방안을 실행할 수 있습니다. 베스핀글로벌의 전문가들과 함께 AI 여정을 누구보다 빠르고 안전하게 시작하세요!
👉 Bespin Global ‘B2D2’ 자세히 살펴보기
👉 AI MSP ‘B2D2’ 문의사항 남기기