안녕하세요 오늘은 BESPIN GLOBAL AX실 양재현님이 작성해주신 ‘AI 이것만은 알고가자 2편 : LLM 이란?’ 대해 소개해드리도록 하겠습니다. 2편에서는 1편에서 살펴봤던 langchain에 개념에서 가장 핵심 주축이 되는 LLM(대규모 언어 모델) 을 알아보겠습니다.
목차
- NLP 개념
- LLM의 발전 양상도
- NLP 개념
LLM 알기 전에 NLP 개념부터 살펴 보고 가겠습니다. ( LLM도 NLP의 한 부분입니다.)
자연어 처리(NLP)는 컴퓨터가 인간의 언어를 이해하고 해석하며 생성할 수 있도록 하는 인공지능(AI) 분야입니다.
NLP는 인간과 컴퓨터 간의 자연스러운 상호작용을 가능하게 하기 위해 다양한 기술과 알고리즘을 개발합니다.
주요 NLP 작업은 아래와 같습니다.
- 텍스트 분류: 이메일을 스팸과 비스팸으로 분류하거나, 리뷰의 감정을 분석하는 작업입니다.
- 명명된 개체 인식(NER): 텍스트에서 인물, 장소, 날짜와 같은 특정 개체를 식별하는 작업입니다.
- 기계 번역: 한 언어의 텍스트를 다른 언어로 번역하는 작업입니다.
- 질문 응답(Q&A): 사용자의 질문에 대해 정확한 답변을 제공하는 시스템입니다.
- 텍스트 요약: 긴 문서를 짧고 간결한 요약으로 변환하는 작업입니다.
- 자연어 생성(NLG): 의미 있는 텍스트를 생성하는 작업, 예를 들어 챗봇의 응답을 생성합니다.
따라서 LLM 모델은 NLP 기법을 활용하여 학습됩니다.
현재 NLP 모델의 거의 대부분은 트랜스포머 transformer 아키텍처를 기반으로 설계되며 모델의 용도에 따라 트랜스포머의 인코딩 디코더를 개별 또는 통합 사용하는 추세입니다.
위 트랜스포머 아키텍처를 보고 인코더 쪽과 디코더에 대해 아래와 같이 이해하고 넘어가겠습니다.
- 인코더 쪽 – 말을 잘 이해하는 쪽
- 디코더 – 말을 잘하는 쪽
2. LLM의 발전 양상도
따라서 LLM의 발전 양상도 – 디코더 중심의 빠른 발전이 있었습니다. ( 말을 잘하는 쪽이 빠른 발전이 있었습니다.)
https://github.com/Mooler0410/LLMsPracticalGuide/blob/main/imgs/tree.jpg 아래 그림참조
위 발전 양상도 그림을 보시면 인코더 쪽보다는 디코더 발전이 훨씬 많이 발전 된 것을 확인할 수 있습니다.
따라서 여러분이 많이 아는 ChatGpt , open ai 는 Closed Source이며 뛰어난 성능, api 방식의 편리한 사용성이 있지만, 단점으로는 보장할수 없는 보안 , API 호출 비용이 있습니다.
한편 Opensource 경우에는 LLaMA , MPT-7B 등 Closed Source 보다 못지 않은 성능이며 높은 보안성, 낮은 비용이 있지만 개발 난이도가 높으며, 사용하기 위한 gpu 서버가 필요합니다.
과거에는 오픈소스와 클로즈소스의 차이가 성능의 차이가 컸지만 현재는 점점 개선되고 있습니다.
이렇게 LLM 은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 인공지능 모델입니다.
따라서 학습된 데이터의 양도 특화되게 나라별 언어로 전용 모델로 제공합니다.
https://huggingface.co/models 참조
여기까지 ‘AI 이것만은 알고가자 2편 : LLM 이란?’’에 대해 소개해드렸습니다. 유익한 정보가 되셨길 바랍니다. 감사합니다. 다음 시간에는 방대하게 학습된 LLM 모델에게 어떻게 명령을 수행하는 프롬프트에 대해서 알아 보도록 하겠습니다.
감사합니다.
Written by 양 재현/ AX실
BESPIN GLOBAL