글을 작성하는 현 시점은 누구도 부인할 수 없는 생성형 AI Tool의 전성시대 라고 할 수 있을 것 같습니다.
문서요약, 이미지 생성등 각 목적에 맞는 서비스들이 지속적으로 생겨나는데, 어떻게 이것들을 일상과 업무에 활용할지 고민스러운 요즘입니다.
저도 처음에는 거대 언어 모델(Large Language Model)을 활용한 챗봇 형식의 서비스들을 주로 코딩에 도움을 얻기 위해 사용하다가, 이제는 일상에 필요한 가벼운 인터넷 검색도 AI Tool을 먼저 활용하고 있습니다.
(인터넷 검색 AI Tool은 https://www.perplexity.ai/ 를 활용해 보시기를 강력히 추천 드립니다.)
최근에는 ChatGPT도 인터넷 검색 결과를 바탕으로 응답결과를 내어 주긴 하던데, 아직은 perplexity가 검색결과 요약에서 우세하다는 생각입니다.(직접 사용해 보시면 차이가 느껴지실거에요)
서론이 길었는데, AI Tool들의 모델 파일을 여러분의 컴퓨터에 다운로드하여, Local에서 LLM을 구동시킬 수 있는 방법을 소개해 드리고자 합니다.
사실 Local LLM에 별 관심이 없었다가, 얼마전 회사에서 사내보안의 이유로 ChatGPT 접속을 막아버렸고 ChatGPT 접속이 가능하던 때에도 파일 업로드를 통한 데이터 분석 질문은 불가능했기 때문에 Local LLM에 대해 관심을 갖게 되었습니다.
먼저 Ollama 웹사이트에 접속합니다.
다운로드 클릭
운영체제에 맞는 파일을 다운로드해 주세요.
설치 완료 후 Ollma를 실행하시면 시스템 트레이 아이콘에 Ollama 아이콘이 보이실거에요.
이제 Windows PowerShell을 하나 열어두시고, ollama.com에서 원하는 모델을 다운로드 하겠습니다.
검색창에서 Meta에서 제공하는 llama Model을 검색해 보겠습니다.
(현 시점) 최신 모델인 llama3.3 70B 모델(43G)을 다운로드해 보겠습니다.
3.3 70B모델(43G)이 3.1 405B 모델(243G)과 비슷한 성능을 낼 수 있다고 안내되어 있네요.
참고로 3.1의 405B 모델(243G)은 벤치마킹 결과 ChatGPT4와 동등 또는 유사한 성능을 낸다고 합니다.
"ollama run llama3.3" 텍스트를 복사하셔도 되고, 표시된 복사 버튼을 클릭하셔도 클립보드에 복사가 됩니다.
이제 다시 Windows PowerShell로 가서 복사한 텍스트 명령줄을 붙여넣기 하고 실행해 보겠습니다.
모델 다운로드가 시작되고 정상적으로 실행이 된다면, 여러분은 아주 좋은 PC를 사용하고 계신것입니다^^;
제가 사용하는 PC는 43G에 달하는 모델 파일을 열심히 다운로드 후 실행하면 아래와 같은 메모리 부족경고가 뜹니다.
제가 이런저런 모델 파일을 다운로드하여 실행 테스트를 해본결과 일반적으로 많이 사용하시는 노트북에서는 "llama3.1 8b" 를 사용하시는 것이 가장 적당해 보입니다.
모델파일 용량이 작아지면 답변의 수준도 내려가기는 하지만 용량대비 선형곡선으로 수준 차이가 나는 정도는 아닙니다.
즉, 43G 파일의 답변 수준이 243G 파일의 17%(= 43/243)밖에 안 되는 것이 아닙니다.
앞서 소개해 드린대로 3.3 70B모델(43G)이 3.1 405B 모델(243G)과 유사한 성능을 낸다고 하니, 다음 버전에서는 더 낮은 용량으로 3.3 70B 성능을 사용할 수 있기를 기대해 봅니다.
자, 이제 현실과 타협(?)한 llama3.1을 다운로드 하고 실행해 보겠습니다.
설치가 완료되고 나면 바로 명령 프롬프트에 질문을 던져볼 수 있습니다.
미국산(?)이라 그런지 확실히 영어를 더 잘 하네요^^
한국어로 질의 응답을 많이 하시는 분은 LG AI 연구원에서 출시한 exaone3.5 모델을 다운로드하여 실행해 보시면 꽤 괜찮은 답변을 얻으실 수 있습니다.(ollama.com에 있습니다.)
이제 파이썬 코드에 대한 도움을 얻기 위해, exaone3.5에는 한글로 질문을, llama 모델에는 영어로 질문을 해 보겠습니다.
이상 여러분의 PC에 Local LLM을 구축하는 방법을 소개해 드렸습니다.
다음 포스팅에서는 명령 프롬프트 기반 LLM을 웹브라우저에서 ChatGPT와 유사한 환경으로 사용할 수 있는 방법을 소개해 드리겠습니다.
'생성형 AI > Local LLM(Large Language Model) 구축' 카테고리의 다른 글
| Local LLM을 Open-WebUI로 사용하기 (0) | 2025.01.20 |
|---|---|
| Local LLM을 웹 브라우저에서 채팅 형식으로 사용하기 (2) | 2025.01.04 |