Local LLM을 Open-WebUI로 사용하기

지난 2개의 포스팅에서

1. Ollama를 활용하여 Local LLM 구축한 다음 Windows PowerShell에서 CLI 인터페이스로 사용하는 방법
2. Chrome 확장프로그램을 사용하여 웹 브라우저에서 GUI 인터페이스로 조금 더 나은 환경을 구축하는 방법

을 안내해 드렸습니다.
 
https://dsseo.tistory.com/37

Ollama를 활용하여 Local LLM(Large Language Model) 구축하기

 
https://dsseo.tistory.com/38

Local LLM을 웹 브라우저에서 채팅 형식으로 사용하기

 
오늘은 윈도우 파이썬 환경에서 Open WebUI를 사용하는 방법을 설명 드리겠습니다.
 
Open WebUI 사용법을 검색해 보면 Docker 환경, Linux 또는 Mac 환경에서의 자료는 많은데 의외로 Windows 환경에서 사용법을 간단명료하게 알려주는 곳이 없어 제가 여기에 최대한 깔끔하게 정리해 보겠습니다.
 
사전 작업으로 아래 2가지를 먼저 설치하셔야 합니다.

1. Microsoft Visual C++ Redistributable 최신 Version
2. python 11 버전이상

먼저 Microsoft Visual C++ Redistributable 최신 Version 설치는 아래 사이트에 접속 하신 후
https://learn.microsoft.com/en-us/cpp/windows/latest-supported-vc-redist?view=msvc-170
 
"Latest Microsoft Visual C++ Redistributable Version" 클릭

 
여러분 PC에 맞는 버전을 다운로드(아마 대부분 X64 버전이실 것 같습니다.) 후 설치

 
파이썬 설치에 관한 포스팅은 인터넷에 너무 많으니 설치 방법까지는 생략하겠습니다.
(아래 사이트에서 다운로드 하신 후 3.11 버전 이상으로 설치해 주시면 됩니다.)
 
https://www.python.org/downloads/

Download Python

 
자, 이제 준비가 끝났고 명령줄을 2번 입력해야 합니다.
 
Windows PowerShell 창을 하나 열어주신다음(저는 포스팅을 위해 가상환경을 사용하겠습니다.)
"pip install open-webui" 를 입력 후 엔터키를 누릅니다.

명령줄 입력

 
Open WebUI 하나를 실행하기 위해 필요한 패키지들이 엄청나네요 ㅎㅎ
설치는 PC 사양에 따라 다르겠지만 대략 3~5분 정도 보시면 될 것 같습니다.

필요한 패키지 다운로드 및 설치

 
설치가 완료되면 "open-webui serve"를 입력 후 엔터키를 누릅니다.
처음에는 설치시간 만큼 서버 실행시간도 많이 걸리는데, 다음 시작부터는 훨씬 빠릅니다^^

 
아래와 같은 Welcome 화면이 중간에 나오고

 
connection open이 나오면 99% 끝난겁니다^^

 
이제 브라우저를 여신다음, 주소창에서 http://localhost:8080/ 를 입력하여 접속합니다.

 
Get started 클릭

 
처음 접속시 Admin Account를 하나 생성해 주셔야 합니다. 이 정보는 여러분 로컬에 저장되는 정보입니다.

 
계정 생성 후 "시작합니다"를 클릭합니다.

 
드디어 성공입니다! 언뜻 보면 크롬 플러그인과 비슷한 것 같지만 이것저것 눌러보시면 ChatGPT와 거의 흡사한 인터페이스를 보여주고 있습니다. 또한 크롬 플러그인 대비 업데이트도 꾸준히 되고 있으니 여러분만의 Local LLM을 구축해서 잘 사용하시기 바랍니다.

 
감사합니다.