Local LLM을 웹 브라우저에서 채팅 형식으로 사용하기
지난 포스팅에서 Ollama를 사용하여 내 컴퓨터에 LLM을 구축하는 방법을 설명드렸습니다.
Ollama를 활용하여 Local LLM(Large Language Model) 구축하기
글을 작성하는 현 시점은 누구도 부인할 수 없는 생성형 AI Tool의 전성시대 라고 할 수 있을 것 같습니다. 문서요약, 이미지 생성등 각 목적에 맞는 서비스들이 지속적으로 생겨나는데, 어떻게
dsseo.tistory.com
이번 포스팅은 Local LLM이 구축된 상태에서, 이를 CLI(Command-Line Interface)가 아닌 크롬 확장 프로그램을 활용하여 브라우저에서 채팅 형식으로 사용하는 방법에 대해 설명드리겠습니다.
크롬 웹 스토어에 접속합니다.
https://chromewebstore.google.com/
Chrome Web Store
브라우저에 새로운 기능을 추가하고 탐색 환경을 맞춤설정합니다.
chromewebstore.google.com
검색창에 ollama-ui를 검색하신 후 설치를 진행합니다.
크롬 확장 프로그램에서 ollama-ui를 선택해 주시면 사실상 끝입니다.(너무 쉽죠?)
확장 프로그램을 실행하시고 우측에서 Model을 선택 하신 후, 채팅 형식으로 Local LLM을 조금 더 편하게 활용하실 수 있습니다.
예시로 인공지능에게 인공지능의 미래를 물어보았습니다.
CLI 환경보다 훨씬더 쾌적하네요. 답변 생성중에 Stop 버튼을 클릭하시면 답변을 중지하실 수도 있고, Save Chat 기능으로 채팅을 저장했다가 다시 불러오실 수도 있습니다.
다음 포스팅에서는 윈도우 파이썬 환경에서 Open WebUI를 활용하여 조금 더 ChatGPT와 유사한 환경을 구축하는 방법에 대해 설명 드리겠습니다.