로컬 LLM

회사 PC나 서버에서 실행 중인 Ollama를 연결합니다. OCR 서버 주소와 로컬 LLM 이용내역도 여기서 관리합니다.

로컬 LLM은 Dotory Chat에서 회사 내부 PC나 서버에서 실행되는 AI 모델을 사용하는 방식입니다. Ollama처럼 내부 환경에 준비된 모델을 채팅에 연결해, AI 요청을 회사가 관리하는 실행 환경에서 처리합니다.

같은 메뉴에서 OCR 서버 주소도 저장합니다. 로컬 LLM으로 처리된 요청 기록도 확인합니다.

Dotory Chat에서 사용할 AI는 크게 세 가지 방식으로 나뉩니다.

💡 모델관리와 이용내역은 구독 상태에 따라 잠길 수 있습니다. OCR 모델 관리는 별도 잠금 대상이 아닙니다.

💡 빌트인 AI와 로컬 LLM은 다릅니다. 빌트인 AI는 관리자앱 안의 제목 생성, 요약, OCR 보정 등에 쓰는 내장 모델입니다.

모델관리: Ollama 연결하기

1 Ollama 서버 주소를 입력합니다. 관리자앱에서 접속할 수 있는 주소여야 합니다. 같은 PC에서 Ollama를 실행한다면 http://127.0.0.1:11434를 사용합니다.
2 연결 테스트를 실행합니다. 테스트가 성공해야 모델 목록을 불러오고 저장할 수 있습니다.
3 채팅에 사용할 모델을 오른쪽 영역으로 옮깁니다. 여러 개를 고르면 위에 있는 모델부터 우선 사용합니다.
4 저장하면 서버 주소와 선택한 모델이 함께 적용됩니다.

⚠️ 주소가 틀렸거나 방화벽이 막으면 모델 목록이 비어 있을 수 있습니다.

OCR 모델 관리에서는 앱 밖에서 실행 중인 OCR 서버 주소를 저장합니다. 저장한 값은 OCR 도구의 paddle, docling 엔진에 바로 적용됩니다.

1 PaddleOCR-VL (paddle)에는 layout-parsing 서버 주소를 입력합니다. 이미지와 PDF OCR에 사용합니다. 기본 주소는 http://127.0.0.1:5100입니다.
2 docling (docling-serve)에는 docling-serve REST API 주소를 입력합니다. Office 문서 처리에 사용합니다. 기본 주소는 http://127.0.0.1:5001입니다.
3 기본값으로 되돌리기를 누르면 기본 주소가 다시 들어갑니다. 실제 반영은 저장을 눌러야 됩니다.

⚠️ 두 주소 중 하나라도 비어 있으면 저장되지 않습니다. OCR 서버를 따로 바꾸지 않을 때는 기본 주소를 그대로 두세요.

이용내역에서는 로컬 LLM 요청 기록을 봅니다. 성공 여부와 토큰 사용량을 확인할 수 있습니다.

이 화면은 로컬 LLM 기록만 보여줍니다. 비용, 크레딧, BYOK 키 정보는 표시하지 않습니다.

⚠️ 실패가 반복되면 모델관리에서 Host URL을 다시 확인하세요. Ollama 실행 상태와 방화벽도 함께 확인하세요.

Ollama Host를 바꿨는데 저장 버튼을 누를 수 없습니다.

Host를 바꾸면 먼저 연결 테스트를 해야 합니다. 테스트가 성공해야 저장할 수 있습니다. 관리자앱에서 접속할 수 있는 HTTP 주소인지 확인하세요. Ollama가 실행 중인지도 확인하세요.

Ollama Host를 비워 저장하면 어떻게 되나요?

Ollama 사용이 꺼집니다. 선택된 모델 설정도 함께 비워집니다. 저장 전 확인 창이 한 번 더 나옵니다.

연결 테스트 후 선택한 모델 수가 줄었습니다.

현재 Ollama 서버에 없는 모델은 선택에서 빠집니다. 계속 쓰려면 Ollama에 그 모델을 먼저 설치하세요. 그 다음 연결 테스트를 다시 실행하세요.

OCR 기본값으로 되돌리면 바로 적용되나요?

바로 적용되지 않습니다. 입력칸만 기본값으로 바뀝니다. 실제로 반영하려면 저장을 눌러야 합니다. PaddleOCR Host와 Docling Host는 둘 다 입력되어 있어야 합니다.