npm 인스톨 명령어는
npm i -g @continuedev/cli
cn 명령어를 사용해서 실행하면
어떤 AI를 사용할지 설정하라고 함
$ cn
How do you want to get started?
1. ⏩ Log in with Continue 2.
🔑 Enter your Anthropic API key
1. Log in with Continue -> continue 서버에 로그인
Continue 계정
↓
Continue Hub
↓
Claude / GPT / Gemini 연결
2. 직접 Claude API를 연결
Continue CLI
↓
Anthropic API
↓
Claude
==
지금은 내부망 서버에 연결을 해서 쓸 것이고
모델도 다른 모델을 사용 하고 있기 때문에 다른 방식으로 진입 필요함
3. config 로 진입
vscode extension으로 continue를 설치했을 때,
config.yaml 파일이 윈도우에 생성되었을 것이다.
우리는 그 설정파일을 우리 세팅 방식대로 수정해서 사용중이었고
그 파일을 읽어오는 명령어를 사용하면 됨
cn --config /c/Users/UserK/.continue/config.yaml

짜잔~ 성공.
하지만 프롬프트를 입력 했을 때
Error: 400 "auto" tool choice requires --enable-auto-tool-choice and --tool-call-parser to be set
에러가 발생함
- 설치도 정상이고, 모델을 불러오는 것도 정상인데
- 호출 파라미터관련된 옵션이 설정이 안된 상태라고 함.
서버 실행 옵션에 다음과같은 옵션을 추가해야 한다고 지피티한테 답변받음
vllm serve Qwen/Qwen2.5-Coder-14B-Instruct \
--enable-auto-tool-choice \
--tool-call-parser hermes
이제 서버담당자한테 얘기하러가야지!!!
'tool (git, vscode, IntelliJ)' 카테고리의 다른 글
| [git] git tag 란? (feat. 릴리즈노트) (0) | 2023.09.22 |
|---|---|
| [git / flow 전략] git 브랜치 따기 / 운영전략 (develop / feature) (0) | 2023.09.04 |
| [vscode/java11] vscode에서 java 사용하기(세팅, 프로젝트생성) (2) | 2023.08.26 |
| [vscode extension] Turbo Console Log 사용하기(feat. 키바인딩) (0) | 2023.07.18 |