DeepSeek AI 모델을 다운로드하십시오

1. DeepSeek-V3 배포

DeepSeek-V3은 다음 하드웨어 및 오픈 소스 커뮤니티 소프트웨어를 사용하여 로컬로 배포 할 수 있습니다.

1. DeepSeek-Infer Demo : DeepSeek은 FP8 및 BF16 추론을위한 간단하고 경량 데모를 제공합니다.
2. SGLANG : BF16 및 FP8 추론 모드에서 DeepSeek-V3 모델을 완전히 지원하며 다중 점화 예측이 곧 나타납니다.[1 ]
3. LMDEPLOY : 로컬 및 클라우드 배포에 대한 효율적인 FP8 및 BF16 추론을 가능하게합니다.
4. Tensorrt-LLM : 현재 BF16 추론 및 Int4/8 Quantization을 지원하며 FP8 지원이 곧 출시됩니다.
5. VLLM : 텐서 병렬 처리 및 파이프 라인 병렬 처리를위한 FP8 및 BF16 모드를 사용하여 DeepSeek-V3 모델을 지원합니다.
6. AMD GPU : BF16 및 FP8 모드 모두에서 Sglang을 통해 AMD GPU에서 DeepSeek-V3 모델을 실행할 수 있습니다.
7. Huawei Ascend NPU : Huawei Ascend 장치에서 Deepseek-V3을 실행하는 지원.

FP8 교육은 프레임 워크에서 기본적으로 채택되므로 FP8 가중치 만 제공합니다. 실험을 위해 BF16 가중치가 필요한 경우 제공된 변환 스크립트를 사용하여 변환을 수행 할 수 있습니다.

다음은 FP8 가중치를 BF16으로 변환하는 예입니다.

cd inference
python fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --output-bf16-hf-path /path/to/bf16_weights

1.1 Deepseek-Infer 데모에 대한 추론 (예제 만)

시스템 요구 사항

종속성 :

torch==2.4.1
triton==3.0.0
transformers==4.46.3
safetensors==0.4.5

모델 가중치

먼저 DeepSeek-V3 Github 저장소를 복제하십시오.

git clone https://github.com/deepseek-ai/DeepSeek-V3.git

`추론 '폴더로 이동하고`re impretment.txt`에 나열된 종속성을 설치하십시오. 가장 쉬운 방법은`Conda` 또는`UV`와 같은 패키지 관리자를 사용하여 새로운 가상 환경을 만들고 종속성을 설치하는 것입니다.

cd DeepSeek-V3/inference
pip install -r requirements.txt

Hugging Face에서 모델 가중치를 다운로드하여`/path/to/deepseek-v3` 폴더에 넣습니다.

모델 가중치 변환

포옹 얼굴 모델 가중치를 특정 형식으로 변환합니다.

python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo --n-experts 256 --model-parallel 16

달리다

그런 다음 DeepSeek-v3과 채팅 할 수 있습니다.

torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200

또는 주어진 파일의 배치 추론 :

torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --input-file $FILE

1.2 SGLANG에 대한 추론 (권장)

SGLang SGLANG은 현재 MLA 최적화, DP주의, FP8 (W8A8), FP8 KV 캐시 및 토치 컴파일을 지원하여 오픈 소스 프레임 워크간에 최첨단 대기 시간 및 처리량 성능을 제공합니다.[1 ][2 ][3 ]

특히 Sglang V0.4.1은 NVIDIA 및 AMD GPU 모두에서 DeepSeek-V3을 실행하는 것을 완전히 지원하므로 다재다능하고 강력한 솔루션이됩니다.[1 ]

SGLANG은 또한 다중 노드 텐서 병렬 처리를 지원하므로 여러 네트워크 연결 시스템 에서이 모델을 실행할 수 있습니다.[1 ]

MTP (Multi-Token Prediction)가 개발 중이며 최적화 계획에서 진행될 수 있습니다.[1 ]

Sglang 팀의 런칭 지침은 다음과 같습니다.[1 ]

1.3 LMDEPLOY에 대한 추론 (권장)

LMDeploy LMDEPLOY, 유연하고 고성능 추론 및 대형 언어 모델에 맞게 조정 된 서빙 프레임 워크 인 LMDEPLOY는 이제 DeepSeek-V3을 지원합니다. 오프라인 파이프 라인 처리 및 온라인 배포 기능을 모두 제공하며 Pytorch 기반 워크 플로와 완벽하게 통합됩니다.[1 ]

LMDEPLOY로 DeepSeek-V3를 실행하는 것에 대한 포괄적 인 단계별 지침은 여기를 참조하십시오.[1 ]

1.4 TRT-LLM에 대한 추론 (권장)

TensorRT-LLM Tensorrt-LLM은 이제 DeepSeek-V3 모델을 지원하여 BF16 및 INT4/Int8 Weight 전용과 같은 정밀 옵션을 제공합니다. FP8에 대한 지원이 현재 진행 중이며 곧 출시 될 예정입니다. 다음 링크를 통해 DeepSeek-V3 지원을 위해 특별히 TRTLLM의 사용자 정의 지점에 액세스하여 새로운 기능을 직접 경험할 수 있습니다.[1 ][2 ]

1.5 VLLM에 대한 추론 (권장)

vLLM VLLM V0.6.6은 NVIDIA 및 AMD GPU의 FP8 및 BF16 모드에 대한 DeepSeek-V3 추론을 지원합니다. 표준 기술 외에도 VLLM은 파이프 라인 병렬 처리를 제공하여 네트워크로 연결된 여러 시스템 에서이 모델을 실행할 수 있습니다. 자세한 지침은 VLLM 지침을 참조하십시오. 향상 계획도 자유롭게 따르십시오.[1 ][2 ][3 ]

1.6 AMD GPU를 사용한 권장 추론 기능

AMD 팀과 협력하여 DeepSeek은 SGLANG을 사용하여 AMD GPU에 대한 일대일 지원을 달성했으며 FP8 및 BF16 Precision 모두에 대한 전체 호환성을 달성했습니다. 자세한 지침은 Sglang 지침을 참조하십시오.[1 ]

1.7 Huawei Ascend NPU의 권장 추론 기능

Huawei Ascend 커뮤니티의 Mindie 프레임 워크는 Deepseek-V3의 BF16 버전을 성공적으로 조정했습니다. Ascend NPU에 대한 단계별 지침은 여기에서 지침을 따르십시오.[1 ][2 ]

2. DeepSeek-R1 배포

2.1 DeepSeek-R1 모델

현지에서 DeepSeek-R1을 실행하는 것에 대한 자세한 내용은 위의 DeepSeek-V3 배포 섹션을 방문하십시오.

2.2 Deepseek-R1- 측정 모델

DeepSeek-R1-Distill 모델은 Qwen 또는 LLAMA 모델과 동일한 방식으로 사용될 수 있습니다.

예를 들어 VLLM을 사용하여 서비스를 쉽게 시작할 수 있습니다.[1 ]

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

sglang을 사용하여 서비스를 쉽게 시작할 수도 있습니다.[1 ]

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

2.3 사용 권장 사항

벤치마킹을 포함한 DeepSeek-R1 시리즈 모델을 사용하여 예상 성능을 달성 할 때 다음 구성을 고수하는 것이 좋습니다.

1. 끝없는 반복이나 일관성이없는 출력을 방지하기 위해 0.5-0.7 (0.6 권장) 범위 내에서 온도를 설정하십시오.
2. 시스템 프롬프트 추가를 피하십시오. 모든 지침은 사용자 프롬프트 내에 포함되어야합니다.
3. 수학적 문제의 경우 '단계별로 추론하고 최종 답변을 Boxed에 넣으십시오.'와 같은 프롬프트에 지침을 포함시키는 것이 좋습니다.
4. 모델 성능을 평가할 때 여러 테스트를 수행하고 결과를 평균화하는 것이 좋습니다.

또한 DeepSeek-R1 시리즈 모델은 특정 쿼리에 응답 할 때 사고 패턴을 우회하는 경향이 있음을 관찰했습니다. 이는 모델의 성능에 악영향을 줄 수 있습니다.모델이 철저한 추론에 참여하도록하려면 모든 출력의 시작 부분에서 <Think> </Think>로 응답을 시작하도록 모델을 시행하는 것이 좋습니다.

3. DeepSeek-V3-0324 배포

DeepSeek-V3-0324는 이전 DeepSeek-V3과 동일한 기본 모델을 사용하며, 후 훈련 방법이 개선됩니다. 개인 배포의 경우 Checkpoint 및 Tokenizer_config.json (도구 호출 관련 변경 사항) 만 업데이트하면됩니다.

DeepSeek-V3-0324의 배포 옵션 및 프레임 워크는 섹션 1에 설명 된 DeepSeek-V3의 것과 동일합니다. 동일한 툴킷 (sglang, lmdeploy, tensorrt-llm, vllm)은 동일한 구성 옵션으로 deepseek-v3-0324를 지원합니다.