قم بتنزيل نماذج Deepseek AI

1. Deepseek-V3 النشر

يمكن نشر Deepseek-V3 محليًا باستخدام الأجهزة التالية وبرامج المجتمع المفتوح المصدر:

1. Deepseek-Infer Demo: يوفر Deepseek عرضًا بسيطًا وخفيف الوزن لاستنتاج FP8 و BF16.
2. SGLANG: دعم تمامًا نموذج Deepseek-V3 في كل من أوضاع الاستدلال BF16 و FP8 ، مع تنبؤ متعدد الأجزاء قريبًا.[1 ]
3. LMDeploy: يتيح استنتاج FP8 و BF16 الفعال للنشر المحلي والسحابي.
4. Tensorrt-LLM: يدعم حاليًا الاستدلال BF16 وقياس int4/8 ، مع دعم FP8 قريبًا.
5. VLLM: دعم نموذج Deepseek-V3 مع أوضاع FP8 و BF16 للتوازي الموتر وتوازي خط الأنابيب.
6. AMD GPU: يتيح تشغيل نموذج Deepseek-V3 على AMD GPU عبر SGLANG في كل من أوضاع BF16 و FP8.
7. Huawei Ascend NPU: يدعم تشغيل Deepseek-V3 على أجهزة Huawei Ascend.

نظرًا لأن تدريب FP8 تم اعتماده أصليًا في إطار عملنا ، فإننا نقدم فقط أوزان FP8. إذا كنت بحاجة إلى أوزان BF16 للتجربة ، فيمكنك استخدام البرنامج النصي للتحويل المقدم لأداء التحول.

فيما يلي مثال على تحويل أوزان FP8 إلى BF16:

cd inference
python fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --output-bf16-hf-path /path/to/bf16_weights

1.1 الاستدلال مع Deepseek-Infer العرض (مثال فقط)

متطلبات النظام

التبعيات:

torch==2.4.1
triton==3.0.0
transformers==4.46.3
safetensors==0.4.5

الأوزان النموذجية

أولاً ، استنساخ مستودع Deepseek-V3 github:

git clone https://github.com/deepseek-ai/DeepSeek-V3.git

انتقل إلى مجلد "الاستدلال" وتثبيت التبعيات المدرجة في "المتطلبات. txt`. أسهل طريقة هي استخدام مدير الحزمة مثل "كوندا" أو "UV" لإنشاء بيئة افتراضية جديدة وتثبيت التبعيات.

cd DeepSeek-V3/inference
pip install -r requirements.txt

قم بتنزيل الأوزان النموذجية من Face Face ، ووضعها في مجلد `/to/deepseek-v3`.

نموذج تحويل الأوزان

تحويل أوزان نموذج الوجه المعانقة إلى تنسيق محدد:

python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo --n-experts 256 --model-parallel 16

يجري

ثم يمكنك الدردشة مع Deepseek-V3:

torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200

أو استنتاج الدُفعات على ملف معين:

torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --input-file $FILE

1.2 الاستدلال مع SGLANG (موصى به)

SGLang يدعم SGLANG حاليًا تحسينات MLA ، واهتمام DP ، و FP8 (W8A8) ، و FP8 KV ذاكرة التخزين المؤقت ، وتجميع الشعلة ، مما يوفر أداء الكمون الحديث وأداء الإنتاجية بين أطر العمل المفتوح.[1 ][2 ][3 ]

والجدير بالذكر أن SGLANG V0.4.1 يدعم تمامًا تشغيل Deepseek-V3 على كل من NVIDIA و AMD GPUS ، مما يجعله حلاً متعدد الاستخدامات وقوي للغاية.[1 ]

يدعم SGLANG أيضًا موازاة الموتر متعدد العقدة ، مما يتيح لك تشغيل هذا النموذج على آلات متعددة متصلة بالشبكة.[1 ]

التنبؤ المتعدد (MTP) قيد التطوير ، ويمكن تتبع التقدم في خطة التحسين.[1 ]

فيما يلي تعليمات الإطلاق من فريق SGLANG:[1 ]

1.3 الاستدلال مع LMDeploy (موصى به)

LMDeploy LMDeploy ، وهو استدلال مرن وعالي الأداء وإطار عمل مصمم خصيصًا لنماذج اللغة الكبيرة ، يدعم الآن Deepseek-V3. إنه يوفر كل من معالجة خطوط الأنابيب في وضع عدم الاتصال وإمكانيات النشر عبر الإنترنت ، مع الاندماج بسلاسة مع سير العمل المستندة إلى Pytorch.[1 ]

للحصول على تعليمات شاملة خطوة بخطوة حول تشغيل Deepseek-V3 مع LMDeploy ، يرجى الرجوع إلى هنا:[1 ]

1.4 الاستدلال مع TRT-LLM (موصى به)

TensorRT-LLM يدعم Tensorrt-Llm الآن نموذج Deepseek-V3 ، حيث يقدم خيارات دقيقة مثل BF16 و Int4/Int8 فقط. الدعم لـ FP8 قيد التقدم حاليًا وسيتم إصداره قريبًا. يمكنك الوصول إلى الفرع المخصص لـ TRTLLM خصيصًا لدعم Deepseek-V3 من خلال الرابط التالي لتجربة الميزات الجديدة مباشرة:[1 ][2 ]

1.5 الاستدلال مع VLLM (موصى به)

vLLM يدعم VLLM V0.6.6 الاستدلال Deepseek-V3 لأوضاع FP8 و BF16 على كل من NVIDIA و AMD GPUs. بصرف النظر عن التقنيات القياسية ، يوفر VLLM موازية لخط الأنابيب مما يتيح لك تشغيل هذا النموذج على أجهزة متعددة متصلة بالشبكات. للحصول على إرشادات مفصلة ، يرجى الرجوع إلى تعليمات VLLM. لا تتردد في متابعة خطة التحسين أيضًا.[1 ][2 ][3 ]

1.6 وظيفة الاستدلال الموصى بها مع AMD GPUS

بالتعاون مع فريق AMD ، حقق Deepseek دعمًا لـ AMD GPU باستخدام SGLANG ، مع توافق كامل لكل من دقة FP8 و BF16. للحصول على إرشادات مفصلة ، يرجى الرجوع إلى تعليمات SGLANG.[1 ]

1.7 وظيفة الاستدلال الموصى بها مع Huawei Ascend NPUS

قام إطار Mindie من مجتمع Huawei Ascend بتكييف إصدار BF16 من Deepseek-V3 بنجاح. للحصول على إرشادات خطوة بخطوة على Ascend NPU ، يرجى اتباع التعليمات هنا.[1 ][2 ]

2. ديبسيك-R1 النشر

2.1 نماذج Deepseek-R1

يرجى زيارة قسم نشر Deepseek-V3 أعلاه لمزيد من المعلومات حول تشغيل DeepSeek-R1 محليًا.

2.2 نماذج Deepseek-R1-Distill

يمكن استخدام نماذج Deepseek-R1-Distill بنفس الطريقة التي يتم بها نماذج Qwen أو Llama.

على سبيل المثال ، يمكنك بسهولة بدء خدمة باستخدام VLLM:[1 ]

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

يمكنك أيضًا بدء خدمة باستخدام SGLANG:[1 ]

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

2.3 توصيات الاستخدام

نوصي بالالتزام بالتكوينات التالية عند استخدام نماذج سلسلة DeepSeek-R1 ، بما في ذلك القياس ، لتحقيق الأداء المتوقع:

1. اضبط درجة الحرارة في حدود 0.5-0.7 (0.6) لمنع التكرار الذي لا نهاية له أو المخرجات غير المترابطة.
2. تجنب إضافة موجه النظام ؛ يجب احتواء جميع الإرشادات داخل موجه المستخدم.
3. بالنسبة للمشاكل الرياضية ، يُنصح بتضمين توجيه في مطالبك مثل: "يرجى العقل خطوة بخطوة ، ووضع إجابتك النهائية داخل المعبأة".
4. عند تقييم أداء النموذج ، يوصى بإجراء اختبارات متعددة ومتوسط ​​النتائج.

downloadPage.howToRun.sections.r1.subsections.usageRecommendations.thinkingPatternDescriptiondownloadPage.howToRun.sections.r1.subsections.usageRecommendations.thinkingPatternRecommendation

3. DEEPSEEK-V3-0324 النشر

يستخدم Deepseek-V3-0324 نفس النموذج الأساسي مثل Deepseek-V3 السابق ، مع تحسينات فقط في طرق ما بعد التدريب. للنشر الخاص ، تحتاج فقط إلى تحديث نقطة التفتيش و tokenizer_config.json (أدوات مكالمات التغييرات المتعلقة).

تتطابق خيارات النشر وأطر العمل لـ DEEPSEEK-V3-0324 لتلك الخاصة بـ DEEPSEEK-V3 الموضحة في القسم 1. جميع مجموعات الأدوات نفسها (SGLANG ، LMDEPLOY ، TENSORRT-LLM ، VLLM) تدعم Deepseek-V3-0324 مع نفس خيارات التكوين.