پایگاه دانش مدل های محلی

نصب Ollama

از سایت رسمی دانلود و نصب کنید:

curl -fsSL https://ollama.com/install.sh | sh

یا از ollama.com/download برای macOS/Windows دانلود کنید.

دانلود و اجرای مدل

محبوب‌ترین مدل‌ها با یک دستور:

# Llama 3.1 8B — محبوب‌ترین مدل عمومی
ollama run llama3.1

# Qwen 2.5 7B — بهترین برای کدنویسی و فارسی
ollama run qwen2.5:7b

# Mistral 7B — سریع و سبک
ollama run mistral

# Gemma 2 9B — ساخت گوگل
ollama run gemma2:9b

# DeepSeek Coder V2 — تخصصی کدنویسی
ollama run deepseek-coder-v2:16b

استفاده از API

Ollama یک API سازگار با OpenAI ارائه می‌دهد:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt": "سلام! خودت رو معرفی کن",
  "stream": false
}'

مدیریت مدل‌ها

# لیست مدل‌های دانلود شده
ollama list

# حذف مدل
ollama rm llama3.1

# اطلاعات مدل
ollama show llama3.1

دانلود و نصب

از lmstudio.ai دانلود کنید. نسخه macOS، Windows و Linux موجود است.

جستجو و دانلود مدل

در تب Search، نام مدل را جستجو کنید و نسخه مناسب سیستم‌تان را دانلود کنید.

اجرای چت

در تب Chat، مدل را انتخاب کنید و شروع به چت کنید. سرور API داخلی نیز فعال می‌شود.

نصب

pip install vllm

اجرای سرور

# اجرای Llama 3.1 8B با OpenAI-compatible API
vllm serve meta-llama/Meta-Llama-3.1-8B-Instruct

# با تعداد GPU خاص
vllm serve meta-llama/Meta-Llama-3.1-8B-Instruct --tensor-parallel-size 2

# با حداکثر context طولانی
vllm serve meta-llama/Meta-Llama-3.1-8B-Instruct --max-model-len 32768

استفاده از API

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "meta-llama/Meta-Llama-3.1-8B-Instruct",
  "messages": [{"role": "user", "content": "سلام!"}]
}'