盛澤做網(wǎng)站的微信賣貨小程序怎么做
網(wǎng)上有很多大模型，很多都是遠程在線調用ChatGPT的api來實現(xiàn)的，自己本地是沒有大模型的，這里和大家分享一個大模型平臺，可以實現(xiàn)本地快速部署大模型。
Ollama是一個開源項目，它提供了一個平臺和工具集，用于部署和運行各種大型語言模型（LLM，Large Language Model）。Ollama簡化了在本地機器上運行這些模型的過程，使得用戶不需要深入的機器學習知識就可以利用先進的語言模型進行自然語言處理任務，如對話生成、文本補全等。Ollama的官方網(wǎng)站是 https://ollama.com/ ，用戶可以通過簡單的命令行指令在本地運行模型，例如Llama 2等大模型。這為開發(fā)者和研究人員提供了一個便捷的途徑來實驗和應用最先進的語言模型技術，而無需依賴云端服務，從而降低了延遲并增強了隱私保護。Ollama的核心功能包括模型管理和運行環(huán)境的封裝，使得用戶可以輕松地拉取模型、運行模型并與其交互。此外，Ollama還支持多種模型格式和架構，使其成為一個靈活的平臺，適用于廣泛的自然語言處理應用。
判斷是否有Nvidia顯卡
lspci | grep -i nvidia
部署Docker
建議docker部署，直接部署很容易超時。Docker在centos上的安裝網(wǎng)上教程很多，不再敘述。但是Docker也建議使用配置一下加速源
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
然后輸入下面內容
{"registry-mirrors": ["https://dockerproxy.com","https://mirror.baidubce.com","https://docker.m.daocloud.io","https://docker.nju.edu.cn","https://docker.mirrors.sjtug.sjtu.edu.cn"]
}
EOF
然后重啟docker服務
sudo systemctl daemon-reload
sudo systemctl restart docker
拉取Ollama鏡像
docker run -d --gpus=all -v ollama:/home/Ollama/.ollama -p 11434:11434 --name ollama ollama/ollama
首次需要從倉卡拉取，有點慢
啟動大模型
啟動本地大模型，這里以llama2為例，第一次會下載模型：
docker exec -it ollama ollama run llama2
執(zhí)行完畢后，會進入交互模式，輸入內容，即可在線對話
Ollama 還支持很多市面上其他開源大模型(大模型列表 ollama.com/library)，下面是一些列子：
以API的方式調用模型
curl http://localhost:11434/api/chat -d '{"model": "llama2","messages": [{ "role": "user", "content": "why is the sky blue?" }]
}'
API文檔可以參考
https://github.com/ollama/ollama/blob/main/docs/api.md