現(xiàn)在已經(jīng)有非常多優(yōu)秀的開源大語(yǔ)言模型了,比如Command R+、Mistral、Qwen、MiniMax、Baichuan、Phi3等,其中Lllama3和Qwen等已經(jīng)和GPT4的性能比較接近了。 如果能把這些免費(fèi)的開源大模型部署到本地電腦或手機(jī)上,可以完全自由的使用,而且數(shù)據(jù)安全性有保障,可以節(jié)省大量成本。對(duì)于高手而言,還可以對(duì)這些大模型進(jìn)行微調(diào)等深度定制,來(lái)滿足個(gè)性化需求。 ![]() 將大模型安裝部署到電腦上也非常方便,簡(jiǎn)單兩步即可: 第一步:下載安裝Ollama軟件https://ollama.com/download ![]() 安裝完成后,在電腦上打開命令提示符,并輸入ollama serve來(lái)啟動(dòng)Ollama服務(wù): ![]() 然后輸入命令:ollama pull phi3,這是來(lái)下載微軟的Phi-3模型: ![]() 下載完成后,輸入命令:ollama run phi3,這時(shí)候 phi3大模型就運(yùn)行成功了: ![]() 但是,這樣在命令行界面下對(duì)話,非常不方便。接下來(lái)安裝一個(gè)圖形界面,然后和大模型的對(duì)話就和ChatGPT對(duì)話一樣了。 第二步:安裝圖形界面chatbox https://chatboxai.app/zh ![]() 點(diǎn)擊打開chatbox,設(shè)置中AI模型提供方選擇olllam ![]() API域名是http://localhost:11434,系統(tǒng)已經(jīng)默認(rèn)填好了,模型選擇剛才安裝的phi3 ![]() Ok,接下來(lái)就可以暢快的和phi3模型聊天了: ![]() Ollama支持的開源模型是非常多的,具體可以在官網(wǎng)進(jìn)行查看: ![]() 比如如果想安裝阿里巴巴的qwen大模型,可以在命令行中輸入: ollama run qwen:7b 安裝llama3: ollama run llama3 安裝Llama 2 對(duì)話中文微調(diào)參數(shù)模型: ollama run llama2-chinese ![]() |
|