Dica rápida: Rodando 或 DeepSeek (ou qualquer modelo) localmente
炒作,炒作。
Isso é fato.
我承认我的节奏节奏不适合我
孟菲斯·德佩没有哥林多前书DeepSeek。
直到现在,一切都结束了。具体来说:从中国的初创公司开始建立模型,然后从结果中得出结论,并在OpenAI上建立超级先进的模型。真是太好了! Caso queira saber mais sobre o modelo,访问https://arxiv.org/pdf/2501.12948。
需要使用ChatGPT Plus来访问该模型、DeepSeek简单操作和优雅的体验。然后访问https://chat.deepseek.com/。
您可以将其用作 seu 软件中的 suas API,并可以使用它。 E é aqui que a coisa é mais surpreendente ainda:
| 模型 | 输入成本(每百万代币) | 产出成本(每百万代币) |
|---|---|---|
| DeepSeek 推理器 | 0.55美元 | 2.19美元 |
| OpenAI O1 | 15.00美元 | 60.00美元 |
A diferença é escandalosa.
纳斯达克世界科技上市公司的发展引起了人们的普遍关注:在 DeepSeek 引发的股市抛售中,科技亿万富翁损失了近 1000 亿美元。
准确地说, DeepSeek的介绍非常简单,可以让您轻松地了解世界各地的技术。
Porém 是一种以本地化方式表达声音的想法。 E não só esse modelo, praticamente qualquer um。
确认“praticamente qualquer um”devido ao fato de alguns modelos serem tão pesados que se faz necessária uma maquina absurdamente parruda para rodá-los。
基础知识、基本原则、注意事项:
- Onde eu baixo esse modelo;
- E como eu executo o modelo baixado;
E para nossa sorte, é possível responder essas duas questões com apenas uma palavra: Ollama。
Ollama é uma ferramenta 是一款简单的安装和配置命令,可让您轻松执行复杂的模型!
无需进入https://ollama.com/download,即可使用操作系统,然后安装并立即执行!
Porém,执行前,quero dar uma dica marota para você。
模型是最伟大的,可以从2GB到400GB进行变体,取决于参数的数量、数据的精确性、模型的结构等等。如果需要的话,就需要在迪斯科中进行伟大的空间。您可以使用 SSD 来进行配置,并根据SSD 特定型号进行配置。
由 Ollama 提供,Ollama武器模型无直接指令,~/.ollama/models因此您可以根据当地需要,了解模型中意大利面的情况,并配置环境变量:OLLAMA_MODELS
没有macOS和Linux,一切都很平静。
Abra o Terminal e adicione a seguinte linha ao arquivo de configuração do shell ( ~/.bashrc, ~/.zshrc, ou ~/.bash_profile, dependentdo do shell que você usa):
export OLLAMA_MODELS="/Volumes/SSD/Pasta onde Ficarão os modelos"
保存或保存后,需要进行更改:
source ~/.bashrc # ou ~/.zshrc, ~/.bash_profile
如果没有Windows,请使用Powershell:
[Environment]::SetEnvironmentVariable("OLLAMA_MODELS", "C:\caminho\para\seu\diretorio", "User")
Em seguida, sai do carro, entra no carro... abre e fecha o Terminal!
快点!!!
除此以外,在实际操作中,您还可以更改意大利面的模型以及执行中的武器模型。就这个过程而言,您必须先进行修改并重新进行修改。 Abaixo,详细说明。
很快就可以安装了,Ollama很快就可以使用了!
如果您没有执行任何安装操作ollama serve,则可能会执行更改操作,然后在终端上执行命令。
ollama help请注意以下事项:
Large language model runner
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
stop Stop a running model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
与Docker操作人员类似。
Proximo passo é escolher a nossa imagem... digo... o nosso modelo...
请访问网站https://ollama.com/search。 Aqui você vai encontrar centenas de modelos disponíveis para uso local。
模型的安装非常简单:
ollama run <<nome do modelo>>
没有任何问题,请使用DeepSeek r1。
请访问https://ollama.com/library/deepseek-r1获取模型操作的各种信息。
DeepSeek-R1-Distill-Qwen-1.5B
ollama run deepseek-r1:1.5b
DeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7b
DeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8b
DeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14b
DeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32b
DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b
基本原理是,区分结尾和模型基础,不等于参数的数量。
Em geral, Quanto mais parâmetros um modelo tem, mais abrangente ele tende a ser, or seja, ele consegue litdar com umavariade maior de tarefas, contextos e nuances.
Dito isto,安装了Deepseek-r1:8b模型。型号为4.9GB,是一款迷你游戏。
别名,esse é um ponto importante。 O poder computacional da sua máquina é decisivo na escolha de um modelo.您可以选择主要模型、主要参数、主要参数、并可将其与其他模型一起使用。 Se a sua máquina roda o Chrome sem engasgar, pode ficar stillo, caso contrário, comece escolhendo um modelo menor, como o deepseek-r1:1.5b. 🤡
ollama run deepseek-r1:8b
Esse comando acima,além de baixar o modelo,vai nos dar a possibilidade de interação。 Pode ser que demore alguns bons minutos para que ele seja baixado。
下载模型,然后在终端上聊天,开始:
>>> Send a message (/? for help)
Agora é brincar!!!!
Deu pra perceber a velocidade na resposta?耸人听闻,不是吗?
Para sair, digite /bye!
我们尝试了多种模型的实验,以实现 SSD 的大型化和整体化。
将军刀置于模型中,并安装使用ollama list或命令,并在模型中使用ollama rm <<nome do modelo>>>。
Nesse ponto entregamos o que foi proposto no título do post,correto?
Mas não vamos parar por aqui...como sempre...pegue um 咖啡馆 e vem comigo。集市是合法的。
Ollama é um processo que fica rodando na sua máquina。在终端上输入所有内容,即可通过命令行访问应用程序。 Foi o que fizemos acima。您可以通过http na porta 11434 expondo APIs para que possamos interagir via uma aplicação nossa,例如?
Olha que bacana!!您可以通过流媒体方式接收curl回复。这是合法的!
curl http://localhost:11434/api/generate -d '{
"model": "deepseek-r1:8b",
"prompt":"Quais são os gases nobres?"
}'
Eu não consegui mudar essa porta, se você souber como faz, deixa aí
nos commentários por pleasure!!!
Sim,您可以进入服务门。
没有macOS和Linux 的附加程序可以继续配置 shell ( ~/.bashrc, ~/.zshrcou ~/.bash_profile):
export OLLAMA_HOST="127.0.0.1:<<porta>>"
Para aplicar as alterações:
source ~/.bashrc # ou ~/.zshrc, ~/.bash_profile
Já no Windows :
[Environment]::SetEnvironmentVariable("OLLAMA_HOST", "127.0.0.1:<<porta>>", "User")
Sai do carro, e entra no carro... de novo ;p
Agradeço ao @flavio_apompilio_4121ffc pela dica de como alterar a porta :)
Isso abre uma infinidade de possibilidades。您可以通过网络或移动设备“模拟”聊天。请直接访问https://chat.deepseek.com/或https://chat.openai.com/。
Caso queira saber mais sobre 作为API,访问https://github.com/ollama/ollama/blob/main/docs/api.md!
Olha aí uma boa 机会来了! Criar uma 界面视觉 para o Ollama !!!
但是,这不是问题。呈现开放式 WebUI。
打开 WebUI,这是 IA 自动驾驶平台、扩展、递归和离线使用的便捷方案。为各种执行者提供法学硕士和与 OpenAI 兼容的 API、RAG 集成推理机制、IA Poderosa 植入解决方案的龙卷风支持。 (复制网站删除;p)
Divirtam-se!
时代就是这样!!!
文章来源:https://dev.to/angelobelchior/dica-rapida-rodando-o-deepseek-ou-qualquer-modelo-localmente-11ki
