发布于 2026-01-05 2 阅读
0

Dica rápida: Rodando 或 DeepSeek (ou qualquer modelo) localmente

Dica rápida: Rodando 或 DeepSeek (ou qualquer modelo) localmente

使用计算机的 uma baleia Azul 图像

炒作,炒作。

Isso é fato.

我承认我的节奏节奏不适合我 孟菲斯·德佩没有哥林多前书DeepSeek

直到现在,一切都结束了。具体来说:从中国的初创公司开始建立模型,然后从结果中得出结论,并在OpenAI上建立超级先进的模型。真是太好了! Caso queira saber mais sobre o modelo,访问https://arxiv.org/pdf/2501.12948
需要使用ChatGPT Plus来访问该模型、DeepSeek简单操作和优雅的体验。然后访问https://chat.deepseek.com/

您可以将其用作 seu 软件中的 suas API,并可以使用它。 E é aqui que a coisa é mais surpreendente ainda:

模型 输入成本(每百万代币) 产出成本(每百万代币)
DeepSeek 推理器 0.55美元 2.19美元
OpenAI O1 15.00美元 60.00美元

A diferença é escandalosa.

纳斯达克世界科技上市公司的发展引起了人们的普遍关注:在 DeepSeek 引发的股市抛售中,科技亿万富翁损失了近 1000 亿美元

准确地说, DeepSeek的介绍非常简单,可以让您轻松地了解世界各地的技术。

Porém 是一种以本地化方式表达声音的想法。 E não só esse modelo, praticamente qualquer um。

确认“praticamente qualquer um”​​devido ao fato de alguns modelos serem tão pesados que se faz necessária uma maquina absurdamente parruda para rodá-los。

基础知识、基本原则、注意事项:

  • Onde eu baixo esse modelo;
  • E como eu executo o modelo baixado;

E para nossa sorte, é possível responder essas duas questões com apenas uma palavra: Ollama

Ollama é uma ferramenta 是一款简单的安装和配置命令,可让您轻松执行复杂的模型!

无需进入https://ollama.com/download,即可使用操作系统,然后安装并立即执行!

Porém,执行前,quero dar uma dica marota para você。

模型是最伟大的,可以从2GB400GB进行变体,取决于参数的数量、数据的精确性、模型的结构等等。如果需要的话,就需要在迪斯科中进行伟大的空间。您可以使用 SSD 来进行配置,并根据SSD 特定型号进行配置。

由 Ollama 提供,Ollama武器模型无直接指令,~/.ollama/models因此您可以根据当地需要,了解模型中意大利面的情况,并配置环境变量:OLLAMA_MODELS

没有macOSLinux,一切都很平静。

Abra o Terminal e adicione a seguinte linha ao arquivo de configuração do shell ( ~/.bashrc, ~/.zshrc, ou ~/.bash_profile, dependentdo do shell que você usa):

export OLLAMA_MODELS="/Volumes/SSD/Pasta onde Ficarão os modelos"
Enter fullscreen mode Exit fullscreen mode

保存或保存后,需要进行更改:

source ~/.bashrc  # ou ~/.zshrc, ~/.bash_profile
Enter fullscreen mode Exit fullscreen mode

如果没有Windows,请使用Powershell

[Environment]::SetEnvironmentVariable("OLLAMA_MODELS", "C:\caminho\para\seu\diretorio", "User")
Enter fullscreen mode Exit fullscreen mode

Em seguida, sai do carro, entra no carro... abre e fecha o Terminal!

快点!!!

除此以外,在实际操作中,您还可以更改意大利面的模型以及执行中的武器模型。就这个过程而言,您必须先进行修改并重新进行修改。 Abaixo,详细说明。

很快就可以安装了,Ollama很快就可以使用了!

如果您没有执行任何安装操作ollama serve,则可能会执行更改操作,然后在终端上执行命令。

ollama help请注意以下事项

Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information
Enter fullscreen mode Exit fullscreen mode

与Docker操作人员类似

Proximo passo é escolher a nossa imagem... digo... o nosso modelo...

请访问网站https://ollama.com/search。 Aqui você vai encontrar centenas de modelos disponíveis para uso local。

模型的安装非常简单:

ollama run <<nome do modelo>>

没有任何问题,请使用DeepSeek r1

请访问https://ollama.com/library/deepseek-r1获取模型操作的各种信息。

DeepSeek-R1-Distill-Qwen-1.5B
ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b
Enter fullscreen mode Exit fullscreen mode

基本原理是,区分结尾和模型基础,不等于参数的数量。

Em geral, Quanto mais parâmetros um modelo tem, mais abrangente ele tende a ser, or seja, ele consegue litdar com umavariade maior de tarefas, contextos e nuances.

Dito isto,安装了Deepseek-r1:8b模型。型号为4.9GB,是一款迷你游戏。

别名,esse é um ponto importante。 O poder computacional da sua máquina é decisivo na escolha de um modelo.您可以选择主要模型、主要参数、主要参数、并可将其与其他模型一起使用。 Se a sua máquina roda o Chrome sem engasgar, pode ficar stillo, caso contrário, comece escolhendo um modelo menor, como o deepseek-r1:1.5b. 🤡

ollama run deepseek-r1:8b
Enter fullscreen mode Exit fullscreen mode

Esse comando acima,além de baixar o modelo,vai nos dar a possibilidade de interação。 Pode ser que demore alguns bons minutos para que ele seja baixado。

下载模型,然后在终端上聊天,开始:

>>> Send a message (/? for help)
Enter fullscreen mode Exit fullscreen mode

Agora é brincar!!!!

Deu pra perceber a velocidade na resposta?耸人听闻,不是吗?

Para sair, digite /bye!

我们尝试了多种模型的实验,以实现 SSD 的大型化和整体化。

将军刀置于模型中,并安装使用ollama list或命令,并在模型中使用ollama rm <<nome do modelo>>>


Nesse ponto entregamos o que foi proposto no título do post,correto?

Mas não vamos parar por aqui...como sempre...pegue um 咖啡馆 e vem comigo。集市是合法的。

Ollama é um processo que fica rodando na sua máquina。在终端上输入所有内容,即可通过命令行访问应用程序。 Foi o que fizemos acima。您可以通过http na porta 11434 expondo APIs para que possamos interagir via uma aplicação nossa,例如?

Olha que bacana!!您可以通过流媒体方式接收curl回复。这是合法的!

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:8b",
  "prompt":"Quais são os gases nobres?"
}'
Enter fullscreen mode Exit fullscreen mode

Eu não consegui mudar essa porta, se você souber como faz, deixa aí
nos commentários por pleasure!!!

Sim,您可以进入服务门。
没有macOSLinux 的附加程序可以继续配置 shell ( ~/.bashrc, ~/.zshrcou ~/.bash_profile):

export OLLAMA_HOST="127.0.0.1:<<porta>>"
Enter fullscreen mode Exit fullscreen mode

Para aplicar as alterações:

source ~/.bashrc  # ou ~/.zshrc, ~/.bash_profile
Enter fullscreen mode Exit fullscreen mode

Já no Windows :

[Environment]::SetEnvironmentVariable("OLLAMA_HOST", "127.0.0.1:<<porta>>", "User")
Enter fullscreen mode Exit fullscreen mode

Sai do carro, e entra no carro... de novo ;p

Agradeço ao @flavio_apompilio_4121ffc pela dica de como alterar a porta :)

Isso abre uma infinidade de possibilidades。您可以通过网络或移动设备“模拟”聊天。请直接访问https://chat.deepseek.com/https://chat.openai.com/

Caso queira saber mais sobre 作为API,访问https://github.com/ollama/ollama/blob/main/docs/api.md

Olha aí uma boa 机会来了! Criar uma 界面视觉 para o Ollama !!!

但是,这不是问题。呈现开放式 WebUI

打开 WebUI,这是 IA 自动驾驶平台、扩展、递归和离线使用的便捷方案。为各种执行者提供法学硕士和与 OpenAI 兼容的 API、RAG 集成推理机制、IA Poderosa 植入解决方案的龙卷风支持。 (复制网站删除;p)

Divirtam-se!

时代就是这样!!!

文章来源:https://dev.to/angelobelchior/dica-rapida-rodando-o-deepseek-ou-qualquer-modelo-localmente-11ki