🎯 News Taipei Times |
phd | c | d |
用DeepSeek建個自己的AI Server
DeepSeek是Opence
Source，而且把ChatGPT的4T知識蒸餾過一番，
壓縮得更小，我們何不設個獨立的Server自己建個DeepSeek
AI來用用看。
2025/0317一 收到劉士豪line說:
那個我跟你說的MIRROR案子，我們學生學著做RAG跟MCP，公司有興趣嗎？做個潤滑油的AI
AGENT之類的。
洪哲文回說： 有啊！很有興趣，怎樣進行?
洪哲文回說： 有啊！很有興趣，怎樣進行?
參考資料
MEDIM: AIagent關於RAG Retrieval-Augmented Generation
20230919 關於RAG什麼是 Retrieval-Augmented Generation (RAG)？
關於MCP 什麼是MCP？讓AI成為真正的AI Agent，而不只是「說話」的機器傳統的 AI 助理（像 ChatGPT 或 Claude）擅長對話與文字生成，但它們最大的限制是無法直接存取使用者的電腦、資料庫或網路服務。
關於MCP 什麼是 MCP? 為什麼 MCP 這麼熱門? MCP 的好處在哪?
MCP是啥？技术原理是什么？一个视频搞懂MCP的一切。Windows系统配置MCP，Cursor,Cline 使用MCP
李宏毅台大電機工程學系教授【生成式AI時代下的機器學習(2025)】第二講：一堂課搞懂 AI Agent 的原理 (AI如何透過經驗調整行為、使用工具和做計劃)
Wiki:
🗒️RAG檢索增強生成 Retrieval-augmented generation
🗒️MCP模型上下文協定 Model Context Protocol
MEDIM: AIagent關於RAG Retrieval-Augmented Generation
20230919 關於RAG什麼是 Retrieval-Augmented Generation (RAG)？
關於MCP 什麼是MCP？讓AI成為真正的AI Agent，而不只是「說話」的機器傳統的 AI 助理（像 ChatGPT 或 Claude）擅長對話與文字生成，但它們最大的限制是無法直接存取使用者的電腦、資料庫或網路服務。
關於MCP 什麼是 MCP? 為什麼 MCP 這麼熱門? MCP 的好處在哪?
MCP是啥？技术原理是什么？一个视频搞懂MCP的一切。Windows系统配置MCP，Cursor,Cline 使用MCP
李宏毅台大電機工程學系教授【生成式AI時代下的機器學習(2025)】第二講：一堂課搞懂 AI Agent 的原理 (AI如何透過經驗調整行為、使用工具和做計劃)
Wiki:
🗒️RAG檢索增強生成 Retrieval-augmented generation
🗒️MCP模型上下文協定 Model Context Protocol
約好了2025/0325二中午來林口午餐談！
2025/02/17:
我想建一部Server然後下載DeepSeek安裝成自有的AI系統。請建議Server的規格應如何？還有OS用ubunt可以嗎？以及去那裡下載DeepSeek和如何安裝使用？ Perplexity答：
- To build a server and install DeepSeek as your own AI system, here's a breakdown of the recommended specifications, OS considerations, and installation process: Server Specifications
- Memory: The amount of memory affects the size of the models you can load. For CPU usage, aim for 16GB or more. If using a GPU, the VRAM size is critical.
- Storage: Large models require significant SSD/hard drive space. The complete DeepSeek-R1-671b can take up to 404GB, while compressed versions range from 1GB to 40GB.
- GPU: DeepSeek R1 NVIDIA Enterprise Platform is designed for NVIDIA GPUs, providing excellent computing performance and cost-effectiveness. Below are some DeepSeek models and their corresponding VRAM recommendations:
- 1.5B Qwen DeepSeek R1: 4GB VRAM
- 7B Qwen DeepSeek R1: 12GB VRAM
- 8B Llama DeepSeek R1: 16GB VRAM
- 14B Qwen DeepSeek R1: 24GB VRAM
- 32B Qwen DeepSeek R1: 48GB VRAM (single card)
- 70B Llama DeepSeek R1: 80GB+ VRAM (multi-card)
- Yes, you can use Ubuntu.
Downloading and Installing DeepSeek - Install Ollama: Ollama is an open-source framework that simplifies running and managing large language models (LLMs) locally. It supports models like Llama 3, Phi 3, Mistral, and Gemma.
- Download Ollama from the official website for your OS (macOS, Linux, or Windows).
- For Windows, after installation, a llama icon should appear in the bottom right corner.
- Download DeepSeek:
- Open your command prompt1. In Windows, search for "cmd" or "Command Prompt".
- Use the following command to install DeepSeek, selecting a version based on your VRAM1:
ollama run deepseek-r1:1.5b(for the 1.5B model)ollama run deepseek-r1:7b(for the 7B model)ollama run deepseek-r1:8b(for the 8B model)ollama run deepseek-r1:14b(for the 14B model)ollama run deepseek-r1:32b(for the 32B model)ollama run deepseek-r1:70b(for the 70B model)- LM Studio: Alternatively, you can use LM Studio to install DeepSeek. Download it from the LM Studio official website, which supports Windows, Mac, and Linux.
Keep in mind that DeepSeek is designed for enterprise-level AI applications, emphasizing natural language processing and AI reasoning. It can be deployed on-premises to ensure data ownership and compliance. - 參考資料
- ★.DeepSeek 教學 | DeepSeek R1 PC 安裝教學，離線 AI 任用更安全！
- 如何在電腦本地安裝deepseek，建立私人的AI資料庫
- DeepSeek 企業版 AI 本地部署完全指南與最佳實踐
- Remote Desktop Solution
- 在家免上網就能用 DeepSeek R1，教你怎麼使用 LM Studio 無腦安裝部屬本地使用