主題

知識點

第一節：主流大模型應用介紹和模型間的商業集成

典型大模型比較

1. GPT-4（OpenAI）

2. Claude（Anthropic）

3. Gemini（Google）

4. Llama（Meta）

5. QWen（阿里）

6. Coze（字節跳動）

7. DeepSeek（深度求索-幻方量化）

大模型整體技術闡述：主流技術、小眾技術有哪些

基于Transformer架構和支持復雜上下文理解

大模型的量化壓縮

GPT4的多模態能力（文本、圖像輸入）、邏輯推理、長文本生成。

GPT4應用場景建議：對話系統、內容創作、數據分析、教育

Claude的安全性和倫理對齊，支持超長上下文（最高支持200k tokens）

Claude的Constitutional AI框架特點

Claude應用場景建議：法律文檔分析、長文本總結、合規性審核

Gemini原生多模態（文本、圖像、視頻、代碼）和高性能推理

Gemini的TPU優化訓練，支持實時多模態交互。

Gemini應用場景建議：跨媒體內容生成、科研數據分析、編程輔助

Llama區別于GPT4的重要做法：開源可商用，70B參數規模，支持微調

Llama社區驅動優化思路

Llama應用場景建議：企業私有化部署、學術研究、定制化AI服務

QWen的中文優化，行業垂類模型（如法律、醫療），支持插件擴展

QWen應用場景推薦：電商客服、金融風控、智慧城市

Coze的低代碼AI Agent開發平臺，多模態交互，工作流編排

Coze應用場景建議：智能客服、自動化流程、游戲NPC交互

Coze的插件市場、可視化流程設計器、多模型調度（支持集成第三方模型）的實踐

DeepSeek的數學、中文問答、CoT、代碼生成等方向的sota做法，長上下文優化

DeepSeek的MoE架構，在R1、V3兩個不同模型上的對比技術亮點

DeepSeek應用場景建議：一般性問答、金融數據分析、科研計算、教育解題

DeepSeek與火山Coze的商用集成方案

插件開發、工作流開發、觸發器配置

通過插件擴展Coze與DeepSeek的交互能力

調用DeepSeek的數學引擎處理數據

接口封裝：將DeepSeek的API封裝為Coze插件（如REST API適配）

權限控制：在Coze平臺配置API密鑰與訪問權限

調用DeepSeek-Math處理用戶輸入的財務數據

調用DeepSeek生成Python腳本并返回結果到Coze對話流

在Coze中通過可視化工具串聯DeepSeek與其他服務（如數據庫、第三方API）。

用戶輸入觸發：用戶通過Coze聊天界面提問（如“計算公司季度增長率”）

數據預處理：Coze調用插件從數據庫提取原始數據

調用DeepSeek：將數據發送至DeepSeek進行數學建模。

結果渲染：DeepSeek返回計算結果，Coze生成可視化圖表并反饋給用戶

定時觸發：每日自動生成銷售報告（調用DeepSeek分析數據）

條件觸發：當用戶提問包含“計算”“公式”等關鍵詞時，自動路由到DeepSeek處理

API觸發：外部系統通過Webhook觸發Coze工作流（如ERP系統請求庫存預測）

通過Coze的權限管理限制DeepSeek訪問敏感數據

對DeepSeek的API請求做緩存（如高頻計算問題結果緩存）

在Coze中設置異步調用，避免長流程阻塞。

第二節：技術對比和主流開源大模型選型

1.1 模型選擇

·?Deepseek-R1?(7B/67B)：中文領域表現SOTA，支持長上下文推理

·?Llama-3?(8B/70B)：Meta最新開源模型，多語言通用底座

·?Mistral-8x7B：MoE架構標桿，推理效率提升3倍

·?Qwen-72B：阿里千問開源版，金融法律領域微調能力強

1.2 基礎環境搭建實操

·?硬件要求：至少24GB顯存（如RTX 3090/A10） + 64GB內存

·?軟件依賴：

o?CUDA 12.1 + cuDNN 8.9

o?PyTorch 2.2 + Transformers 4.38

o?FlashAttention-2加速庫

o?關鍵配置：LD_LIBRARY_PATH添加cuda路徑，設置PYTORCH_CUDA_ALLOC_CONF防止顯存碎片

第三節：大模型辦公效率提升和提示詞Prompt技巧

?

?

DeepSeek應用

AI工具對個人與企業影響

DeepSeek與Llama3、Qwen的對比

DeepSeek網頁版與本地版功能對比

7B小模型與32B模型功能對比

DeepSeek角色扮演，打造不同領域的專屬AI顧問

PPT中AI智能應用

AI自動排版

AI自動搜圖

DeepSeek輔助PPT創意構思

DeepSeek融合專業PPT應用工具

DeepSeek關聯PPT智能插件應用

Excel中的AI智能數據魔法

AI自動分析、格式化

AI自動圖表、透視表

DeepSeek輔助Excel深度數據分析

DeepSeek函數編寫“神助攻”，助力函數菜鳥成高手

DeepSeek編寫VBA代碼，讓零基礎寫代碼變得簡單高效

將工作表數據拆分成多個工作表

將工作表數據拆分成多個工作簿

將多個工作表數據合并成一個工作表

多個工作簿中的工作表保存到一個工作簿

ChatGPT助力Excel自動化實戰

DeepSeek創意枯竭時的靈感源泉

營銷文案、工作報告、創意寫作的生成案例

DeepSeek快速精準地提煉文檔信息

DeepSeek助力文檔智能糾錯與優化建議

DeepSeek助力學術論文撰寫得力助手

第四節：本地大模型私有化部署

2.1 Deepseek-R1部署流程

1.?模型獲取：

o?通過HuggingFace官方倉庫申請權限

o?下載deepseek-r1-7b-base的safetensors格式權重

2.?推理服務啟動

o?關鍵參數trust_remote_code、max_model_len等的講解

o?解釋器多種啟動服務方式對比

3.?服務驗證

o?代碼調用

o?服務API的參數設置

2.2 Llama-3-8B快速部署

1.?量化加速

o?FP8的特點

o?對比Deepseek原論文中量化章節的解讀

2.?REST API調用：

o?深度學習系統部署的常用方式

o?針對AI算法的部署框架

第五節：大模型行業數據的微調和模型訓練

3.1 Deepseek-R1金融領域微調

1.?數據準備：

o?格式：JSONL文件，每條含instruction/input/output

o?數據源：財報、券商研報、金融問答對、運營商問答對、意圖識別數據

o?關鍵處理：使用SentencePiece重組專業術語tokenization

2.?QLoRA訓練配置

o?微調在大模型中的常用方法

o?多種LoRA方式的對別

3.?啟動訓練

o?顯存優化

o?GPU并行

3.2 探討適合微調的場景

o?闡述項目中RAG模式和LoRA模式的選擇

第六節：基于DeepSeek私有化代碼編程

本地化模型部署

模型獲取與安裝

DeepSeek獲取私有化模型安裝包，模型文件（權重+配置文件）

硬件選型：GPU算力、內存、存儲，并安裝依賴環境CUDA、Docker、Python庫

服務器內網環境管理和必要的設置

開發工具本地化集成、IDE插件適配

Cursor、CodeGPT等工具配置，模型調用指向DeepSeek API，禁用云端服務

搭建本地模型服務（RESTful API或gRPC）

離線依賴管理：搭建私有倉庫

禁用外部數據傳輸，關閉開發工具自動更新、云同步功能

對模型文件、代碼庫進行加密存儲，記錄所有模型調用日志

記錄用戶操作（如模型調用、代碼提交）

確定DeepSeek的離線更新流程，及時模型補丁

第七節：自定義知識問答

4.1研報文檔自動生成系統

架構設計：

1.?數據層：Wind API實時獲取宏觀指標 + PDF解析模塊

2.?推理層：

o?Deepseek-R1作為生成核心

o?Mistral-8x7B進行事實核查

3.?評估層：

o?Rouge-L評估內容一致性

o?FinBERT檢測財務數據矛盾

以部署拓撲理清整體脈絡

常規分析、復雜計算、數據采集、向量數據庫、路由決策、Deepseek-R1/Mistral-8x7B、合規審查、PDF輸出

4.2 業務領域的對話系統（根據具體需要選擇智能投顧、套餐產品等）

關鍵技術點：

1.?RAG增強：

o?使用LlamaIndex構建行業知識圖譜

o?FAISS向量庫實現百萬級文檔秒級檢索

2.?記憶管理：

o?緩存最近輪次的對話摘要

o?采用CoT（Chain-of-Thought）提示工程技術

3.?風控攔截：

o?關鍵詞過濾（如“保證收益”、“100%”等違規表述）

o?置信度閾值設定（softmax概率<0.7時觸發人工接管）

第八節：上線前的大模型系統優化

5.1 性能加速方案

·?量化壓縮：

o?GPTQ 4bit量化使模型體積減少70%

o?采用DeepseekV3提出的MTP技術實現tokens

·?緩存策略：

o?KV Cache分塊存儲，降低重復計算

o?高頻問題回答預生成

5.2 監控體系建設

1.?業務指標：

o?平均響應時間<2.5s

o?意圖識別準確率>92%

2.?模型指標：

o?PPL（困惑度）波動監控

o?Attention熵值異常檢測

3.?硬件監控：

o?GPU利用率>85%時自動擴容

o?顯存泄漏預警機制