# 【留言抽即享券!】9/11 研華 llm× rag × MCP x Nvidia 邊緣運算線上實戰營 討論群 **URL:** \ **Category:** Taiwan\ **Tags:** edgeai\ **Created:** [July 28, 2025, 6:48am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184 "2025-07-28T06:48:52Z")\ **Posts on this page:** 13\ **Page:** 2
**Author:** ![York\_Chou](https://sea2.discourse-cdn.com/flex016/user_avatar/forum.aim-linux.advantech.com/york_chou/32/1853_2.png) [@York\_Chou](https://forum.aim-linux.advantech.com/u/York_Chou)\ **Post date:** [September 11, 2025, 8:05am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/22 "2025-09-11T08:05:37Z")
大家好, 參加實戰營來到這裡的 , 希望能抽到禮券~謝謝各位 ​​​ ---
**Author:** ![Chiung-Liang\_Chen](https://sea2.discourse-cdn.com/flex016/user_avatar/forum.aim-linux.advantech.com/chiung-liang_chen/32/1832_2.png) [@Chiung-Liang\_Chen](https://forum.aim-linux.advantech.com/u/Chiung-Liang_Chen)\ **Post date:** [September 11, 2025, 8:11am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/23 "2025-09-11T08:11:57Z")
MCP整合應用，可以強化延伸應用，讓系統更自動化 ---
**Author:** ![tept1226](https://sea2.discourse-cdn.com/flex016/user_avatar/forum.aim-linux.advantech.com/tept1226/32/1873_2.png) [@tept1226](https://forum.aim-linux.advantech.com/u/tept1226)\ **Post date:** [September 11, 2025, 9:08am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/24 "2025-09-11T09:08:04Z")
參與實戰營。發現對於AI這些MCP RAG 還不熟悉，希望學了一些，實作一些時間，能夠把AI應用帶上來，謝謝各位。 ---
**Author:** ![Franny\_Yeh](https://avatars.discourse-cdn.com/v4/letter/f/e9a140/32.png) [@Franny\_Yeh](https://forum.aim-linux.advantech.com/u/Franny_Yeh)\ **Post date:** [September 15, 2025, 2:11am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/25 "2025-09-15T02:11:16Z")
🤩 感謝學員踴躍留言, 小編收到! 您的問題我們正在請講師回應, 得獎名單也會在9/25之前公布在此版, 請大家耐心等待喔~ ---
**Author:** ![Franny\_Yeh](https://avatars.discourse-cdn.com/v4/letter/f/e9a140/32.png) [@Franny\_Yeh](https://forum.aim-linux.advantech.com/u/Franny_Yeh)\ **Post date:** [September 15, 2025, 7:47am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/26 "2025-09-15T07:47:06Z")
實戰營講師回覆: 1. 可以透過主要程式，來控制流程，將 LLM 回覆的狀態與訊息處理、確認後，再傳遞給其他 Agent 2. 建議方向: ---
**Author:** ![Franny\_Yeh](https://avatars.discourse-cdn.com/v4/letter/f/e9a140/32.png) [@Franny\_Yeh](https://forum.aim-linux.advantech.com/u/Franny_Yeh)\ **Post date:** [September 15, 2025, 7:51am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/27 "2025-09-15T07:51:48Z")
實戰營講師回覆: 請參考線上文件 [https://ess-wiki.advantech.com.tw/view/Edge\_AI\_SDK/GenAIChatbot](https://apc01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fess-wiki.advantech.com.tw%2Fview%2FEdge_AI_SDK%2FGenAIChatbot&data=05%7C02%7CFranny.Yeh%40advantech.com.tw%7C9dc554aaaeea4aca014e08ddf41f4104%7Ca77d40d9dcba4ddab5715f18e6da853f%7C0%7C0%7C638935137266446104%7CUnknown%7CTWFpbGZsb3d8eyJFbXB0eU1hcGkiOnRydWUsIlYiOiIwLjAuMDAwMCIsIlAiOiJXaW4zMiIsIkFOIjoiTWFpbCIsIldUIjoyfQ%3D%3D%7C0%7C%7C%7C&sdata=fOqhNUeXSEbtvIO3hJSPSxpRz7tmFeejfhdmWSTPlps%3D&reserved=0) ---
**Author:** ![Franny\_Yeh](https://avatars.discourse-cdn.com/v4/letter/f/e9a140/32.png) [@Franny\_Yeh](https://forum.aim-linux.advantech.com/u/Franny_Yeh)\ **Post date:** [September 15, 2025, 7:53am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/28 "2025-09-15T07:53:03Z")
實戰營講師回覆: 資料蒐集與索引建構: 分析企業原有的知識體系與分佈狀態，建立有效、統一、適合語言模型檢索的資料格式與系統 模型推理: 依企業運營所需的知識與複雜度，選用已具備企業基本知識模型，如果沒有適合的開源模型，則考慮訓練微調企業知識的專屬模型 安全控管: 依造公司權限等級制度，建立模型調用已授權的資料 由於企業在流程、資料環境與治理要求上各不相同，以上建議僅供參考，具體實施方案仍需依企業實際情境量身設計。 🙂 若有其他問題可以持續留言, 技術專家在線回覆您~ ---
**Author:** ![Franny\_Yeh](https://avatars.discourse-cdn.com/v4/letter/f/e9a140/32.png) [@Franny\_Yeh](https://forum.aim-linux.advantech.com/u/Franny_Yeh)\ **Post date:** [September 15, 2025, 7:54am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/29 "2025-09-15T07:54:18Z")
實戰營講師回覆: 1. 可以更新，請參考線上文件 2. 不限定是英文，中文或其他語言都可以，主要看模型支援的語系 3. 可以，建議使用繁體中文訓練過的模型 例如: TAIDE or Formosa-1 若您還有更多問題歡迎持續留言喔 ~ 🥰 ---
**Author:** ![Franny\_Yeh](https://avatars.discourse-cdn.com/v4/letter/f/e9a140/32.png) [@Franny\_Yeh](https://forum.aim-linux.advantech.com/u/Franny_Yeh)\ **Post date:** [September 15, 2025, 7:55am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/30 "2025-09-15T07:55:20Z")
實戰營講師回覆: 建議參考的方向: 1. 模型: 硬體條件允許，建議更換 更新或更大參數的模型 2. 資料: 分析回答不精準與太敏感的資料，透過重新整理 (明確段落)，或調整 chunks size 等讓 RAG 調用資料更精準 👋 若還有更多問題, 歡迎您持續留言, 專家在線回應喔 ---
**Author:** ![Franny\_Yeh](https://avatars.discourse-cdn.com/v4/letter/f/e9a140/32.png) [@Franny\_Yeh](https://forum.aim-linux.advantech.com/u/Franny_Yeh)\ **Post date:** [September 15, 2025, 7:55am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/31 "2025-09-15T07:55:48Z")
實戰營講師回覆: 是的，多數向量資料庫在刪除或更新向量後並不會立刻釋放硬碟空間，而是用標記 + 背景 compaction / 資料重寫 + 垃圾回收流程來回收空間與保持查詢效能。[可參考](https://apc01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fmilvus.io%2Fai-quick-reference%2Fhow-do-delete-operations-or-updates-in-a-vector-database-affect-storage-usage-over-time-for-example-is-there-a-compaction-process-to-reclaim-space-from-removed-vectors%3Futm_source%3Dchatgpt.com&data=05%7C02%7CFranny.Yeh%40advantech.com.tw%7C9dc554aaaeea4aca014e08ddf41f4104%7Ca77d40d9dcba4ddab5715f18e6da853f%7C0%7C0%7C638935137266547804%7CUnknown%7CTWFpbGZsb3d8eyJFbXB0eU1hcGkiOnRydWUsIlYiOiIwLjAuMDAwMCIsIlAiOiJXaW4zMiIsIkFOIjoiTWFpbCIsIldUIjoyfQ%3D%3D%7C0%7C%7C%7C&sdata=nxwPdZm10B47EEB6GIKuu0ml0%2BV8T3Fri56oRVnLC4U%3D&reserved=0 "https://milvus.io/ai-quick-reference/how-do-delete-operations-or-updates-in-a-vector-database-affect-storage-usage-over-time-for-example-is-there-a-compaction-process-to-reclaim-space-from-removed-vectors?utm\_source=chatgpt.com") ---
**Author:** ![Franny\_Yeh](https://avatars.discourse-cdn.com/v4/letter/f/e9a140/32.png) [@Franny\_Yeh](https://forum.aim-linux.advantech.com/u/Franny_Yeh)\ **Post date:** [September 15, 2025, 7:58am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/32 "2025-09-15T07:58:54Z")
> [@TodayisMyDay](#): > > 甚麼樣的狀況下最適合邊緣Edge 的RAG應用 實戰營講師回覆: 最主要是若您的資料不得上雲/高隱私, 而且需現地客製與快更新, 就需要考慮做地端RAG 例如製造業：機台故障碼, 本地檢索維修手冊/換料清單/工安指引，離線也能用。 ---
**Author:** ![Franny\_Yeh](https://avatars.discourse-cdn.com/v4/letter/f/e9a140/32.png) [@Franny\_Yeh](https://forum.aim-linux.advantech.com/u/Franny_Yeh)\ **Post date:** [September 16, 2025, 7:24am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/33 "2025-09-16T07:24:33Z")
實戰營講師回覆: 部署私有 LLM 與 RAG 可以先從應用面考量，依應用的複雜程度，來考慮需要用到多大參數模型， RAG 會須調用的多少的資料量，同時服務對話的數量，來選擇適配的硬體 ， 可以從硬體幾項關鍵指標: VRAM 大小、GPU TOPS 算力，決定可以跑多大參數的模型 優化: 可透過模型量化（如 INT8、INT4）降低記憶體與運算需求，或利用 NVIDIA TensorRT 進行推理最佳化；藉由 CUDA 加速，進一步提升模型的執行效能與吞吐量 在開發過程中，需特別關注 LLM 是否能正確且安全地調用 MCP 工具並檢索 RAG 資料，同時也必須評估因調用 MCP工具或存取 RAG 資料所帶來的延遲與效能影響 ---
**Author:** ![Franny\_Yeh](https://avatars.discourse-cdn.com/v4/letter/f/e9a140/32.png) [@Franny\_Yeh](https://forum.aim-linux.advantech.com/u/Franny_Yeh)\ **Post date:** [October 2, 2025, 7:58am UTC](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184/34 "2025-10-02T07:58:28Z")
小編恭喜各位留言者都有獲得即享券喔 也別忘了告訴您身邊的同事朋友研華開發者論壇喔 👋🏻 [Previous page](https://forum.aim-linux.advantech.com/t/9-11-llmx-rag-x-mcp-x-nvidia/1184.md?page=1)