大家好, 參加實戰營來到這裡的
, 希望能抽到禮券~謝謝各位
1 Like
MCP整合應用，可以強化延伸應用，讓系統更自動化
1 Like
參與實戰營。發現對於AI這些MCP RAG 還不熟悉，希望學了一些，實作一些時間，能夠把AI應用帶上來，謝謝各位。
1 Like
感謝學員踴躍留言, 小編收到!
您的問題我們正在請講師回應, 得獎名單也會在9/25之前公布在此版, 請大家耐心等待喔~
實戰營講師回覆:
-
可以透過主要程式，來控制流程，將 LLM 回覆的狀態與訊息處理、確認後，再傳遞給其他 Agent
-
建議方向:
1. 硬體資源條件允許，更換支援更大 Context Windows 的 LLM Model
2. 先檢查檢索出的所有資料，篩出哪些是必須保留的，把冗餘資料移除；再從剩下的內容中挑最相關的做摘要，確保用最少的 chunks 覆蓋所有重要面向；最後依照檢索調用放入 LLM 的 context window 使用
若還有其他問題可以持續留言, 研華技術專家會繼續在這裡回應喔! 謝謝 
實戰營講師回覆:
資料蒐集與索引建構: 分析企業原有的知識體系與分佈狀態，建立有效、統一、適合語言模型檢索的資料格式與系統
模型推理: 依企業運營所需的知識與複雜度，選用已具備企業基本知識模型，如果沒有適合的開源模型，則考慮訓練微調企業知識的專屬模型
安全控管: 依造公司權限等級制度，建立模型調用已授權的資料
由於企業在流程、資料環境與治理要求上各不相同，以上建議僅供參考，具體實施方案仍需依企業實際情境量身設計。
若有其他問題可以持續留言, 技術專家在線回覆您~
實戰營講師回覆:
-
可以更新，請參考線上文件
https://ess-wiki.advantech.com.tw/view/Edge_AI_SDK/GenAIChatbot
-
不限定是英文，中文或其他語言都可以，主要看模型支援的語系
-
可以，建議使用繁體中文訓練過的模型 例如: TAIDE or Formosa-1
若您還有更多問題歡迎持續留言喔 ~
實戰營講師回覆:
建議參考的方向:
-
模型: 硬體條件允許，建議更換 更新或更大參數的模型
-
資料: 分析回答不精準與太敏感的資料，透過重新整理 (明確段落)，或調整 chunks size 等讓 RAG 調用資料更精準
若還有更多問題, 歡迎您持續留言, 專家在線回應喔
實戰營講師回覆:
是的，多數向量資料庫在刪除或更新向量後並不會立刻釋放硬碟空間，而是用標記 + 背景 compaction / 資料重寫 + 垃圾回收流程來回收空間與保持查詢效能。可參考
實戰營講師回覆:
最主要是若您的資料不得上雲/高隱私, 而且需現地客製與快更新, 就需要考慮做地端RAG
例如製造業：機台故障碼, 本地檢索維修手冊/換料清單/工安指引，離線也能用。
實戰營講師回覆:
部署私有 LLM 與 RAG 可以先從應用面考量，依應用的複雜程度，來考慮需要用到多大參數模型， RAG 會須調用的多少的資料量，同時服務對話的數量，來選擇適配的硬體 ，
可以從硬體幾項關鍵指標: VRAM 大小、GPU TOPS 算力，決定可以跑多大參數的模型
優化: 可透過模型量化（如 INT8、INT4）降低記憶體與運算需求，或利用 NVIDIA TensorRT 進行推理最佳化；藉由 CUDA 加速，進一步提升模型的執行效能與吞吐量
在開發過程中，需特別關注 LLM 是否能正確且安全地調用 MCP 工具並檢索 RAG 資料，同時也必須評估因調用 MCP工具或存取 RAG 資料所帶來的延遲與效能影響
小編恭喜各位留言者都有獲得即享券喔 也別忘了告訴您身邊的同事朋友研華開發者論壇喔 