在當今快速發展的數字化時代，人工智能技術正成為推動各行各業創新轉型的關鍵力量。大模型生態的發展日益完善，各項技術均在不斷進步和創新。人工智能技術的發展路徑目前呈現出兩種技術路線：一類是通用領域大模型，通過極大參數的訓練，不斷提升模型通用能力；而另一類則是在垂直領域應用，追求對現有行業應用軟件進行“最后一公里”改造。
相較于通用大模型，垂直領域的AIGC應用需要解決模型針對性、確定性、精準性和安全性的問題，同時客戶更重視投入的產出比，因此需要在有限算力投入下解決精準計算的問題。這給中科軟這類ISV提供了廣闊的業務機會，為了進一步探索和實現AIGC技術在垂直領域的深度應用，中科軟近期成功舉辦了為期兩天主題為“開源軟件/產品基座下的垂直AIGC平臺（MaaS）及組織協同實施”的專題技術交流活動。
垂直領域AIGC模型應用需要“小而精”，采用小規模的模型作為底座，對向量集的規模（長度）做“減法”，從而專注于精確的語義表達，能夠更有效地與行業應用軟件的語義空間相匹配，不僅減少了對計算資源的需求，降低成本，而且提高了數據處理的精確度，這對于解決行業應用軟件中的特定痛點至關重要。同時，為了提高實用精確度，模型推斷（歸納推斷）要與已有應用軟件系統群的精準體系（演繹推斷）混合集成使用。具有行業應用軟件經驗的頭部ISV是“小而精”MaaS系統的主要踐行者，頭部ISV通過形成聯合體，將相關技術向現有客戶遷移，發揮其在技術實現和業務軟件系統重構中的關鍵作用。
本次交流會榮幸邀請到來自華為、騰訊、浪潮、智譜、神州數碼等行業生態伙伴以及中國人壽財險、大家養老、瑞眾人壽、大地財產、華泰人壽、和泰人壽、中韓人壽、中國漁業互助保險社、泛華金控集團、中國疾病預防控制中心、中版集團新華聯合物流中心、北京大興發展融達融資擔保有限公司等各行業客戶的技術專家，以及中國科學院軟件研究所、中國科學院自動化所等科研機構的專家參與方案評審，共同探討AIGC系統方案在行業應用軟件領域的前沿實踐與應用。
? 中科軟AIGC系統方案
公司各事業群在各領域垂直AIGC平臺研發應用的實踐過程中，積累了較多經驗及解決方案，場景涵蓋保險領域客服、營銷、理賠、核保、培訓，以及非保險領域數據審計、公共衛生、院前急救、紀檢監察、交通運輸等智能化應用，目前部分解決方案已在客戶端落地。同時今年中科軟在模型微調、精準RAG知識庫、可視化LLM編排、監控分析等領域的技術具有進一步突破，使得大模型可以讓知識提取更加準確、意圖識別更清晰、檢索結果更加精確。在本次技術交流活動中，壽險-保險AI應用開發平臺、財險-垂直AIGC平臺（MaaS)兩項方案獲評本次技術交流活動優秀方案：
? 壽險-保險AI應用開發平臺
大模型生態的發展日益完善，各項技術均在不斷進步和創新。但是目前已有的基礎大模型很難直接應用于各行業領域。通用大模型在理解、執行、生成、持續進化、多模態的能力上已經相當成熟和突出，但是它缺少企業所具有的領域知識、專業工具以及專家決策的能力。同時，大多數企業往往算力有限，而對于數據安全有極強的要求。自建大模型成本較高、通用大模型在行業問題專業性、數據安全性方面存在問題，因此開源大模型的微調與應用實踐是目前的主要方向。在這一方向上碎片化、周期長是兩個比較突出的問題。碎片化表現在面臨多種通用模型的選擇、多類硬件設備的適配、多種開發框架的集成。周期長主要是微調、評估、應用的過程需要反復調試。
中科軟以面向平臺開發為核心，深入探索保險AI應用開發流程化、工具化、平臺化的全流程解決方案，幫助企業客戶更簡單、更高效地走到AI應用開發的道路上，讓AI應用開發全民化、規模化。保險AI應用開發平臺，將大模型與多種編程語言和框架集成，使其能夠為不同領域的開發者提供支持。提供開放的API和擴展性，以便用戶可以根據自己的需求定制和擴展平臺的功能。提供常用開源基座大模型，可以根據不同場景情況進行選擇，并可滿足隨時調整替換。提供各種預先構建的模板和代碼庫，以幫助用戶快速啟動項目。用戶可以輕松地根據自己的需求定制和擴展這些模板。可視化編程界面，讓用戶通過拖放組件和設置屬性來構建應用程序。可以根據用戶的需求和操作提供實時建議和指導。為用戶提供云端、私有化部署和管理功能并進行監控和維護，對數據、腳本、資源進行回收。
平臺具備三大特性：一、“平凡”開發，通過平臺搞定集成和擴展，成為串連算力、模型、資源的總線，通過面向平臺的開發變“平凡”為“不凡”；二、定制化、模版化提升開發速度，做到即拿即用，有效減少算力無效損耗，降低開發成本；三、簡化部署、強化管理，將數據、腳本、服務器等寶貴資源進行有效的管理和回收。整體平臺應用架構分為環境層、組件層、代理層、應用層四層。環境層：兼容不同型號硬件、集成基礎環境能力、提供基礎框架使用；組件層：組件層是平臺功能的倉庫，提供所有原子服務能力，涵蓋了數據處理、在線開發、模型訓練、部署推理全過程；代理層：將各組件統一裝載，支持本地大模型、開源大模型以及商用大模型的切換，支持各類微調方法擴展，兼容各類開發框架；應用層：將提示詞、知識庫、工具、大模型等串連起來構建成Agent，利用多個Agent相互協作來產生更好的應用效果。
模型訓練的過程實際上是一個面向基礎環境的開發過程，集成不同的硬件如英偉達、華為昇騰，不同的軟件框架TensorFlow、PyTorch、MindSpore，從面向基礎環境的開發轉變為面向平臺開發是構建企業AI應用開發體系的第一步。整體系統通過K8S集群管理，支持Milvus向量數據庫存儲。開發框架、推理框架集成JupyterLab、LangChain。通過底層的兼容集成來屏蔽大模型應用開發過程中的復雜性。
規劃設計平臺適配器讓AI應用開發真正“快”起來。開發過程中只需要關注主方法和參數配置。通過模型適配、微調適配、開發框架適配、GPU/NPU適配完成相關作業調度。
以鏡像的方式來管理不同版本環境，提供pytorch cuda、mindspore cann基礎鏡像，并可遠程調用算力服務器。集成JupyterLab支持多工作環境選擇、支持vs code擴展遠程開發。通過預置的參數指導，可視化編排可以快速構建一個訓練任務，一鍵執行。支持設置定時任務重復調度。人工智能在保險領域的應用為保險公司帶來了巨大的機遇和挑戰。我們也將持續迭代保險AI應用開發平臺，兼容更多類型的基礎環境、提供更便捷的訓練過程管理能力，為人工智能技術在保險行業的廣泛應用和深入發展投入綿薄之力。
? 財險-垂直AIGC平臺（MaaS)
中科軟深耕財產保險信息化二十多年，可幫助客戶基于領域業務需求進行AIGC基座選擇，提供詞根表、樣本程序等知識推動人工智能的語義空間收斂于行業應用軟件，實現精準計算，加大對領域的賦能。
憑借在財險行業應用軟件和AIGC技術研究方面的深厚積累，我們成功構建了基于開源軟件產品基座的垂直AIGC平臺，實現了從知識庫構建到AI助手快速搭建的全鏈條技術轉移，為客戶提供了從基座選擇到AI應用觸達的一站式服務，并在保險客服、營銷、風控等多個場景中實現了成功的落地實踐。
在ToB市場中，模型的應用面臨一系列特定挑戰：模型需高度裁剪、低算力環境高效運行、數據安全等，這促使我們開發出了“低配基座”即半成品模型，以便客戶或ISV能在此基礎上補充訓練和調優，以最大化場景的適用性。要實現這個目標，就要求與已有行業應用軟件系統群的語義空間對齊，基于以上背景，為用戶落地更多領域應用場景，提供更為靈活的應用探索模式，仍有較多痛點及瓶頸問題需要解決：
中科軟針對如何實現模型能力在保險垂直領域的眾多場景中落地，總結提出了垂直AIGC平臺（MaaS) 的整套解決方案，如圖所示。無論是構建AIGC場景輸出還是模型服務能力的管理，平臺都提供了一系列的API、工具及策略，為用戶提供訓練、部署和使用模型的一站式解決方案。同時，方便、快捷的機器學習模型部署和使用方式，使用戶無需關注底層的模型訓練和推理過程，只需調用相應的API接口進行模型的集成和使用。平臺可劃分為基礎設施層、工具平臺層、模型生態層、數據沉淀層、AIGC工程化體驗平臺層及開放平臺層等多個層次。包含了工程化策略、服務安全、評價體系、協同實施、AI-IDE及行業參考模型，讓模型與領域場景實現真正“雙向奔赴”。
在MaaS平臺中，基礎設施層包含了算力適配、各類模型及基座服務，其中算力適配提供了多種云適配和硬件支持，并為模型提供了容器化和服務化的部署；各類模型和基座服務通過適配引擎為 MaaS平臺提供了各方面功能支撐，功能包含了應用構建、知識管理、模型管理三大方面，并為企業的各崗位用戶提供了明確且清晰的操作指導路徑規劃和目標。各企業用戶可根據場景需要構建出不同的智能體，通過1個或多個智能體，形成不同的落地應用，為用戶帶來了更為靈活的應用探索。平臺核心部分的適配引擎，可大大降低用戶的使用成本，讓用戶無需關注底層技術和基座之間的差異性，同時也為生態合作伙伴或第三方基座軟件/產品提供了觸達應用場景的“最后一公里”的快速通道。
在本次技術交流會上，與會的專家評委們充分肯定了中科軟在AIGC領域的技術研究和應用實踐。特別是在垂直AIGC領域的應用上，中科軟能夠準確把握行業特點和需求，開發出針對性強、實用性高的AIGC解決方案，為推動整個AIGC技術的發展和應用做出了積極貢獻。同時，多位行業資深專家明確表示了進一步深化合作的愿望，希望共同探索AIGC技術的更多可能性，實現技術與行業需求的深度融合。此外，專家們對此次技術交流活動給予了高度評價，認為這次活動不僅為公司內部員工搭建了一個技術交流的平臺，而且促進了行業內外專業人士之間的思想碰撞、經驗分享和合作機會的探索。
未來，中科軟將不斷深化與各方的交流，為客戶提供更為智能、高效的行業應用軟件解決方案，引領行業發展的新趨勢。
