投資案例
以人工智能產業投資為核心，投資一批具有前景的未來型企業
已投資訊 | 山海大模型迎來新一輪迭代，醫療能力超越Med-PaLM 2
發布時間：
2023-06-26 18:00
來源：
5月24日，云知聲山海大模型正式發布，交出其在AGI領域的第一份答卷，并進入有序迭代階段。時隔一個月，山海大模型迎來了又一次比較大的升級——各項性能持續優化，且在核心能力上實現三大升級：通過迭代實現了在特定領域內的專業知識積累，詩詞創作能力、數學計算能力實現突破。
技術加碼，性能持續優化
01 吞吐效率接近理論上限60%
UniScale通過引入全新的Attention高效計算方式和相關底層算子的優化來提高浮點運算效率，另外，也進一步優化了訓練框架中的通信策略，進一步提升了多機多卡的吞吐效率。UniScale目前在多機多卡大模型訓練計算效率接近理論上限的60%，而當前公開的主流框架訓練效率約45%左右，因此所提方法能夠吞吐量在原有基礎上提升了15個點。在推理部分，通過解碼策略優化、量化和高效算子適配，相對原始推理性能翻倍，并適配了不同性能的顯卡推理部署。這意味著訓推一體框架UniScale 具有出色的并行計算能力，能夠同時處理多個任務，大大提高了模型的訓練速度。也表明在相同的時間內，UniScale可以完成更加高效的計算任務，降低推理部署成本。
02 微調速度提升15倍
UniScale通過集成QLoRA微調（Dettmers et al., 2023）技術，不僅極大地減少了微調所需的硬件資源，還提高了微調速度。QLoRA是在LoRA微調（Hu et al., 2021）基礎上結合了4位量化、雙量化和統一內存分頁技術，是一種高效的模型參數微調方法，不僅可以在普通消費級GPU上完成大規模語言模型的微調，還能夠在較少的迭代次數內快速收斂。與此同時，我們實現了一種多指令統一微調技術，能夠進一步減少模型的計算和通信開銷，加快微調的速度。我們經過實驗驗證，UniScale在使用QLoRA微調和統一微調技術之后，微調速度提升了約15倍。
這一改進對于微調任務非常重要，特別是當資源有限的情況下在大規模數據集上進行微調的場景。傳統的微調方法需要耗費較長的時間來逐步調整模型參數，而QLoRA微調能夠通過多種量化方法顯著減少顯存占用，大大減少了微調所需的內存，同時性能幾乎與標準微調相當。與此同時，微調后的模型可以直接用于模型部署，符合UniScale訓練與推理一體化的設計理念，這項改進使得UniScale成為一個非常有效的深度學習平臺，提供了更快速、高效的微調實驗方案。
能力突破，效果加速提升
01 醫療能力超越Med-PaLM 2
山海大模型實現了在特定領域內專業知識的快速積累，通過語料的不斷迭代升級，專業能力持續突破。以醫療領域為例，山海大模型學習了大量教材、百科等高質量醫學文獻，使其能夠提供更加全面、專業的醫療信息支持。在擴展了醫療大模型的領域知識的同時，山海大模型仍舊保持原有的高性能、高準確率等特點。醫療大模型的改進為醫生們提供更強大的支持和指導，以提高醫療效果。目前該模型在MedQA任務上提升到了87.1%，超越Med-PaLM 2，臨床執業醫師資格考試提升到了523（總分600分），超過了99%的考生水平。
02 詩詞創作能力升級
在詩詞創作方面上，山海大模型不僅在預訓練階段增加了7萬多首古詩詞數據，補充詩詞相關的知識，在指令學習階段，也精心設計近40種不同的指令，基本覆蓋日常對詩詞數據相關知識考察的內容，充分發掘大模型的潛力，進一步提升創作能力。通過指令學習的方法，山海大模型學會了運用類似的修辭手法和表達方式，使其創作效果更富詩意、更具情感溫度。不僅如此，山海大模型還能夠根據主題和情感要求進行定制化創作——這一突破不僅得益于詩詞相關的指令學習數據的引入，也歸功于山海大模型自身強大的計算和學習能力。
03 數學能力提升
山海大模型的數學計算能力主要依賴預訓練階段扎實、系統的數學理論體系和指令學習階段基于插件的具體題型的求解能力。為了進一步提升山海大模型的數學能力，我們主要針對以下兩方面進行優化：
a) 我們在預訓練階段提供人工和模型精心挑選的高質量預訓練數據，其中包括從小學到大學所有數學學科的教材、練習冊等，通過這些數據的學習，模型就具備了系統的數學理論體系和解決各種數學問題的基礎。
b) 基于 react 思想的指令學習是大模型數學能力的必要步驟。在此階段，對每一種題型，我們給出具體的解題思路，包括 reasoning and acting，教會大模型解決各種問題的能力。解題過程中，為了解決大模型無法做精確數值計算的問題，將數值運算移交給插件完成，插件完成數值計算或者方程求解之后，將答案返回大模型，大模型繼續問題求解，直到給出最終答案。
目前，云知聲山海大模型已深入到智慧醫療、智慧教育、知識管理、智慧營銷、智能客服等具體場景中，基于山海大模型打造的場景應用正不斷豐富、不斷拓展。
7月6日-7月8日，云知聲將攜山海大模型及其醫療、銀行、車載、客服等最新場景應用亮相2023世界人工智能大會，歡迎大家屆時蒞臨云知聲展位參觀交流。
從能力升級到場景應用，基于多年技術積累，云知聲正加速推進山海大模型的迭代演變。未來山海會有怎樣的驚喜和亮點，值得你的期待。