近日,網(wǎng)絡上有聲音質疑華為盤古大模型涉嫌抄襲阿里巴巴通義千問模型。7月5日,華為盤古Pro MoE技術開發(fā)團隊發(fā)表聲明稱,盤古Pro MoE開源模型是基于昇騰硬件平臺開發(fā)、訓練的基礎大模型,并非基于其他廠商模型增量訓練而來。
開發(fā)團隊稱,盤古Pro MoE開源模型部分基礎組件的代碼實現(xiàn)參考了業(yè)界開源實踐,涉及其他開源大模型的部分開源代碼?!拔覀儑栏褡裱_源許可證的要求,在開源代碼文件中清晰標注開源代碼的版權聲明。這不僅是開源社區(qū)的通行做法,也符合業(yè)界倡導的開源協(xié)作精神。我們始終堅持開放創(chuàng)新,尊重第三方知識產(chǎn)權,同時提倡包容、公平、開放、團結和可持續(xù)的開源理念。”
以下是回應全文:
我們注意到近期開源社區(qū)及網(wǎng)絡平臺關于盤古大模型開源代碼的討論。
盤古Pro MoE開源模型是基于昇騰硬件平臺開發(fā)、訓練的基礎大模型,并非基于其他廠商模型增量訓練而來,在架構設計、技術特性等方面做了關鍵創(chuàng)新,是全球首個面向昇騰硬件平臺設計的同規(guī)格混合專家模型,創(chuàng)新性地提出了分組混合專家模型(MoGE)架構,有效解決了大規(guī)模分布式訓練的負載均衡難題,提升訓練效率。其他技術特性創(chuàng)新,請參考昇騰生態(tài)競爭力系列技術報告披露內容。
盤古Pro MoE開源模型部分基礎組件的代碼實現(xiàn)參考了業(yè)界開源實踐,涉及其他開源大模型的部分開源代碼。我們嚴格遵循開源許可證的要求,在開源代碼文件中清晰標注開源代碼的版權聲明。這不僅是開源社區(qū)的通行做法,也符合業(yè)界倡導的開源協(xié)作精神。我們始終堅持開放創(chuàng)新,尊重第三方知識產(chǎn)權,同時提倡包容、公平、開放、團結和可持續(xù)的開源理念。
感謝全球開發(fā)者與合作伙伴對盤古大模型的關注和支持,我們高度重視開源社區(qū)的建設性意見。希望通過盤古大模型開源,與志同道合的伙伴一起,探索并不斷優(yōu)化模型能力,加速技術突破與產(chǎn)業(yè)落地。
我們歡迎并期待大家在開源社區(qū)Ascend Tribe,就技術細節(jié)進行深入、專業(yè)的交流。
盤古Pro MoE技術開發(fā)團隊