【梁文鋒等發(fā)表DeepSeek V3回顧性論文】《科創(chuàng)板日報》16日訊，近日DeepSeek創(chuàng)始人梁文鋒等人發(fā)表了一篇名為《Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for Al Architectures（深入了解DeepSeek-V3：人工智能架構硬件的擴展挑戰(zhàn)與思考）》的回顧性論文，深入分析了DeepSeek-V3/R1模型架構及其人工智能基礎架構，重點介紹了一些關鍵創(chuàng)新，如提高內存效率的多頭潛意識（MLA）、優(yōu)化計算與通信權衡的專家混合（MoE）架構、釋放硬件能力全部潛力的FP8混合精度訓練，以及最大限度降低集群級網絡開銷的多平面網絡拓撲結構。