科大讯飞发布首个基于全国产化算力平台「飞星一号」的开源大模型:星火开源-13B

摘要

科大讯飞首发开源模型,深度适配国产算力平台

 

1 月 30 日,科大讯飞举行星火认知大模型 V3.5 升级发布会。科大讯飞董事长刘庆峰、研究院院长刘聪正式发布基于首个全国产算力训练的讯飞星火 V3.5,七大核心能力全面提升,数学、语言理解、语音交互能力超 GPT-4 Turbo,重磅升级星火智慧黑板;正式发布星火语音大模型,首批 37 个主流语种效果超过 OpenAI Whisper V3,赋能讯飞翻译机迎来全新升级助力更自由沟通,推动万物互联时代下客服、汽车、机器人等场景人机交互变革。

大模型应用加速落地,星火开发者超 35 万生态增长迅猛,打造个人应用赋能亿万用户;讯飞星火赋能千行百业,携手保险、银行、能源、汽车、通信等领域联合龙头企业,打造大模型赋能的应用标杆。此外,深度适配国产算力的讯飞星火开源大模型「星火开源-13B」首次发布,场景应用效果领先,昇思开源社区联合首发上线。

在 2023 年 5 月 6 日发布会上,科大讯飞推出新一代认知大模型,一经发布,众多科研院所和高校便期待科大讯飞能够开源。为了让大家使用的更加方便,科大讯飞增加了更多的数据,并针对工具链进行了优化。此次正式开源拥有 130 亿参数的 iFlytekSpark-13B 模型(讯飞星火开源-13B),也是首个基于全国产化算力平台「飞星一号」的大模型,正式开源!

本次开源,既包含基础模型 iFlytekSpark-13B-base、精调模型 iFlytekSpark-13B-chat,也开源了微调工具 iFlytekSpark-13B-Lora、人设定制工具 iFlytekSpark-13B-Charater,让企业和学术研究可以基于这些全栈自主创新的星火优化套件方便地训练自己的专用大模型。

 

 

 

公开评测榜单名列前茅,应用效果显著领先

星火开源-13B 在多项知名公开评测任务中名列前茅,在文本生成、语言理解、文本改写、行业问答、机器翻译等企业典型场景中,通过对学习辅助、语言理解等领域的深入研究和优化,大幅提升了其实用性,在处理复杂的自然语言任务时更加得心应手,确保了其在面对多样化和专业化的应用场景时能够保持高效和准确,效果显著优于其他同等尺寸的开源模型。

这对于追求高性能而对成本敏感的企业来说,无疑是一个巨大的吸引力,也为各行各业的企业提供了一种性价比高的解决方案。

 

全栈国产化适配优化,同步上线昇思 MindSpore 开源社区

在 2023 年 10 月 24 日,科大讯飞与华为共同发布了国内首个能够训练万亿浮点参数大模型的大规模算力平台「飞星一号」,基于昇腾生态,充分利用了华为的技术优势。这一平台的推出标志着中国在超大规模人工智能计算领域迈出了坚实的一步。

科大讯飞在此合作中发挥了其在算法领域的深厚积累,不仅深度参与了大模型底层算子库的开发和优化,还在大模型算法迁移以及超大规模集群智能化运维软件的开发上做出了重要贡献。这种深度合作和优化使得「飞星一号」平台在性能上得到了显著提升。

在星火开源-13B 训练过程中,国产软硬件环境的深度优化带来了显著的成果。双方利用昇思 MindSpore AI 框架的训练效率提升了 40%,与昇腾 AI 硬件协同的实现高度适配,训练策略针对昇腾算力极致优化,训练效率达 A100 的 90%。充分展示了国产算力在追赶国际先进水平方面的决心和能力。昇思 MindSpore Transformers 大模型套件也高效开发了开源版本,并在昇思开源社区同步上线

在全球芯片供应链紧张的背景下,国产算力的突破为大模型行业的发展提供了强有力的支撑。

 

 

开源完全免费,共建星火生态

开源的发布,是为了推动人工智能和机器学习领域的开源协作,在全球范围内促进技术革新。科大讯飞之前已开源多个广受欢迎的中文预训练模型,极大推动了业界在语音和语言处理技术上的快速发展,基于讯飞开源的中文预训练模型,众多高校和企业的创新应用开花结果。

在大模型时代的浪潮中,更多的底层技术原理及未来的发展方向和每个 AI 推动者、参与者息息相关,开源可以让更多做理论研究和学术探索的科研院所、企业和个人加入进来,以此增进学术合作,加深产业探索。讯飞星火开源-13 完全免费,可以帮助各类企业、高校、科研院所及个人增进学术合作加深产业探索。

只有更多的场景落地,才能更好地促进生态合作。去年 7 月科大讯飞正式成立了星火军团,负责助力客户大模型产品打造和应用落地,赋能千行百业。

 

 

 

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。