开源大模型DBRX:1320亿参数,比Llama2-70B快1倍
大数据公司Databricks最近发布了一款名为DBRX的MoE大模型,引发了开源社区的热议。DBRX在基准测试中击败了Grok-1、Mixtral等开源模型,成为了新的开源之王。根据Databricks公布的协议,基于DBRX打造的产品,如果月活超过7亿,就必须另行向Databricks提交申请。
1320亿参数,性能超LLaMA2、Grok-1!开源大模型DBRX
3月28日,著名数据和AI平台Databricks在官网正式开源大模型——DBRX。DBRX是一个专家混合模型有1320亿参数,能生成文本/代码、数学推理等,有基础和微调两种模型。Databricks主要提数据智能分析服务,帮助企业、个人用户快速挖掘数据的商业价值。