元象开源高性能大模型XVERSE-65B-2底座版 提升代码和数学能力
元象宣布开源高性能大模型XVERSE-65B-2底座版,专项提升其代码和数学能力,并保持了上一代强大的生成创作、角色扮演与工具使用等能力,为生态献上了一个“文理兼修、大有可为”的大模型。XVERSE-65B-2在上一代基础上通过综合优化器状态、学习率调节策略和采样比进行了ContinualPre-Training,训练token总量达3.2万亿;模型支持中、英、俄、法等40多种语言,上下文窗口为16K。元象共开源70亿、130亿、650亿参数的3款大模型,其中XVERSE-65B为国内最早开源、最大参数的免费商用模型。