史上首个100%开源大模型重磅登场!破纪录公开代码/权重/数据集/训练全过程,AMD都能训
语言模型一直是自然语言处理技术的核心,考虑到模型背后的巨大商业价值,最大最先进的模型的技术细节都是不公开的。真·完全开源的大模型来了!来自艾伦人工智能研究所、华盛顿大学、耶鲁大学、纽约大学和卡内基梅隆大学的研究人员,联合发表了一项足以载入AI开源社区史册的工作——他们几乎将从零开始训练一个大模型过程中的一切数据和资料都开源了!论文:https://allenai.org/olmo/olmo-paper.pdf权重:https://huggingface.co/allenai/OLMo-7B代码:https://github.com/allenai/OLMo数据:https://huggingface.co/datasets/allenai/dolma评估:https://github.com/allenai/OLMo-Eval适配:https://github.com/allenai/open-instruct具体来说,艾伦人工智能研究所推出的这个开放大语言模型实验和训练平台,则提供了一个完全开源的大模型,以及所有和训练开发这个模型有关的数据和技术细节——训练和建模:它包括完整的模型权重、训练代码、训练日志、消融研究、训练指标和推理代码。她对机器学习的技术和认知科学的理论的融合应用充满了热情。