OpenAI 的嵌入 API太慢了吗?探索其他嵌入模型和服务的优势
这篇文章讨论了机器学习模型的延迟对聊天应用和代理的用户体验的影响,重点关注了生成语言模型的提示生成过程中的语义搜索任务。文章比较了两种嵌入API服务和几种开源嵌入模型在嵌入速度和准确度方面的表现,发现OpenAI的嵌入API服务的延迟明显高于Google的新嵌入API服务本地运行的开源嵌入模型则是最快的。使用的软件包括:JupyterLabsentence-transformers2.2.2pytorch2.0.1Python3.10和