区小号消息,X 用户 choblin29 发文称,OpenAI 应用研究负责人 Boris Power 表示,公司已有 80% 至 90% 的研究聚焦于 GPT-7、GPT-8 及后续模型。Power 认为,同一代模型内部的改进在内部被视为极短期投入,可用于加快当下学习,但并非长期策略。据该帖整理,相关路径是先构建大型前沿模型,再将其作为教师模型,蒸馏为更小、更便宜的模型。Power 提到,GPT-6 Astra 可被蒸馏为 Luna 等模型,并认为构建小型专用模型的较好方式,可能是先训练能力更强的通用模型。他还称,当前最大问题并非模型性能,多数用户仍不了解现有 AI 已经能够完成的工作。
发表评论 取消回复