一周前刚完成大模型首秀的零一万物,近日却成为风口浪尖上的焦点。
11月14日上午,一位国外开发者在Hugging Face开源主页上评论称,创新工场董事长兼CEO、零一万物CEO李开复旗下 AI 公司“零一万物”开源大模型Yi-34B,完全使用Meta研发的LIama开源模型架构,而只对两个张量(Tensor)名称进行修改。
Yi-34B被指是对LLaMA的重构
阿里前技术副总裁、大模型行业创业者贾扬清近日在朋友圈中也表示,做小公司不容易,在做适配某国内大厂的新模型的业务时,发现此大厂新模型完全照搬LLaMA的架构,“今天有朋友告诉我,这个大厂新模型exactly就是LLaMA的架构,但是为了表示不一样,把代码里面的名字从LLaMA改成了他们的名字,然后换了几个变量名。”
贾扬清表示希望不要换名伪装,以免做多余的适配工作,“各位大佬,开源社区不容易,如果你们就是开源的模型结构,求高抬贵手就叫原来的名字吧,免得我们还做一堆工作就为了适配你们改名字。”
贾扬清没有指明具体的大模型名字。但业内怀疑的对象指向李开复旗下的零一万物(Yi)。
在全球三大开源社区平台之一Hugging Face上,零一万物的社区中,开发者ehartford指出,“据我们了解,除了两个张量(tensor)被重命名之外,Yi 完全使用了 LLaMA 的架构。”
零一万物回应争议
对于本次争议,零一万物回应称:GPT 是一个业内公认的成熟架构,LLaMA 在 GPT 上做了总结。零一万物研发大模型的结构设计基于 GPT 成熟结构,借鉴了行业顶尖水平的公开成果,由于大模型技术发展还在非常初期,与行业主流保持一致的结构,更有利于整体的适配与未来的迭代。同时零一万物团队对模型和训练的理解做了大量工作,也在持续探索模型结构层面本质上的突破。
零一万物团队开源总监 richardllin 回应 ehartford 称:非常感谢您在讨论中指出了这一点,也感谢您以良好的耐心等待我们做出回复。
您对张量名称的看法是正确的,我们会按照您的建议将其从 Yi 重命名为 LLaMA。我们也一直强调以准确、透明的方式完成工作。您在前面的帖子中提到,“开源社区肯定会重新发布 Yi 模型并调整张量名称,制作出符合 LLaMA 架构的新版本。”这让我们不禁好奇:您是希望提交一条包含这些变更的 PR 吗?或者说,如果您希望由我们处理更新,我们也可以按要求操作并在本 repo 中发布新版本——这样可能更省时间。
这个命名问题是我们的疏忽。在大量训练实验中,我们对代码进行了多次重命名以满足实验要求。但在发布正式版本之前,我们显然没能将它们全部正确调整回来。我们对此深感抱歉,对于由此造成的混乱也感到遗憾。
我们正在努力加强工作流程,力争未来不出现类似的失误。您的反馈给了我们很大帮助,接下来我们将再次核查所有代码,确保其余部分准确无误。也希望您还有整个社区持续关注我们的工作进展。
再次感谢您的提醒,期待您的更多支持和宝贵建议。
零一万物和Yi 大模型
“Yi” 系列大模型:命名来自“一”的拼音,“Yi”中的“Y”上下颠倒,巧妙形同汉字的 “人”,结合AI里的 i,代表 Human + AI。
据介绍,李开复于2023年3月开始组建零一万物的团队,并于6月开始运营。零一万物开源的基础大型语言模型Yi-34B现已向全球开发者提供中英文版本。
Hugging Face最新评估结果显示,Yi-34B在所谓的预训练基础大语言模型中排名第一,在一些关键指标上优于包括Meta公司Llama 2在内的领先开源模型。这也是迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。
零一万物称,将基于Yi 基座模型,快节奏开源发布一系列的量化版本、对话模型、数学模型、代码模型和多模态模型等,邀请开发者积极投入,共同促进语言模型开源社区的繁荣发展,培育新型“AI-first”创新生态体系。
据不完全统计,到目前为止,中国10亿级参数规模以上大模型已发布了79个。
从地域分布看,有14省份均在开展大模型研发,主要集中在北京、广东两地,其中北京有38个大模型,广东有20个大模型。
从领域分布看,自然语言处理仍是目前大模型研发最为活跃的重点领域,其次是多模态领域,在计算机视觉和智能语音等领域的大模型还较少。
随着科技的飞速发展,人工智能已成为我们生活中不可或缺的一部分。然而,这个新兴领域也引发了一系列有关知识产权、抄袭和侵权的问题。
中细软集团深耕知识产权行业22年,在知识产权服务的实践中赢得生存与发展,成为成就知识产权服务的专业品牌。中细软集团已成长为同行业中具有影响力的元宇宙科技创新服务平台,服务项目多达3000余种。致力于通过网络科技等手段,为全球科技创新提供系统的解决方案与信息服务。您有任何知识产权相关问题,欢迎找我们咨询。
来源:智元宇宙、极客公园等
请输入正确的手机号
专利类型
您的咨询我们已收到,稍后会有专业顾问与您联系。