来源:科技新视线
IT之家 2 月 25 日消息,META 在当地时间周五宣布,它将推出一种针对研究社区的基于人工智能 (AI) 的新型大型语言模型,与微软、谷歌等一众受到 ChatGPT 刺激的公司一同加入人工智能竞赛。
Meta 的 LLaMA 是“大型语言模型 Meta AI”(Large Language Model Meta AI)的缩写,它可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者。
(资料图片仅供参考)
该公司将提供底层代码供用户使用,因此用户可以自行调整模型,并将其用于与研究相关的用例。Meta 表示,该模型对算力的要求“低得多”。
据介绍,该公司正在开发多种参数(7B、13B、33B 和 65B)的 LLaMA。其中,LLaMA 65B 和 LLaMA 33B 在1.4 万亿个 tokens上训练,而最小的模型 LLaMA 7B 也经过了1 万亿个 tokens 的训练。
与其他大型语言模型一样,LLaMA 的工作原理是将一系列单词作为“输入”并预测下一个单词以递归生成文本。为了这套模型,Meta 从使用人数最多的 20 种语言中选择文本进行训练,重点是拉丁语和西里尔字母。
当然,与其他模型一样,LLaMA 也面临着偏见、有毒评论和幻觉的挑战,Meta 还需要做更多的研究来解决这类语言模型中的不足。
Meta 表示,LLaMA作为一个基础模型被设计成多功能的,可以应用于许多不同的用例,而不是为特定任务设计的微调模型。通过开源 LLaMA 的代码,其他研究人员可以更轻松地找到限制或消除这些问题的新方法。Meta 还在本文中提供了一组评估模型偏差和毒性的基准评估标准,以显示模型的局限性并支持研究人员在这一关键领域的进一步研究。
值得一提的是,Meta 在去年 5 月也曾推出过大型语言模型 OPT-175B。该项目同样也是针对研究人员的,这构成了其聊天机器人 blenterbot 新迭代的基础。
后来,该公司还推出了一款名为“卡拉狄加”(Galactica) 的模型,据称它可以撰写科学文章和解决数学问题,但其演示版本后来被下架,因为它反复生成“听起来很权威”的内容。
版权声明:除特殊说明外,本站所有文章均为 字节点击 原创内容,采用 BY-NC-SA 知识共享协议。原文链接:https://byteclicks.com/46788.html 转载时请以链接形式标明本文地址。转载本站内容不得用于任何商业目的。本站转载内容版权归原作者所有,文章内容仅代表作者独立观点,不代表字节点击立场。报道中出现的商标、图像版权及专利和其他版权所有的信息属于其合法持有人,只供传递信息之用,非商务用途。如有侵权,请联系 gavin@byteclicks.com。我们将协调给予处理。
赞
还在苦苦寻找优秀经典的名言吗?为大家整理的关于法律的名言警句
关于法律的名言警句(精选220句)在日常学习、工作或生活中,大家都有令自己印象深刻的名言吧,巧用名言有助于我们正确对待学习、生活、成长
怎样写方案才更能起到其作用呢?整理的项目合作实施方案
项目合作实施方案5篇为保证事情或工作高起点、高质量、高水平开展,往往需要预先进行方案制定工作,方案指的是为某一次行动所制定的计划类
楚辞影响最大的作品 《离骚》全文对照翻译
《离骚》全文对照翻译《离骚》是屈原的代表作,创作于楚怀王时期屈原遭谗被疏之时,是楚辞影响最大的作品。下面是《离骚》全文对照翻译...
写申请书时理由总是不够充分?为大家整理的退学申请书
退学申请书(精选12篇)在一步步向前发展的社会中,申请书在现实生活中使用广泛,申请书不同于其他书信,是一种专用书信。写申请书时理由总是
都有哪些类型的话语呢?为大家收集的感恩老师的话精选150句
感恩老师的话在生活、工作和学习中,越来越多人喜欢发表话语,话语是特定社会语境中人与人之间从事沟通的具体言语行为。那么都有哪些类...
关于我们 加入我们 联系我们 商务合作 粤ICP备18023326号-32
中国创氪网 www.chuanganwang.cn 版权所有
投稿投诉联系邮箱:85 572 98@qq.com