梦晨 发自 凹非寺量子位 | 公众号 QbitAI吉吉影音电影

Meta最新基础模子Llama 4发布36小时后，斟酌区确切是这个画风：

失望，相配失望不知谈他们后教师若何搞的，总之不太行在[各式测试]2中失败

还被作念成色彩包嘲谑，回归起来等于一个“差评如潮”。

具体来看，大家的怨恨主要麇集在代码能力。

最直不雅的要数经典“氛围编程”小球反弹测试，小球平直穿过墙壁掉下去了。

反馈在榜单上，得益也格外割裂。

发布时的官方测评（LiveCodeBench）分数和在大模子竞技场发扬明明王人很可以。

但到了各式第三方基准测试中，情况大多平直逆转，名次末尾。

让东谈主不由得怀疑，这个竞技场名次到底是数据过拟合吉吉影音电影，还是刷票了。

就在Llama 4行将发布前几天，Meta AI筹商掌握Joelle Pineau在责任8年之后眨眼间布告下野，总之等于不太妙。

Llama 4若何了?

大模子和蔼者们火热实测吐槽之际，一则联系Llama 4的匿名爆料，眨眼间引起山地风云：

有网友称我方已向Meta GenAI部门提交提交辞职，并条款不要签字在Llama 4的工夫表露上。

原贴发布在国际留学求职交流平台一亩三分地，在国内也引起好多洽商。

此爆料尚未获得阐述，但有东谈主搬出Meta GenAI适当东谈主Ahmad Al-Dahle的帖子，至少能看出在Llama 4大模子竞技场里运行的是特殊版块模子。

还有Meta前职工借此话题贴出2024年11月的一项筹商，指出从Llama 1运转数据闪现的问题就存在了。

也不单是编程能力一个方面有问题，在EQBench测评基准的的长著作写稿榜中，Llama 4系列也平直垫底。

榜单珍摄者_sqrkl说明了具体情况。

测试相配简单，模子需要先完成一个短篇演义的头脑风暴、反念念并修改写稿方案，最终每轮写1000字，调换8轮以上。

由Claude-Sonnet 3.7来当裁判，先对每个章节单独打分，再对通盘这个词作品打分。

Llama 4的低分表目下写到后头运转大段的实质调换，以及写稿相配公式化。

对此恶果，有一个估量是之前的版权诉讼让Meta删除了网罗和册本数据，使用了更多的合成数据。

在这场诉讼中，许多作者发现我方的作品可能被用于AI教师，还到伦敦的Meta办公室隔壁发起抗议。

Llama 4发布后的各种，让东谈主办预见年头的匿名职工爆，有网友暗意当初只是轻视望望，目下却运转肯定了：

在这条爆料中，Deepseek v3出来之后，教师中的Llama4就显得过期了，中层措置的薪水王人比DeepSeek V3的教师资本王人高，Meta里面堕入焦躁样式。

让东谈主不由得惊奇，DeepSeel-R1横空出世只是两个月时候，却像过了几辈子。

[1]https://www.reddit.com/r/LocalLLaMA/comments/1jt7hlc/metas_llama_4_fell_short/[2]https://www.1point3acres.com/bbs/thread-1122600-1-1.html[3]https://x.com/suchenzang/status/1909070231517143509https://x.com/TheAhmadOsman/status/1908833792111906894