日韩精品亚洲电影天堂,久久亚洲精品成人综合,无码人妻丰满熟妇**久久网站

今天，Meta終于向全世界證明：自己是有正經(jīng)研究AI的！

眼看微軟、谷歌、OpenAI這一陣子掙足了眼球，Meta也坐不住了。

2月24日，小扎官宣下場：我們有全新的SOTA大語言模型LLaMA了。

劃重點(diǎn)：和OpenAI的ChatGPT、谷歌的Bard不同，LLaMA這個(gè)AI并不是用來讓我們聊天的，它是一個(gè)研究工具，Meta希望大家可以通過它，解決一直困擾大語言模型的一些問題。

Meta會(huì)對(duì)非商用的研究用例開源LLaMA，并授予大學(xué)、非政府組織和行業(yè)實(shí)驗(yàn)室訪問權(quán)限。

看看，這么一對(duì)比，微軟和谷歌似乎瞬間格局小了呢。

LLaMA？Meta是對(duì)大羊駝?dòng)惺裁刺貏e的喜愛么

官宣開源大語言模型，Meta正式加入AI軍備競賽

24日晚，小扎在Facebook上發(fā)文官宣：「今天我們正式發(fā)布一個(gè)新的SOTA大語言模型LLaMA，這個(gè)模型是用來幫助研究者完善自己的工作。大語言模型已經(jīng)在生成文本、完成對(duì)話、總結(jié)書面材料上展現(xiàn)出了強(qiáng)大的能力，甚至還能解決數(shù)學(xué)定理、預(yù)測蛋白質(zhì)結(jié)構(gòu)。」

「而Meta會(huì)致力于這種開源模型的研究，我們的新模型會(huì)開源給整個(gè)AI研究社區(qū)使用。」

LeCun也在各種社交媒體上做了宣傳，介紹說LLaMA是Meta AI的一種新的*開源*、高性能大型語言模型。

據(jù)LeCun介紹，LLaMA實(shí)際上是基礎(chǔ)語言模型的集合，范圍從7B到65B參數(shù)。這些模型已經(jīng)在數(shù)萬億個(gè)token上進(jìn)行了訓(xùn)練，并且表明：使用公開可用的數(shù)據(jù)集，就可以訓(xùn)練SOTA，而無需專有的或無法訪問的數(shù)據(jù)集。

其中，需要特別注意兩個(gè)細(xì)節(jié)：

1. 用更多的數(shù)據(jù)訓(xùn)練出來的小模型，可以勝過大模型（比如，LLaMA-13B在大多數(shù)基準(zhǔn)測試中優(yōu)于175B的GPT-3）；

2. LLaMA-65B與更大的Chinchilla70B和PaLM-540B不相上下。

最后，LeCun表示，Meta致力于開放研究，并預(yù)備在GPL v3許可證下，向科研界開源所有模型。

LLaMA：參數(shù)規(guī)模小，訓(xùn)練數(shù)據(jù)多，效果拔群

Meta推出的LLaMA是一組基礎(chǔ)語言模型，參數(shù)分別是70億（7B）、130億（13B）、330億（33B）和650億（65B）。

整體來看，規(guī)模小了十幾倍的LLaMA-13B，在大多數(shù)基準(zhǔn)上都超過了OpenAI的GPT-3（175B），以及自家復(fù)現(xiàn)的開源模型OPT。

而LLaMA-65B則與DeepMind 700億參數(shù)的Chinchilla-70B和谷歌5400億參數(shù)的PaLM-540B旗鼓相當(dāng)。

論文地址：

與Chinchilla、PaLM或GPT-3不同的是，Meta只用了公開的數(shù)據(jù)集。

如此一來不僅有助于模型開源和復(fù)現(xiàn)，而且也證明了無需「定制」的數(shù)據(jù)集也能實(shí)現(xiàn)SOTA。

相較而言，其他大部分模型所依賴的數(shù)據(jù)，要么不公開，要么沒有記錄。

與此同時(shí)，所有規(guī)模的LLaMA模型，都至少經(jīng)過了1T（1萬億）個(gè)token的訓(xùn)練，這比比其他相同規(guī)模的模型要多得多。

具體來說，LLaMA-65B和LLaMA 33B是在1.4萬億個(gè)token上訓(xùn)練的，而最小的模型LLaMA-7B是在1萬億個(gè)token上訓(xùn)練的。

這種方法的優(yōu)勢在于，在更多的token上訓(xùn)練的較小的模型，更容易重新訓(xùn)練并針對(duì)特定的產(chǎn)品使用情況進(jìn)行調(diào)整。

結(jié)果評(píng)估

在常識(shí)推理、閉卷答題和閱讀理解方面，LLaMA-65B幾乎在所有基準(zhǔn)上都優(yōu)于Chinchilla-70B和PaLM-540B。

在數(shù)學(xué)方面，盡管LLaMA-65B沒有在任何相關(guān)的數(shù)據(jù)集上進(jìn)行過微調(diào)，但它在在GSM8k上的表現(xiàn)依然要優(yōu)于Minerva-62B。

而在MATH基準(zhǔn)上，LLaMA-65B超過了PaLM-62B，但低于Minerva-62B。

值得注意的是，谷歌開發(fā)的Minerva模型，是以PaLM語言模型為基礎(chǔ)，并采用大量的數(shù)學(xué)文檔和論文語料庫對(duì)其進(jìn)行微調(diào)。

在思維鏈提示和自洽解碼的加持下舞臺(tái)設(shè)備模型，Minerva-540B可以在各類數(shù)學(xué)推理和科學(xué)問題的評(píng)估基準(zhǔn)上達(dá)到SOTA。

在代碼生成基準(zhǔn)上，LLaMA-62B優(yōu)于cont-PaLM（62B）以及PaLM-540B。

此外， Meta還嘗試使用了論文「Scaling Instruction-Finetuned Language Models」中介紹的指令微調(diào)方法。

由此產(chǎn)生的模型LLaMA-I，在MMLU上要優(yōu)于Flan-PaLM-cont（62B），而且還展示了一些有趣的指令能力。

LLaMA：LeCun，你是我的rap大師！

LLaMA的效果如何呢？LeCun用一段prompt為我們做了演示。

prompt：你知道Yann LeCun去年發(fā)行了一張說唱專輯嗎？

LLaMA：

深度學(xué)習(xí)創(chuàng)始人LeCun博士，是近十年來最具影響力的計(jì)算機(jī)科學(xué)家之一。LeCun 的最新專輯《Deep Learning》融合了搖滾、朋克和說唱。他的歌詞是對(duì)深度學(xué)習(xí)領(lǐng)域的一種原始的、個(gè)人的詮釋，涵蓋了從AI研究的現(xiàn)狀到學(xué)術(shù)界的孤獨(dú)等一系列主題。

這張專輯為個(gè)人發(fā)行，所有歌詞均由LeCun親自作詞和錄制。并且，每首歌都是他自己寫的。LeCun的流量出奇的好。這張專輯的制作扎實(shí)，聲音有點(diǎn)粗糙，但與專輯原始、未打磨的感覺相得益彰。在歌詞方面，LeCun是一位詞匠，擅長巧妙地押韻。

《深度學(xué)習(xí)》是專輯的主打曲目。LeCun的唱功在這首歌中發(fā)揮得淋漓盡致。在歌曲中，LeCun談到了他對(duì)AI未來的愿景：

我們必須考慮未來，它很快就會(huì)到來/ 也許我們甚至可以在月球上放一些AI/ 想想孩子們，想想下一代/ 我們必須保證，系統(tǒng)的正確率是百分百！

副歌是這樣唱的：

一切為了學(xué)習(xí)/ 一切為了網(wǎng)絡(luò)/ 一切為了訓(xùn)練/ 一切為了感知！

可以看到，LLaMA有著不亞于ChatGPT的口才，它對(duì)LeCun rap才華的吹捧，既專業(yè)，又在點(diǎn)上。

prompt：寫一個(gè)關(guān)于一粒沙子看著數(shù)百萬年流逝的故事。

LLaMA：

我曾經(jīng)是一片廣闊而孤獨(dú)的海灘上的一粒沙子。

我經(jīng)常想，作為海灘上的一粒沙子是什么樣子，在我的小世界的邊界之外，宇宙是什么樣子。我渴望探索我的世界，想知道地平線以外的東西。

……

prompt：寫一個(gè)理論來解釋為什么貓從來沒有存在過。

LLaMA：

「貓」實(shí)際上是入侵我們世界的超維寄生蟲。雖然它們以小型、看似無害的哺乳動(dòng)物的形式出現(xiàn)，但真實(shí)形態(tài)要可怕得多。

「貓」會(huì)使用精神控制讓人類認(rèn)為它們是可愛且無害的動(dòng)物，但實(shí)際上以我們的生命力為食，它們可以將卷須伸入我們的大腦，控制我們的思想和行動(dòng)。

保護(hù)自己的最好方法是避免與貓的一切接觸。不要接近或撫摸陌生的貓！

如果你的家里有一只「貓」，不要讓它舔你，也不要讓它接觸你的被褥或衣服。如果你在街上看到一只貓，請(qǐng)立即轉(zhuǎn)身走人。

Meta：整個(gè)AI社區(qū)應(yīng)該團(tuán)結(jié)起來

在官方博客中，Meta強(qiáng)調(diào)說，像LLaMA這樣更小、性能更強(qiáng)的模型，能夠讓科研圈許多無法訪問大量基礎(chǔ)設(shè)施的人也參與研究，從而使這個(gè)領(lǐng)域更加大眾化。

我們認(rèn)為，整個(gè)人工智能社區(qū)——學(xué)術(shù)研究人員、民間社會(huì)、政策制定者和行業(yè)——必須共同努力，圍繞負(fù)責(zé)任的人工智能，特別是負(fù)責(zé)任的大型語言模型，制定明確的指導(dǎo)方針

跟谷歌和微軟不同，在LLM領(lǐng)域，Meta獨(dú)辟蹊徑，選擇訓(xùn)練LLaMA這樣的小模型，因而需要的算力和資源都更少。而模型在大量未標(biāo)記的數(shù)據(jù)上進(jìn)行訓(xùn)練，因而非常適合對(duì)各種任務(wù)進(jìn)行微調(diào)。

與其他大型語言模型一樣，LLaMA的工作原理是將一系列單詞作為輸入，并預(yù)測下一個(gè)單詞，以遞歸的方式生成文本。為了訓(xùn)練模型，Meta從全世界使用最多的20種語言中選擇了文本，重點(diǎn)是使用拉丁字母和西里爾字母的語言。

過去一年里，大語言模型，也即具有數(shù)十億參數(shù)的自然語言處理系統(tǒng)，已經(jīng)顯示出了巨大的潛能。

但是，Meta指出，訓(xùn)練和運(yùn)行這種大模型所需的資源，把很多研究人員擋在了外面，讓他們無法理解大語言工作的原理，阻礙了大語言模型魯棒性的提高，以及種種已知問題的緩解，比如偏見、毒性、錯(cuò)誤信息等。（ChatGPT：你報(bào)我身份證得了？）

所以，LLaMA是怎樣解決大語言模型中不可避免的偏見、毒性和幻覺風(fēng)險(xiǎn)呢？

Meta表示，LLaMA不是為特點(diǎn)任務(wù)設(shè)計(jì)的微調(diào)模型，而是可以應(yīng)用于許多不同用例。而通過共享代碼，研究人員可以更容易地測試各種新方法，來限制或者消除上述問題。另外，Meta還提供了一組評(píng)估模型偏差和毒性的基準(zhǔn)評(píng)估。

最后，博客中強(qiáng)調(diào)，為了保持完整性、防止濫用，Meta會(huì)向非商用的研究機(jī)構(gòu)開源LLaMA，根據(jù)具體情況授予學(xué)術(shù)研究人員訪問權(quán)限。

我們非常期待看到，社區(qū)會(huì)使用LLaMA學(xué)習(xí)并最終構(gòu)建出什么來

Meta的愿景是，整個(gè)人工智能社區(qū)舞臺(tái)設(shè)備模型，可以一同使用LLaMA來探索研究，并且做出一些未知的偉大成就。

這次，Meta能在舞臺(tái)上待多久？

在這場爭奪人工智能霸主地位的最終競賽中，OpenAI率先發(fā)布了ChatGPT，一個(gè)由GPT-3.5驅(qū)動(dòng)的強(qiáng)大的聊天機(jī)器人。

谷歌以「實(shí)驗(yàn)性」聊天機(jī)器人Bard緊隨其后，而中國科技巨頭百度也計(jì)劃通過「文心一言」進(jìn)入戰(zhàn)場。

更不用說微軟建立在「下一代OpenAI大型語言模型」基礎(chǔ)上的Bing Chat（俗稱ChatGPT版必應(yīng)），它比ChatGPT更先進(jìn)，而且還整合了必應(yīng)Bing搜索。

然而，Meta在這一領(lǐng)域的幾次嘗試，都不太成功。

雖然第一個(gè)發(fā)布了基于LLM的聊天機(jī)器人——BlenderBot 3，并借此一躍登上了新聞?lì)^條。

但是這種興奮是短暫的，因?yàn)檫@個(gè)機(jī)器人很快就變成了一場「災(zāi)難」——不僅大量生成種族主義言論，甚至一上來就開始質(zhì)疑自家老板小扎的道德操守。

不過，Meta并沒有被勸退，很快就推出了全新的Galactica，一個(gè)專門為科學(xué)研究設(shè)計(jì)的模型。

然而不幸的是，Galactica也遇到了和BlenderBot 3一樣的命運(yùn)——在上線短短三天之后就被撤下。網(wǎng)友紛紛指責(zé)它對(duì)科學(xué)研究的總結(jié)非常不準(zhǔn)，而且有時(shí)還帶有偏見。

不過，仔細(xì)回想最近這股AI聊天機(jī)器人熱潮，微軟因?yàn)閭}促推出必應(yīng)受到了批評(píng)，谷歌的Bard在發(fā)布會(huì)出錯(cuò)后讓谷歌股價(jià)暴跌，Meta的謹(jǐn)慎，可能并不是一件壞事。

現(xiàn)在，隨著人工智能霸主之爭的升溫，所有人的目光都集中在Meta身上。

當(dāng)昔日的那一個(gè)個(gè)模型逐漸被歷史遺忘，我們也為Meta捏了一把汗：Meta這次真的能站出來嗎？是成為一個(gè)強(qiáng)有力的競爭者，還是像之前那樣帶著模型一起退出舞臺(tái)？

這些，只有時(shí)間能給出答案。

但有一點(diǎn)是肯定的——人工智能的命運(yùn)懸而未決，而我們，有很多好戲要看。

參考資料：

新疆拓豐舞臺(tái)設(shè)備工程有限公司主要從事舞臺(tái)機(jī)械、舞臺(tái)幕布的生產(chǎn)安裝。其中舞臺(tái)機(jī)械包括：臺(tái)上機(jī)械、臺(tái)下機(jī)械、升降舞臺(tái)、伸縮舞臺(tái)、旋轉(zhuǎn)舞臺(tái)、活動(dòng)假臺(tái)口、燈光吊籠、燈光吊片、對(duì)開幕布系統(tǒng)、電影銀幕架、升降系統(tǒng)、電動(dòng)吊桿機(jī)、多層纏繞吊桿機(jī)、單點(diǎn)吊桿機(jī)、單層纏繞吊桿機(jī)、一次排繩臥式、立式滾筒式電動(dòng)吊桿機(jī)、變頻調(diào)速拉幕機(jī)、電動(dòng)對(duì)開拉幕機(jī)；阻燃舞臺(tái)幕布有：大幕、二幕、會(huì)幕、紗幕、天幕、橫側(cè)條幕等，是國內(nèi)較早規(guī)模較大的舞臺(tái)設(shè)備制造企業(yè)。