為了確保您每日收到“阿爾法工場(chǎng)”優(yōu)質(zhì)的財(cái)經(jīng)內(nèi)容推送，請(qǐng)進(jìn)入公眾號(hào)主頁(yè)，點(diǎn)擊右上角“···”標(biāo)志，點(diǎn)擊第一行“設(shè)為星標(biāo)”。

作者 | 芯芯來(lái)源 | 極客公園
導(dǎo)語(yǔ)：AI的狂飆突進(jìn)，背后站著“數(shù)據(jù)原罪”的幽靈。

(資料圖片僅供參考)

為了訓(xùn)練大型語(yǔ)言模型，OpenAI、Meta、谷歌、微軟等公司未經(jīng)許可，從互聯(lián)網(wǎng)上收割了數(shù)百萬(wàn)受版權(quán)保護(hù)的作品，在版權(quán)法的灰色地帶中游弋。

如今，OpenAI目前正面臨大量的官司，原告稱(chēng)該公司訓(xùn)練數(shù)據(jù)集中的大多數(shù)書(shū)籍來(lái)自盜版來(lái)源和非授權(quán)網(wǎng)站。一旦被判侵權(quán)，公司有可能將面臨巨額罰款或重構(gòu)算法的局面。這也導(dǎo)致，如今AI公司越來(lái)越不愿意分享AI訓(xùn)練數(shù)據(jù)的詳細(xì)信息。

但一些公開(kāi)的盜版語(yǔ)料庫(kù)已經(jīng)被盯上。

近日，有人發(fā)現(xiàn)一個(gè)叫Books3的數(shù)據(jù)集，包含近20萬(wàn)本書(shū)籍，囊括村上春樹(shù)、史蒂芬·金等暢銷(xiāo)書(shū)作家的著作，這個(gè)數(shù)據(jù)集被用在了訓(xùn)練AI模型上，最近遭到反盜版組織的反復(fù)攻擊。

版權(quán)問(wèn)題這把利刃，正懸在AI公司們的頭上，有搖搖欲墜之勢(shì)。

Books3，AI公司的秘密

一直以來(lái)，對(duì)于AI模型的訓(xùn)練數(shù)據(jù)并不完全透明。今年，多名美國(guó)作家針對(duì)OpenAI提起了集體訴訟，指控其使用盜版書(shū)籍來(lái)訓(xùn)練其語(yǔ)言模型，侵犯版權(quán)并違反了多項(xiàng)法律。

這些作家主張的證據(jù)很簡(jiǎn)單，因?yàn)樾┧麄儚奈赐釵penAI使用他們的作品，然而ChatGPT卻能提供他們作品的準(zhǔn)確摘要，這讓他們認(rèn)為這些信息肯定是從某個(gè)地方獲取的。

根據(jù)早期GPT版本的研究論文，其訓(xùn)練數(shù)據(jù)集有部分來(lái)自于“兩個(gè)基于互聯(lián)網(wǎng)的書(shū)籍語(yǔ)料庫(kù)”，它們被簡(jiǎn)單地稱(chēng)為“Books1”和“Books2”，這些數(shù)據(jù)集具體包含哪些作品比較含糊。

Books1似乎是bookcorpus，里面有數(shù)百本書(shū)明確聲明“不得以商業(yè)或非商業(yè)目的復(fù)制和分發(fā)”。Books2則成為一個(gè)謎團(tuán)，大多人猜測(cè)它們來(lái)自于“臭名昭著的影子圖書(shū)館網(wǎng)站”，如Library Genesis、Z-Library、Sci-Hub和Bibliotik。

其中，Z-Library成立于2008年，是互聯(lián)網(wǎng)最大的盜版電子書(shū)庫(kù)之一。2022年11月，美國(guó)政府起訴兩名運(yùn)營(yíng)該網(wǎng)站的俄羅斯公民，這兩人在阿根廷被逮捕。

至于GPT-4的45TB訓(xùn)練數(shù)據(jù)，其中包含什么內(nèi)容的信息更加有限，OpenAI多年來(lái)逐漸減少了其訓(xùn)練數(shù)據(jù)的披露。

盡管目前沒(méi)有直接證據(jù)表明OpenAI使用盜版網(wǎng)站來(lái)培訓(xùn)ChatGPT，但一些AI模型此前已經(jīng)明確在盜版書(shū)籍上進(jìn)行了訓(xùn)練，包括使用“Books3”數(shù)據(jù)集的AI模型。

EleutherAI的Pythia研究論文中提到，Pythia是使用Pile數(shù)據(jù)集進(jìn)行訓(xùn)練的，而Pile數(shù)據(jù)集包含多個(gè)英語(yǔ)文本集，其中之一就是名為“Books3”的數(shù)據(jù)集。

Books3是用于訓(xùn)練AI的最著名的盜版書(shū)籍庫(kù)之一，最初是由AI開(kāi)發(fā)人員和知名開(kāi)源AI支持者Shawn Presser于2020年上傳。它包含37 GB的文本，包括196640本純文本格式的書(shū)籍，并在盜版網(wǎng)站bibliotik上托管。

“假設(shè)你想訓(xùn)練一個(gè)世界級(jí)的GPT模型，就像OpenAI一樣。怎么做？你沒(méi)有數(shù)據(jù)?，F(xiàn)在你可以做到，現(xiàn)在每個(gè)人都這樣做。為你呈現(xiàn)‘books3’，又名‘a(chǎn)ll of bibliotik’?！盨hawn Presser最早在社交平臺(tái)上寫(xiě)道。

開(kāi)源AI支持者Shawn Presser于2020年上傳“books3”，圖片來(lái)源：X

然而，反盜版組織也在采取行動(dòng)，代表相關(guān)利益群體，試圖限制未經(jīng)授權(quán)的AI訓(xùn)練數(shù)據(jù)的使用。

這段時(shí)間，反盜版組織Rights Alliance向相關(guān)站點(diǎn)發(fā)送刪除通知后，相關(guān)站點(diǎn)已將Books3數(shù)據(jù)集下線，導(dǎo)致嘗試訪問(wèn)該數(shù)據(jù)集的用戶(hù)會(huì)看到404錯(cuò)誤。

Rights Alliance還聯(lián)系了AI模型托管平臺(tái)Hugging Face（該站點(diǎn)托管了Books3下載鏈接）以及EleutherAI。然而，盡管一些鏈接被下架，該數(shù)據(jù)集的副本并未消失，仍然在其他地方出現(xiàn)。

遭到針對(duì)后，Shawn Presser繼續(xù)發(fā)布新的下載鏈接，他稱(chēng)，除非反對(duì)者打算讓ChatGPT下線，或者通過(guò)訴訟將其告到滅亡，否則，他希望每個(gè)人都能夠制作自己的ChatGPT，他還稱(chēng)自己“很樂(lè)意入獄10個(gè)月（海盜灣創(chuàng)始人服過(guò)的最高刑期），因?yàn)槲彝苿?dòng)了科學(xué)進(jìn)步并賦予了你們復(fù)制ChatGPT的能力。”

“復(fù)制ChatGPT這樣的模型的唯一方法，是創(chuàng)建像Books3這樣的數(shù)據(jù)集?！?/strong>Shawn Presser稱(chēng)：“每個(gè)營(yíng)利性公司都會(huì)秘密地這樣做，不會(huì)將數(shù)據(jù)集發(fā)布給公眾?！?

“沒(méi)有Books3，我們就生活在一個(gè)只有OpenAI和其他億萬(wàn)美元公司才能訪問(wèn)這些書(shū)籍的世界中，這意味著你不能制作自己的ChatGPT。沒(méi)有人能。只有億萬(wàn)美元的公司才有資源做到這一點(diǎn)。”

包括Meta在內(nèi)的一些公司曾經(jīng)使用過(guò)Books3，另外，Meta、谷歌都使用過(guò)的C4訓(xùn)練數(shù)據(jù)集也被詬病過(guò)，現(xiàn)在這些公司對(duì)其語(yǔ)言模型中的內(nèi)容更為保密。

Meta的Llama 2增加了40%的數(shù)據(jù)，但在其白皮書(shū)中，該公司對(duì)其最新的 大語(yǔ)言模型使用了什么數(shù)據(jù)更為猶豫，唯一提到的是“一個(gè)新的混合的公開(kāi)可用在線數(shù)據(jù)”。隨著AI和版權(quán)之間的摩擦升溫，公司越來(lái)越不愿意分享AI訓(xùn)練數(shù)據(jù)的詳細(xì)信息。

萬(wàn)名作家聯(lián)名反對(duì)

超一萬(wàn)名作家敦促AI公司停止使用其作品。他們不希望AI模仿其作品并學(xué)會(huì)寫(xiě)作，除非科技公司為此付費(fèi)。

美國(guó)的作家協(xié)會(huì)已經(jīng)向巨頭們發(fā)了一封公開(kāi)信，包括OpenAI、谷歌、Meta、Stability AI、IBM和微軟公司的各大CEO，要求他們停止未經(jīng)許可使用他們的作品，或?qū)κ褂米髌愤M(jìn)行補(bǔ)償。

其中包括《達(dá)芬奇密碼》作者丹·布朗、《饑餓游戲》作者蘇珊·柯林斯、《使女的故事》作者瑪格麗特·阿特伍德、《自由》作者喬納森·弗蘭岑等人都簽署了這封公開(kāi)信，簽署的作家名單長(zhǎng)達(dá)100多頁(yè)。

一萬(wàn)名作家簽署公開(kāi)信 ，圖片來(lái)源：美國(guó)作家協(xié)會(huì)

目前，該作家協(xié)會(huì)正嘗試先在不提起訴訟的情況下解決爭(zhēng)端，因?yàn)椤霸V訟需要大量的資金，而且需要很長(zhǎng)時(shí)間?！?

但也有一些文學(xué)界人士愿意直接在法庭上與科技公司對(duì)抗，控訴Meta或OpenAI等使用盜版來(lái)訓(xùn)練他們的AI。此外，文學(xué)經(jīng)紀(jì)人們正在與出版商商討，要更新出版合同條款，禁止未經(jīng)授權(quán)的AI訓(xùn)練用途，大部分出版商都愿意限制AI使用他們的出版物。

根據(jù)美國(guó)作家協(xié)會(huì)的調(diào)查，90%的作家認(rèn)為，作家應(yīng)該獲得對(duì)其作品用于訓(xùn)練生成式人工智能的補(bǔ)償，65%的作家支持建立一個(gè)集體授權(quán)制度，以補(bǔ)償作者的作品被用于訓(xùn)練生成式AI。

此外，69%的作家認(rèn)為他們的職業(yè)受到生成式AI的威脅，70%的作家認(rèn)為出版商將開(kāi)始使用AI來(lái)完全或部分生成書(shū)籍，取代人類(lèi)作者。

除了發(fā)公開(kāi)信、打官司、完善合同，出版業(yè)還在進(jìn)一步尋求立法。

美國(guó)作家協(xié)會(huì)的人正在游說(shuō)制定相關(guān)法律、法規(guī)和政策：在同意方面，要求在生成式人工智能中使用作家作品時(shí)獲得許可；在補(bǔ)償方面，為那些希望允許其作品用于生成式人工智能培訓(xùn)的作家提供補(bǔ)償；在透明度方面，要求人工智能開(kāi)發(fā)者透明披露他們用于培訓(xùn)其人工智能的作品。

他們也期望，生成式AI的輸出使用到作家的作品時(shí)，要獲得許可并建立相應(yīng)的補(bǔ)償機(jī)制，或者當(dāng)在提示中使用作家的姓名、身份或作品標(biāo)題時(shí)，也應(yīng)獲得許可。此外，他們要求作者、出版商、平臺(tái)和市場(chǎng)標(biāo)明AI生成的作品，并在作品很大一部分（例如超過(guò)10-20%）由AI生成時(shí)進(jìn)行標(biāo)識(shí)。

“我們需要確保人類(lèi)創(chuàng)作者得到補(bǔ)償，這不僅是為了創(chuàng)作者本身，而是為了確保我們的書(shū)籍和藝術(shù)繼續(xù)反映出我們的真實(shí)和想象的經(jīng)驗(yàn)，開(kāi)拓我們的思維方式，教導(dǎo)我們新的思維方式，并推動(dòng)我們社會(huì)的發(fā)展，而不是重復(fù)舊觀念?！痹撟骷覅f(xié)會(huì)在官方聲明中稱(chēng)。

NYT VS OpenAI

除了作家和藝術(shù)家，其他類(lèi)型的內(nèi)容創(chuàng)作者，也紛紛加入起訴 AI 公司的行列，一些新聞機(jī)構(gòu)批評(píng)科技公司未經(jīng)授權(quán)或補(bǔ)償就使用他們的內(nèi)容。

比如，紐約時(shí)報(bào)正在考慮對(duì)OpenAI提起訴訟，稱(chēng)OpenAI的ChatGPT使用了該報(bào)的數(shù)據(jù)進(jìn)行訓(xùn)練，而未經(jīng)紐約時(shí)報(bào)許可。在過(guò)去的幾個(gè)月里，OpenAI和紐約時(shí)報(bào)一直在試圖達(dá)成一項(xiàng)有關(guān)紐約時(shí)報(bào)內(nèi)容的許可協(xié)議。但談判還未有結(jié)果，存在破裂的可能。

紐約時(shí)報(bào)大樓，圖片來(lái)源：The New York Times

在最近對(duì)其服務(wù)條款政策的更改中，紐約時(shí)報(bào)明確禁止將其龐大的媒體檔案用于訓(xùn)練“任何軟件程序，包括但不限于訓(xùn)練機(jī)器學(xué)習(xí)或人工智能（AI）系統(tǒng)”的目的。該政策適用于紐約時(shí)報(bào)的文本內(nèi)容、照片、視頻和元數(shù)據(jù)，并明確禁止網(wǎng)絡(luò)爬蟲(chóng)訪問(wèn)這些數(shù)據(jù)來(lái)訓(xùn)練專(zhuān)有產(chǎn)品。

這里做一個(gè)假設(shè)，如果法院判定OpenAI等AI公司的訓(xùn)練行為屬于侵權(quán)，OpenAI可能會(huì)被迫停止使用受版權(quán)保護(hù)的數(shù)據(jù)，并在不使用受版權(quán)保護(hù)的數(shù)據(jù)的前提下，重新構(gòu)建其算法，這會(huì)引發(fā)多大的麻煩？

科技公司也試圖與新聞媒體建立關(guān)系。谷歌曾試圖爭(zhēng)取像紐約時(shí)報(bào)、華盛頓郵報(bào)等新聞機(jī)構(gòu)的支持，試圖向他們推銷(xiāo)AI工具。還有AI公司向新聞非營(yíng)利機(jī)構(gòu)提供微薄的慈善捐款。

期間，也有新聞機(jī)構(gòu)不那么強(qiáng)硬。美聯(lián)社今年就與OpenAI達(dá)成了一項(xiàng)為期兩年的許可協(xié)議，同意將美聯(lián)社的內(nèi)容授權(quán)給OpenAI使用訓(xùn)練。作為回報(bào)，OpenAI提供了美聯(lián)社訪問(wèn)“OpenAI的技術(shù)和產(chǎn)品專(zhuān)業(yè)知識(shí)”的權(quán)利。

懸在AI公司頭上的“達(dá)摩克利斯之劍”

AI公司抓取海量互聯(lián)網(wǎng)數(shù)據(jù)，已經(jīng)導(dǎo)致法律問(wèn)題的出現(xiàn)，起訴AI公司的人正在變得越來(lái)越多。

今年，美國(guó)一律所相繼對(duì)OpenAI、Meta等巨頭提起訴訟，指控他們未經(jīng)同意、未經(jīng)授權(quán)或未經(jīng)補(bǔ)償?shù)卣加贸汕先f(wàn)名作家的作品，來(lái)訓(xùn)練他們的大語(yǔ)言模型。行業(yè)預(yù)計(jì)訴訟規(guī)模將很龐大，因?yàn)槠渌麅?nèi)容創(chuàng)作者也有可能受此啟發(fā)采取法律行動(dòng)。

其他生成AI公司，如AI圖像生成工具Stable Diffusion背后的Stability AI，也惹上版權(quán)官司。Stable Diffusion是在LAION-5B數(shù)據(jù)集上進(jìn)行訓(xùn)練的，數(shù)據(jù)集包含58.5億個(gè)圖像文本對(duì)，大多數(shù)都受版權(quán)保護(hù)。Getty Images正在起訴Stability AI，指控其未經(jīng)授權(quán)在超過(guò)1200萬(wàn)張Getty Images上訓(xùn)練AI圖像生成模型。

許多藝術(shù)家和利益相關(guān)者也表示不滿，對(duì)Stability AI、DeviantArt和Midjourney等公司提起訴訟，指控他們侵犯版權(quán)、侵犯肖像權(quán)、不正當(dāng)競(jìng)爭(zhēng)和不正當(dāng)獲利，尋求賠償和禁令。

微軟推出的編程工具Copilot也面臨集體訴訟。Copilot是GitHub與OpenAI合作開(kāi)發(fā)的基于人工智能的自動(dòng)編程產(chǎn)品，主要利用GitHub上的公共代碼庫(kù)，在數(shù)十億行公開(kāi)可用的代碼上進(jìn)行了訓(xùn)練，能通過(guò)簡(jiǎn)單提示替用戶(hù)編寫(xiě)代碼。開(kāi)源程序員和律師指控他們從事開(kāi)源軟件盜版，被告包括GitHub、微軟及其人工智能技術(shù)合作伙伴OpenAI。

如果要打官司，AI公司可能會(huì)援引所謂的“公平使用原則”來(lái)為其辯護(hù)，該原則允許在某些情況下無(wú)需許可即可使用作品，包括教學(xué)、批評(píng)、研究和新聞報(bào)道。問(wèn)題是，AI訓(xùn)練是否適用“公平使用原則”。

幾年前，美國(guó)作家協(xié)會(huì)也曾起訴谷歌，理由是谷歌未購(gòu)買(mǎi)其圖書(shū)館項(xiàng)目中收錄的書(shū)籍，當(dāng)時(shí)，聯(lián)邦上訴法院判決認(rèn)為，谷歌為其圖書(shū)館項(xiàng)目掃描了數(shù)百萬(wàn)本書(shū)的數(shù)字副本是合法的“公平使用”，而非侵犯版權(quán)。關(guān)鍵在于，谷歌的數(shù)字圖書(shū)館并沒(méi)有為這些書(shū)創(chuàng)造出“重大市場(chǎng)替代品”，這意味著它與原作并無(wú)競(jìng)爭(zhēng)關(guān)系。

目前，各國(guó)政府正努力將生成式AI納入立法范疇。歐盟也在制定一項(xiàng)AI法案，該法案將迫使公司將訓(xùn)練模型信息透明化。上半年，美國(guó)作家協(xié)會(huì)已兩次訪問(wèn)國(guó)會(huì)山，討論生成式AI和作家保護(hù)措施的問(wèn)題，涉及的問(wèn)題包括集體授權(quán)和版權(quán)保護(hù)、反壟斷豁免權(quán)以及AI標(biāo)簽和透明度要求。

“除非國(guó)會(huì)采取干預(yù)措施，以確保生成式人工智能技術(shù)的開(kāi)發(fā)和使用受到監(jiān)管，否則驅(qū)動(dòng)原創(chuàng)表達(dá)并豐富我們文化交流的重要版權(quán)激勵(lì)將變得毫無(wú)意義?！痹撟骷覅f(xié)會(huì)在官方聲明中稱(chēng)。

從現(xiàn)有輿論看，雖然一些人擔(dān)心訓(xùn)練AI可能會(huì)引發(fā)版權(quán)問(wèn)題，但也有人認(rèn)為，OpenAI等AI公司不需要特別的許可協(xié)議來(lái)訓(xùn)練模型，版權(quán)擔(dān)憂不利于AI發(fā)展進(jìn)步；有人則認(rèn)為，取得作者的同意是至關(guān)重要的，創(chuàng)作者應(yīng)該有拒絕的權(quán)利，或者，AI公司至少應(yīng)該購(gòu)買(mǎi)訓(xùn)練數(shù)據(jù)的書(shū)籍。

技術(shù)正在做人類(lèi)歷史上從未發(fā)生過(guò)的事情，AI訓(xùn)練數(shù)據(jù)方面的開(kāi)源精神應(yīng)該有底線嗎？未來(lái)的法律是掣肘還是保護(hù)？如何平衡AI的發(fā)展與尊重人類(lèi)創(chuàng)作權(quán)益，可能是和“通用人工智能何時(shí)到來(lái)”同樣重要的問(wèn)題。