來(lái)源：IT之家

據(jù) TechCrunch 12 日?qǐng)?bào)道，哈佛大學(xué)與谷歌宣布，聯(lián)合發(fā)布 100 萬(wàn)本公共領(lǐng)域書籍作為 AI 訓(xùn)練數(shù)據(jù)集。

AI 訓(xùn)練所需的數(shù)據(jù)成本高昂，但卻更適合資金充裕的科技公司。因此，哈佛大學(xué)計(jì)劃發(fā)布一個(gè)包含約 100 萬(wàn)本公共領(lǐng)域書籍的數(shù)據(jù)集，這些書籍覆蓋多種類型、語(yǔ)言和作者，包括已不再受版權(quán)保護(hù)的經(jīng)典作家如狄更斯、但丁和莎士比亞等，因這些作品的版權(quán)已隨時(shí)間過(guò)期。

雖然這個(gè)新數(shù)據(jù)集尚未公開(kāi)，也不清楚具體的發(fā)布方式和時(shí)間，但它來(lái)源于谷歌的長(zhǎng)期項(xiàng)目 —— 谷歌圖書（Google Books）。因此，谷歌將參與這次“寶貴財(cái)富”的廣泛發(fā)布。

據(jù)IT之家了解，早在今年 3 月，哈佛大學(xué)就曾透露其“機(jī)構(gòu)數(shù)據(jù)計(jì)劃（IDI）”，并表示這一計(jì)劃旨在為 AI 提供“合法數(shù)據(jù)的可信通道”。直到正式啟動(dòng)后，該計(jì)劃才確認(rèn)得到了微軟和 OpenAI 的資金支持。

IDI 的執(zhí)行董事格雷格?萊佩特（Greg Leppert）表示，該數(shù)據(jù)集的目標(biāo)是“讓競(jìng)爭(zhēng)環(huán)境更加公平”，通過(guò)向包括研究機(jī)構(gòu)和 AI 初創(chuàng)公司在內(nèi)的各類機(jī)構(gòu)開(kāi)放這一龐大的數(shù)據(jù)集，以幫助他們訓(xùn)練大型語(yǔ)言模型。