假如没有潜伏的消耗者，内容创作者就没有动力让收集爬虫持续搜集免费数据。GPTbot已被亚马逊、爱彼迎、Quora和其他上千家网站屏障。对Common Crawl数据集的CCBot的屏障也愈来愈多。

　　微软前高管、风投公司安德森·霍洛维茨(Andreessen Horowitz)合股人史蒂文·辛诺夫斯基(Steven Sinofsky)近来在交际媒体上写道，即使将工具放到互联网上，也不克不及不经赞成就免费、有限定地将或人的劳动功效用于贸易用处。

　　别的，因为爬虫和谈是志愿服从的，收集爬虫也能够简朴地疏忽指令并持续搜集信息。像Brave等较新的搜刮引擎的收集爬虫就不会遭到划定规矩的影响。

　　纽约大学手艺法令与政策诊所主任杰森·舒尔茨(Jason Schultz)暗示，Robots.txt不太能够被视为制止利用网站数据的法令。此次要是为了表白人们不期望本人的网站被搜刮引擎编入索引，而不是暗示人们不期望本人的内容被用于锻炼机械进修和野生智能。

　　鉴于收集爬虫曾经为大型科技公司搜集了大批数据，加上内容创作者底子没法掌控，互联网能够会发作宏大变革。

　　但是，网站不克不及强迫施行爬虫和谈。任何爬虫都能够疏忽该文件，持续搜集网页上的数据，而网页一切者能够底子不知情。即便布置爬虫和谈具有法令根据，其初志与操纵收集信息开辟野生智能模子干系不大。

　　20世纪90年月末，呈现了一种名为爬虫和谈（robots.txt）的简朴代码，许可网站一切者见告搜刮引擎的机械人爬虫哪些页面能够抓取，哪些页面不克不及抓取。现在，爬虫和谈已成为业界遍及承受的非官方收集划定规矩之一。

　　Common Crawl还向The Pile供给数据，后者还具有更多从其他爬虫抓取的数据集。The Pile已普遍用于野生智能项目，包罗Llama和微软与英伟达配合开辟的MT-NLG。

　　但是，如今的状况完整差别。大批Common Crawl搜集的数据被大科技公司用于开辟专有模子。即便一家大型科技公司今朝没有从野生智能产物中赢利，将来也有能够如许做。

　　关于The Pile来讲，固然它认可数据中包罗受版权庇护的质料，但在创建数据集的手艺文章中宣称，“处置和分发别人具有的数据也能够违背版权法”的说法险些没有人会认同。

　　“这是件有点粗拙的东西，”Wordpress前高管、科技投资者、数字营销公司Yoast开创人约斯特·德·瓦尔克(Joost de Valk)说。“它没有法令根据，根本上是由谷歌保护的，虽然他们宣称是与其他搜刮引擎配合保护的。”

　　经由过程CCBot爬取公然信息的Common Crawl具有最大的数据存储库。自2011年以来，它已从1600亿个网页中抓取和保留信息，并连续增长。普通来讲，Common Crawl每个月抓取并保留约莫30亿个网页的信息。

　　别的，The Pile还辩称，虽然数据集合存储了相对未经改动的作品安康饮食小常识内容，但按照公道利用准绳，对这些质料的利用该当是变化性的。The Pile还认可，在锻炼狂言语模子时，需求利用完好的版权内容以发生最好结果。

　　斯蒂勒暗示，一切在线创作内容的将来能够很快就会像如今的流媒体一样，内容被锁在定阅效劳中，本钱愈来愈高。

　　德·瓦尔克正告称，内容一切者和创作者能够曾经太痴钝，没法了解许可这些收集爬虫免费获得他们的数据、不加辨别天时用这些数据来开辟野生智能模子的风险。

　　8月31日动静，跟着野生智能手艺的迅猛开展，已经用于搜刮引擎索引的收集爬虫如今被用于搜集锻炼数据来开辟野生智能模子。内容创作者意想到，他们的劳动功效被大科技公司免费利用来开辟新的野生智能东西，爬虫和谈曾经没法处理这个成绩。这能够会影响内容一切者在线分享内容的动力，从而从底子上改动互联网。

　　机械人爬虫的次要目标是索引信息，改进搜刮引擎的搜刮成果。谷歌、必应和其他搜刮引擎都有爬虫法式，它们天生收集内容的索引信息，并供给给潜伏的数十亿用户公司分享文章。这也是互联网兴旺开展的根底，创作者们在收集上分享丰硕信息，由于他们晓得用户会会见他们的网站并阅读告白、定阅效劳或购置商品安康饮食小常识内容。

　　究竟上，这类状况曾经连续了多年。早在2018年，OpenAI就宣布了首个GPT模子，并经由过程BookCorpus数据集停止锻炼。Common Crawl始于2008年，并于2011年经由过程亚马逊云效劳公然了数据集。

　　从本年6月份开端，The Pile下载量最大的数据之一是受版权庇护的漫画书，包罗阿奇漫画、蝙蝠侠安康饮食小常识内容、X战警、星球大战和超人系列的作品。这些作品都是DC漫画和漫威创作的，如今仍受版权庇护。近来有报导称，The Pile中还存储了大批受版权庇护的册本。

　　她常常与作者、野生智能行业高管等长处相干者会商这个成绩。斯蒂勒本年早些时分会晤了OpenAI的代表，并暗示公司正在会商怎样嘉奖创作者。

　　Originality.ai还发明，在1000个最受欢送的网站中，有62个屏障了Common Crawl的收集爬虫CCBot。跟着人们对野生智能数据搜集的认识日趋加强，本年有愈来愈多的网站开端屏障Common Crawl。

　　阻遏这些收集爬虫的方法并没有太大变革。网站一切者只能布置爬虫和谈并屏障特定爬虫，但结果其实不幻想。

　　“网上的统统信息都被模子吸进了真空，”研讨人类天生数据与野生智能之间干系的计较机科学传授尼克·文森特(Nick Vincent)说。“这背后发作了许多工作。在接下来的工夫里，我们期望能以差别的方法评价这些模子。

　　德·瓦尔克暗示，因为常识同享答应和谈能够增进版权的畅通性、许可本人具有的作品在互联网上利用，能够作为开辟野生智能模子的一种潜伏答应形式。

　　“如今，甚么都不做意味着，‘我承认我的内容呈现活着界上一切的野生智能和狂言语模子中，’”德·瓦尔克说。“这是完整毛病的。需求创立更好的爬虫和谈，但搜刮引擎和大型野生智能团队本人很难会去做这件事。”

　　这些公司开辟的野生智能模子利用这些免费信息来进修怎样答复用户的成绩，这与为网站成立索引信息、让用户会见原始内容的既定形式相去甚远。

　　但是，天生式野生智能和狂言语模子正在从底子上疾速改动收集爬虫的使命。这些东西并没无为内容创作者供给撑持，反而成为他们的仇敌。

　　思索到各大企业对高质量野生智能数据的宏大需求，爬虫和谈也简单被操作。比方，像OpenAI如许的公司只需变动其收集爬虫的称号，就可以够绕过人们利用爬虫和谈设置的制止划定规矩。

　　检测野生智能天生内容的公司Originality.ai暗示，停止8月22日，在1000个最受用户欢送的网站中有70个利用爬虫和谈屏障GPTBot。

　　曾经有迹象表白，会见问答网站Stack Overflow往返答成绩的法式员愈来愈少，由于他们之前的支出被用来锻炼野生智能模子，如今这些模子能够主动答复很多成绩。

　　“我们如今正在勤奋处理一切这些成绩，”常识同享构造首席施行官斯蒂勒暗示安康饮食小常识内容，有许多成绩需求处理：抵偿、受权、信赖。在野生智能时期，我们还没有谜底。

　　如今，收集爬虫搜集在线信息，并天生大范围的数据集，这些数据集被富有的科技公司免用度于开辟野生智能模子。好比，CCBot为最大的野生智能数据集之一Common Crawl供给数据；GPTbot则是向野生智能明星创企OpenAI供给数据。谷歌将自家的狂言语模子的锻炼数据称为“有限汇合”公司分享文章，但没有说起大部门数据来自Common Crawl的精简版C4。

　　常识同享始于2001年，是创作者和内容一切者用常识同享答应和谈来替换严厉版权，在网上利用并分享作品答应的一种方法。在同享答应和谈的根底上，创作者和一切者保存他们的权益，并许可其别人会见内容并创作衍生作品。维基百科、Flickr、Stack Overflow等很多出名网站都是经由过程常识同享答应和谈运作的。

　　“假如我们不妥心，终极就会招致大众空间封闭，”斯蒂勒说。“将会有更多有围墙的花圃、更多人们没法会见的工具。这不是将来常识和缔造力的胜利形式。”（辰辰）

　　一些大型科技公司已截至表露锻炼数据滥觞。但是，很多壮大的野生智能模子都是利用Common Crawl开辟的。它协助谷歌开辟了Bard，协助Meta锻炼Llama，协助OpenAI创立ChatGPT。

　　Common Crawl称，这项奇迹是一个“开放数据”项目，旨在让任何人“翻开本人的猎奇心，阐发天下，寻求杰出的设法”。

　　虽然现在屏障GPTBot的网站愈来愈多，但关于那些担忧本人的数据被用于锻炼野生智能模子的企业来讲，Common Crawl的要挟更至公司分享文章。能够说，Common Crawl之于野生智能，就像谷歌之于互联网搜刮。

　　斯蒂勒对此其实不愿定。她说，触及到野生智能时，或许并没有单一的处理计划。即便是更灵敏的通用和谈，也能够行欠亨。你怎样向全部互联网受权？

　　收集爬虫和野生智能项目中所谓的公道利用概念曾经遭到了质疑。作家、视觉艺术家以至源代码开辟职员告状OpenAI、微软和Meta等公司，由于他们的原创作品在未经答应的状况下被用于锻炼模子，而他们并没有从中受益。

　　常识同享构造在最新的五年计谋中暗示，在锻炼野生智能手艺方面，开放内容的利用存在成绩。常识同享构造期望使在线作品同享愈加公允。