过去一年,全世界的学生都恨上了一个名叫EdwardTian的人。他刚刚22岁,是普林斯顿大学计算机专业大四学生。
Tian在X上发的个人照丨@edward_the6
恨意来自他的作品——去年底放假时熬夜敲代码,Tian写出了一个叫“GPTZero”的软件。而GPTZero,就是个检测“一段文本是否是AI生成”的应用。
https://gptzero.me/|应用页面
GPTZero发出来的第二天,Tian的手机就“爆炸”了,各种咒骂蜂拥而至,很多人说他就是个“打小报告”的“狗腿子”——因为老师们以后会用GPTZero来检查他们的作业是不是AI生成的。
让人更恨的是,Tian还因此拿到了350万美元的风投基金,创办同名的公司GPTZero。
高校是什么态度?
去年这会儿,ChatGPT一问世就在全球迅速刮起了AI风暴。在几秒钟之内,它就可以输出一篇相当工整的文章。有时,你甚至无法分辨,电脑那头到底是AI还是真人。
对于没什么“人味儿”的八股文作业,“AI写的”和“人写的”,差距可能就更小了。
一些聪明的学生很快掌握了这种未来工具,用它来应付作业。没有人可以确切地说出,已经有多少学生在使用ChatGPT。
美国在线教育网站Study.com调查了1000多名18岁以上的学生,结果显示,高达89%的学生会用ChatGPT写作业,53%的学生甚至会用它写论文。但调查问卷总是不准确的,因为填写者会撒谎。以ChatGPT的便利性来说,真实的数字可能会高得多。
另一边是老师们的反制。一些老师认为ChatGPT是一种作弊工具,他们担心学生们因此无法真正掌握学习内容。其中特别激进的一批人,只允许学生在教室里手写作业。
还有一些老师态度更开放些,把ChatGPT视为比搜索引擎更优秀的学习资源,但他们也担心ChatGPT会被学生滥用。
作为美国最大的公立学校系统,纽约的学校已经禁止学生通过校内网络接触ChatGPT。这份禁用名单上,还包括牛津大学、巴黎政治学院、香港大学等一连串顶级高校。
也有一些大学质疑这种做法是否有效,毕竟学生们总是可以很容易地接触到ChatGPT,而禁用ChatGPT是否侵害了学术自由,也是一个值得商榷的问题。
无论如何,ChatGPT的介入意味着,人们的教学方式正在改变。
做GPTZero前,他没想到会火
Tian在普林斯顿大学主修计算机,在写出GPTZero前,他在自然语言处理实验室研究了如何检测人工智能生成的文本。同时,他还辅修了新闻。在BBC实习时,他工作中的很大一部分就是核实新闻的真实性——假新闻一直都是存在的,但AI能力的大幅提升,已经让假新闻越发泛滥。
Tian说,以上这些经历都是他研发GPTZero的动力:“实际上,这个工具的目标受众是我自己,因为我们对互联网上的虚假信息进行了大量调查,这个工具是非常理想的。”
图源:Unsplash
GPTZero的受欢迎程度有些让人出乎意料。Tian最初以为最多只会有几十个人使用这款产品,但在几个小时之内,就有超过2000人注册了测试版,甚至导致了GPTZero所在的托管平台的崩溃。
发布一周后,就有超过3万人使用了GPTZero。截止到2023年5月,这个数字扩展到了120万。
Tian并非反对AI:“这项技术令人难以置信,我相信这就是未来。但与此同时,我们就像打开了潘多拉魔盒。我们需要采取安全措施,以负责任的方式应用它。”实际上,以他目前取得的成就来说,他也是AI风潮的受益者。
GPTZero本身就是一种人工智能;在开发过程中,Tian也借助了基于GPT-3的编程辅助软件GitHubCopilot的帮助。
GPTZero啥原理?
GPTZero宣称对AI文本的准确率为85%,对人类文本的准确率高达99%。
如果从原理来理解GPTZero的话,“困惑性”(Perplexity)和“突发性”(Burstiness)是两项关键指标。
从统计学的角度来说,人类文本和AI文本会呈现不同的统计特征。GPTZero会根据这种统计特征为文本打分,分数越低,就越有可能是AI生成的文本。
具体而言,困惑性指的是文本中语句的随机程度。毕竟相比混乱的人类而言,接受过大量文本训练的AI已经形成了产生文本的范式。假如GPTZero接收到了它不熟悉的文本,产生“困惑”的GPTZero就更有可能判定这是人类生成的。
举个例子,“你好,我是一个AI__”,如果这个句子后面接的是“助手”,那GPTZero就不会产生困惑。但如果接的是“土豆”,GPTZero就会更有可能判定,这个句子是人类写的。
以数百字的文本长度来说,GPTZero会分别计算出“文字总困惑度”“所有句子的平均困惑度”和“每个句子的困惑度”,计算出一个综合分数。
当这个分数大于85时,那这段文本就很有可能是人类写的。
另一个关键指标突发性,则指的是某个句子、词在文本中突然出现的现象。这是一个衡量文本全文句子长度和结构变化的参数。人类往往会有比较动态的写作风格,由此产生的文本结构相对参差。另一方面,AI会更倾向于使用更加一致的结构生成文本。同时,大模型也会使用相同的规则来预测下一次单词,由此导致低突发性。
不过,Tian也承认,GPTZero会出现错误。就比如说,对于经过人工编辑的AI文本,GPTZero还不具备检测能力。
7月,开发ChatGPT的OpenAI就关停了旗下检测AI生成文本的AITextClassifier。根据官方Blog,它只能正确识别26%的AI生成文本。
与其纠结于检测学生是否抄袭,提供文本的“可信度”可能是一个效率更高的方法。
GPTZero最新的产品Origin,就是一个集成到Word和浏览器中的插件。它可以跟踪学生写作过程、生成全周期的写作报告,以向老师证明,学生是独立完成写作的。
今年春天,GPTZero募集到了350万美元的种子资金。有消息说,GPTZero本来也在著名的风投基金a16z的关注名单中,但a16z并未参与此轮融资。比较微妙的是,这两家公司的创始人对于AI有着相反的立场。
a16z的创始人MarcAdreessen曾经在X上发帖称:“如果你写不出比机器更好的东西,那你还写什么呢?”。
而Tian相信:“人类的文章中蕴含着一些美妙的东西,计算机永远无法做到这一点。”
在监管范围内拥抱?
Tian在X上说:“任何学生都不应该因为使用AI而受到老师的惩罚……直到政策得到全面制定前。”
这种态度与最近多家香港大学的转变有些不谋而合——既然无法禁止,不如在监管范围内拥抱。
曾经禁止ChatGPT的香港大学已经宣布,在9月份的新学年中为师生免费提供多个AIGC工具,包括ChatGPT和AI绘画软件DALL·E。
香港科技大学、香港理工大学、岭南大学、香港城市大学等高校拥抱了AI。
当然,这种免费福利是有前提的,学生必须注明哪些内容是由AI生成的。
故事也还没完。有做AI检测的,就有人做反AI检测的。
在GPTZero发出后,就有一些狡猾的学生把攻略放在网上去,比如,用西里尔字母替换掉英文字母,就骗过了AI检测……Tian之后修补了漏洞。
比如,一个叫JosephSemrai的斯坦福大学新生就做了一个app——WorkNinja。这个app可以生成文本,你拿去GPTZero检测后如果发现被判定为“AI生成”,就再返回去按“Rephrase(修改措辞)”按键,文本会被改写(比如同义词替换)。
AI的背后是人类,只要人类还存在,这场猫鼠游戏就不会停止。