苏黎世大学的研究人员在预印本平台 arXiv 上发表论文，报告 OpenAI 的 AI 聊天机器人 ChatGPT 在文本标注任务中的表现超过了众包工人。大量的自然语言处理（NLP）应用需要高质量的标注数据，此类任务可根据复杂程度和规模交给亚马逊众包平台 MTurk 上的众包工人或专业的标注者去完成。研究人员使用了包含 2,382 则推文的样本，对比了 ChatGPT 和众包工人以及专业标注者的表现。结果显示， ChatGPT 在五项任务中有四项超过了众包工人，在评估一致性（intercoder agreement）上超过了众包工人以及专业标注者。更重要的是 ChatGPT 的标注成本每条不到 0.003 美元，是众包工人二十分之一。研究显示大语言模型可显著提高文本分类的效率。

https://arxiv.org/pdf/2303.15056.pdf