日本遗毒是怎么污染中国方言数据库的？【乌鸦校尉】 方言采集小程序的语料库，出了啥问题？
<iframe width="100%" height="580" frameborder="0" src="https://open.douyin.com/player/video?vid=7702297169352576307" autoplay="0" referrerpolicy="unsafe-url" allowfullscreen></iframe>[*]乌鸦校尉发布的科普视频，核心围绕一款曾引发争议的方言采集小程序，拆解了背后被日本殖民遗毒污染的中文方言语料库问题。
[*]这款小程序最初以 “念方言领报酬、扩充方言语音识别训练库” 为噱头吸引用户参与，但很快被发现两处反常细节：一是方言采集粒度精细到区县一级，远超出普通商业语音转译的合理需求，训练成本极高却性价比极低；二是 AI 随机生成的例句中出现了大量反常内容，比如 “这个项目也得到了日本政府的支持”“七纵接到命令后立刻从集结地区郑家屯出发” 这类军事相关、日常对话几乎不会用到的语句，甚至还有 “东阳周围哪里有空军基地” 这类敏感提问。小程序后续被锁定，官方回应称是 AI 算法合成时出现的少量错误，但网友普遍不认可这个解释。
[*]视频进一步溯源指出，这类问题的根源是国际上通行的中文方言语料库大概率早已被污染：近代东亚的中国学研究体系由日本主导搭建，早在 1921 年日本殖民朝鲜时期，朝鲜人编写的《自习完壁支那语集成》《无先生速修中国语自通》两本汉语教材，表面是给日本人做中文突击培训的日常口语教材，收录了非常地道的老北京市井俚语，至今还被收录进北大出版的 “早期北京话珍稀文献集成” 系列丛书，但韩国研究者整理后发现，书中占比最大的内容其实是各类军事词汇，从兵种、建制、装备到战地医疗、宣战停战相关术语无所不包，本质是服务于日本对华渗透和情报搜集的间谍语言教材。从明治时代的 “日清贸易研究所” 开始，日本就把中国方言能力作为情报体系的核心基础，这些带有殖民军事目的的语料积累至今，如今很多大数据公司采购中文方言语料库训练模型时，很容易就踩到这些历史遗留的 “雷”。
[*]评论区里不少网友联想到《风语者》里用方言做军事密语的设定，担心这类采集行为会被用于破解方言保密通讯，主流共识是不要随意配合这类不明来源的方言语音收集活动。
页:
[1]