“ConceptNet系统的得分与四岁儿童相仿，但低于五至七岁儿童的平均得分，”研究人员解释道，“该系统在每个单项中得分差异很大，说明还有改进的空间。在所有测试中，‘理解’是最关乎人类常识的测试项目。得分差异大、常识方面表现一般，这说明ConceptNet尚不具有四岁儿童的语言能力。但本次研究说明，儿童智商测试可以为人工智能系统的评估和比较提供一种客观的度量手段。”

ConceptNet是一项由麻省理工学院常识计算计划团队(MIT Common Sense Computing Initiative)管理的开源项目。该团队研发的ConceptNet 4运用了所谓的“关系”这一概念。例如，当让该系统解释什么是“小鹿”时，它会明白“小鹿是一种鹿”，而不是”鹿是一种小鹿“。也就是说，它能够理解这种动物的概念，以及“小鹿”和“鹿”这两个词汇和概念之间的关系。

“此外，许多由ConceptNet给出的错误答案和儿童给出的错误答案不仅相去甚远，而且违反常识。”

例如，在关于“狮子”的词语推理测验中，该AI系统和首测儿童被给予三条线索——“雄性长着鬃毛”，“该动物生活在非洲”，以及“它是一种体型很大的棕黄色猫科动物”。

由ConceptNet给出的排名前五的答案按顺序排列为：狗，农场，生物，家庭，猫。

研究团队解释道，“生物”和“猫”尚且还能与“狮子”沾边，但其它的答案就明显有悖于常识了。

“按照常识，受测者应该至少能将答案限制在动物的范围内，同时能做出简单的推理：“既然线索说它是猫科动物，那只有猫科动物能够被列入考虑范围。”

该论文被发表在期刊《arXiv》上，共同作者包括罗伯特?斯隆(Robert Sloan)、捷尔吉?图兰(Gy?rgy Turán)和阿隆?尤拉斯基(Aaron Urasky)。

ConceptNet系统的得分与四岁儿童相仿，但低于五至七岁儿童的平均得分。这说明该系统并不具备“四岁儿童”的语言能力，但可以为评估类似系统提供指导方法。

测试方法

研究人员让ConceptNet 4参与了“韦克斯勒学龄前儿童智力量表”测试(WPPSI-III)，并将研究结果发表在论文《Measuring an Artificial Intelligence System's Performance on a Verbal IQ Test For Young Children》上。WPPSI-III测试包含14项测验项目，以及一份针对操作智商和言语智商的完整评估表。

操作智商测验通常会要求受测人完成绘画、解谜、记忆等任务。言语智商测验则会考察儿童的词语推理、词汇及理解能力。每种智商得分的平均分都为100分。本次研究则主要针对言语智商进行测试。

在测试过程中，试题会通过语言处理工具转换成ConceptNet 4能够理解的语言，如“我们为什么要握手?”、“我们为什么要在夏天戴太阳镜?”和“为什么将刀子放入嘴中是不好的行为?”等等。

该研究由芝加哥大学的斯特兰?奥尔森(Stellan Ohlsson)带领。在对单项测试计分时，研究人员先使用每道题目得分最高的答案计分，然后再使用每道题目得分最高的前五个答案中最好的答案计分。他们将前者称为“严格计分”，后者称为“放松计分”。

什么是ConceptNet

ConceptNet是一项由麻省理工学院常识计算计划团队(MIT Common Sense Computing Initiative)管理的开源项目。该团队研发的ConceptNet 4运用了所谓的“关系”这一概念。

例如，当让该系统解释什么是“小鹿”时，它会明白“小鹿是一种鹿”，而不是”鹿是一种小鹿“。也就是说，它能够理解这种动物的概念，以及“小鹿”和“鹿”这两个词汇和概念之间的关系。

同时，该系统还可以使用所谓的“对立标记”表示负相关关系，比如“企鹅不会飞”等。