开云网址·(中国)官方网站上海交大发布“人类行为理解引擎”：深度学习+符号推理AI逐帧理解大片中每个动作先将像素映射到一个“基元活动”组成的过度空间，然后再用可解释的逻辑规则对检测到的基元做推断。

　　新方法让AI真正看懂剧里的卷福手在举杯(hold)，右边的人在伸手掏东西(reach for)：

　　再比如，要分辨一个人是否是在“喝水”，那么他的手是否在握杯，随后头又是否接触杯子，这些动作就成为了一个判断标准。

　　在于702位参与者合作之后，HAKE目前已有35.7万的图像/帧，67.3万的人像，22万的物体基元，以及2640万的PaSta基元。

　　在实验中，研究者选取了建立在HICO基础上，包含4.7万张图片和600次互动的HICO-DET，以及包含430个带有时空标签的视频的AVA，这两个大规模的基准数据集。

　　结果开云网址·(中国)官方网站，HAKE，在HICO-DET上大大提升了以前的实例级方法，特别是在稀有集上，比TIN提高了9.74mAP（全类平均精度）开云网址·(中国)官方网站，HAKE的上限GT-HAKE也优于最先进的方法。

　　在加入上海交大之前，他在香港中文大学获得了博士学位，并曾在斯坦福大学担任研究员，在李飞飞团队工作。

　　原标题：《上海交大发布「人类行为理解引擎」：深度学习+符号推理，AI逐帧理解大片中每个动作》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场开云网址·(中国)官方网站，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。