开云网址·(中国)官方网站上海交大发布“人类行为理解引擎”:深度学习+符号推理AI逐帧理解大片中每个动作先将像素映射到一个“基元活动”组成的过度空间,然后再用可解释的逻辑规则对检测到的基元做推断。
新方法让AI真正看懂剧里的卷福手在举杯(hold),右边的人在伸手掏东西(reach for):
再比如,要分辨一个人是否是在“喝水”,那么他的手是否在握杯,随后头又是否接触杯子,这些动作就成为了一个判断标准。
在于702位参与者合作之后,HAKE目前已有35.7万的图像/帧,67.3万的人像,22万的物体基元,以及2640万的PaSta基元。
在实验中,研究者选取了建立在HICO基础上,包含4.7万张图片和600次互动的HICO-DET,以及包含430个带有时空标签的视频的AVA,这两个大规模的基准数据集。
结果开云网址·(中国)官方网站,HAKE,在HICO-DET上大大提升了以前的实例级方法,特别是在稀有集上,比TIN提高了9.74mAP(全类平均精度)开云网址·(中国)官方网站,HAKE的上限GT-HAKE也优于最先进的方法。
在加入上海交大之前,他在香港中文大学获得了博士学位,并曾在斯坦福大学担任研究员,在李飞飞团队工作。
原标题:《上海交大发布「人类行为理解引擎」:深度学习+符号推理,AI逐帧理解大片中每个动作》
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场开云网址·(中国)官方网站,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。