人工智能工具捕捉动物运动
我说,T需要17分钟的平均果蝇夫妇不能满足交配移动Talmo佩雷拉,在普林斯顿大学约书亚Shaevitz的和马拉的Murthy实验室的博士研究生学习神经科学。他说,这次遭遇的标志是“许多复杂的阶段,可能比人类的求爱更复杂”。雄性和雌性果蝇(Drosophila melanogaster)通过交换信息素而首先相互对准。如果它们是兼容的,那么男性就会追逐女性,并通过一个翅膀“唱歌”,以特定的模式振动,形成他的民谣。然后伙伴们互相跳舞,跑步和盘旋。最后,男性试图交配,女性接受或拒绝。
佩雷拉正在研究如何在苍蝇的大脑中表现出求爱歌曲和舞蹈。在此过程中,他和同事们开发了一种跟踪动物行为的有效方法。他们的工具LEAP Estimates Animal Pose(LEAP)利用一种称为深度神经网络的人工智能,本质上是一种可以学习任何东西的“花式机器”。。。可以训练它做的任意操作,“目前在哈佛大学攻读博士生的Diego Aldarondo说道,他在普林斯顿大学的本科学习期间与Pereira一起构建了这个工具。“我们开发了所有这些疯狂的人工智能,试图了解飞行性,”佩雷拉开玩笑说。“或者甚至不是性行为,只是导致它的原因。”
传统上,研究人员通过逐帧点击视频片段并标记感兴趣的身体部位来收集动物运动的数据。哈佛大学的行为神经科学家Ben de Bivort说,这是一个艰苦的过程,可以让研究生或志愿者每小时上课一次。他说,与研究人员在动物生物学研究中使用的其他方法(如基因组学或高分辨率神经记录)相比,这些艰巨的努力会产生小数据集。“因此,对行为的衡量始终是一个瓶颈。”
我们开发了所有这些疯狂的人工智能,试图了解飞性。
-Talmo Pereira,普林斯顿大学
另一个选择是将标记粘贴到动物的四肢上,然后使用计算机软件从视频素材中跟踪它们。“想象一下,就像你穿上安迪·瑟金斯,使咕噜的标记指环王,说:”戈登·伯曼,埃默里大学的生物物理学家的理论谁做与Shaevitz一个博士后,但没有参与LEAP项目。不幸的是,动物非常擅长修饰它们,并且“将这些标记放在飞行中。。。相当困难,“他说。
Pereira说,观看动作捕捉服的演员实际上是让他思考如何追踪苍蝇的原因。但是当他深入研究文献时,他意识到科学家已经开始捕捉动物运动而不使用标记。与此同时,Aldarondo正在研究计算机科学课程中的动作捕捉算法,在与Pereira聊聊之后,他决定将神经网络应用于他的实验室关于单个果蝇的镜头作为课程项目。
在第一次尝试中,Aldarondo和课程中的另一名学生标记了数千帧视频,其中点表示苍蝇身体部位,然后使用这些帧训练网络自动识别身体部位。课程结束后,他和Pereira继续研究该项目,调整算法以自动化更多的过程。去年年底,他们发布了一个版本的工具,需要更少的帧 - 大约100个 - 以便在飞行体上跟踪32个点时达到高达95%的准确率。在他们的报告中,研究人员使用LEAP跟踪飞行的所有六条腿,以及它的翅膀,身体和头部。他们还应用他们的工具来捕捉小鼠的肢体运动(Nat Methods16:117-25,2019)。
LEAP的成功来自人类和人工输入的结合。在接收到一组带标签的视频帧之后,它使用它们来学习如何根据每个图像的特征放置点,然后为下一组帧喷出标签,研究人员随后检查这些标签。该工具的猜测可能不是第一次很好,但纠正程序有助于它变得更聪明。在LEAP和人类之间来回几轮后,该程序已经学到足够的知识来正确识别零件 - 即使在不到一天的过程中。De Bivort将该过程描述为“使用算法生成数据以制作更好的算法”。
“这简直太容易了。多年来,它消除了我很多来之不易的图像处理技能,“伯曼说,他在自己的苍蝇和草原田鼠研究中使用了这个工具。“过去几个月和几个月的工作现在需要几个星期,如果那样的话。”
由另一组哈佛研究人员开发的另一种人工智能动作捕捉方法DeepLabCut与LEAP同时出现,也用于跟踪老鼠和果蝇。每个工具都有其优点:LEAP需要更少的训练时间,但是DeepLabCut使用更大的神经网络,在混乱或低质量图像上比LEAP表现更好,Berman说。但两者都具有适用于它们最初开发的物种之外的强度。Pereira说,到目前为止,多个研究小组已经使用LEAP来追踪老鼠,老鼠,蚱蜢,蜘蛛,蚂蚁,鱼等的运动。
de Bivort说,这两种工具都可以应用于从行为生态学到医学研究的各个领域,在那里他们可以帮助研究与陈规定型运动相关的自闭症等疾病。他补充说,他们还将帮助神经科学家探索大脑与行为之间的联系。“也许神经科学中最大的问题是:大脑是如何产生行为的?因为这就是大脑的用途,“de Bivort说道。“毫不夸张地说,这些工具现在对我们的领域来说是一件大事。”
推荐内容
-
上厕所时,大便前头干硬,后头软粘,代表着什么呢?看完涨知识了
上厕所时,大便前头干硬,后头软粘,代表着什么呢?看完涨知识了 原标题:上厕所时,大便前头干硬,后头软
-
这样做出来的炸酱面,味道很浓郁,而且口感也很好
这样做出来的炸酱面,味道很浓郁,而且口感也很好 原标题:这样做出来的炸酱面,味道很浓郁,而且口感也很
-
今日山东疫情防控最新通知 山东连续2天无本土新增
2020的这个开年跟以往不大一样,自疫情爆发以来,目前虽然得到了稳定的发展,但还是会有零散的病例发生。据最新消息显示,疫情防控下,山东
-
湖北一双胞胎兄弟相差10岁是怎么回事?什么情况?
在大家的印象中,双胞胎应该就是同年同月同日生的,虽然在时间上会差几分钟或者几个小时。但是,今天却有这样一则消息颠覆了你的观念,...
-
12月3日贵州疫情最新实时数据公布 贵州昨日无新增本土确诊病例
温馨提示:疫情期间规范佩戴口罩,注意乘坐公共交通工具、进入人员较为密集或通风不良的场所、到医院就诊,以及出现呼吸道症状时应自觉...
-
花木兰家里至少有几口人?花木兰资料简介
众所周知,花木兰是中国古代传说的四大巾帼英雄之一,是中国南北朝时期一个传说色彩极浓的巾帼英雄,她的故事也是一支悲壮的英雄史诗。...
-
【快讯】六成日本人出现新冠疑似症状仍上班
【六成日本人出现新冠疑似症状仍上班】受疫情全球蔓延影响,今天一则关于六成日本人出现新冠疑似症状仍上班的消息引起了网友们的关注,...
-
对微生物组学国家数据管理的召集
大量数据需要基础设施以便于访问使用的方式管理和存储信息。虽然技术已经扩大到允许研究人员对环境中的微生物群落进行排序和注释(其微生物
-
巴西总统确诊后面对记者摘口罩 网友:“记者们瑟瑟发抖”
巴西总统确诊后面对记者摘口罩 全球疫情继续攀升,今天一则关于巴西总统博索纳罗新冠病毒检测呈阳性的消息引起了网友的关注,随后在...
-
金大贤感染新冠 目前在家隔离观察
相信喜欢看美剧的小伙伴们对金大贤都不陌生。近日,曾出演《迷失》《24小时》《夏威夷特勤组》等多部热门美剧的好莱坞亚裔演员金大贤在...