多模生理信息识别技术对视频活动分析软件功 [复制链接]

1.摘要：

高级视频活动分析(AVAA)系统是一种全动态视频(FMV)分析功能，旨在减少图像分析师的工作量，并支持更快、更准确地生产有效信息和情报的产品。为了评估AVAA减轻FMV分析师分析负担能力的开发进展，我们对该软件的功能进行了一系列人为因素评估。目的是确保开发以重复的用户反馈为指导，并建立基线性能，以便我们确定AVAA功能是否减少了分析师的工作量。人类的第二阶段因素评估检查了自动化识别人-车-物体(PVO)计算机视觉算法管道的影响在基于场景的现实操作中，专业图像分析师的认知工作量和性能。结果来自多项措施表明AVAA的PVO管道没有显着影响分析的性能措施，与基线AVAA系统相比，认知工作量或情境意识。然而，分析人士指出AVAA的多项可用性建议，将提高可用性和后续开发。

2.方法

A)主要任务监视器用于从AVAA软件环境查看FMV。

B)TobiiX3-眼动仪在分析师与AVAA软件交互期间提供了认知状态的客观视觉指标。

C)一个触摸屏显示器被用作响应输入设备，听觉探测任务以及NASATXL的数字版本。

D)ABMB-AlertX24EEG系统用于推导出神经估计认知工作量并提供听觉诱发电位。

一般来说，用户事件使用了4个CV管道。评估包括额外的PVO（人-车-物体）检测、分类、跟踪CV管道。重点是确定自动PVO检测器的CV管道是否在基于实际场景的操作期间给用户带来了不应有的负担检查职业图像分析师行为、口头反馈以及对认知工作量、情境意识和可用性的主观测量。记录其脑电图数据、心电图数据、扫视幅度和眨眼持续时间等生理指标；从脑电图、心电图(ECG)、眼球追踪和显性表现(如反应时间和准确性)中获得的生理和行为测量已经显示出可靠的、客观的认知状态量化。

3.实验

所有5台工作站都由一台笔记本电脑、一个用于独立屏幕以及一个键盘和鼠标组成。两个EEG工作站还配有耳机和一个17英寸的触摸屏监视器，连接到笔记本电脑，以产生听觉刺激和处理用户反应。脑电图和心电数据以Hz的采样率从B-Alertx24无线传感器耳机中获取，使用B-Alert软件包(AdvancedBrainMonitoring,Carlsbad,California)进行单次试验ERP蒙太奇。脑电图信号通过蓝牙发送到外部同步器，外部同步器通过USB连接到数据采集笔记本电脑。除头皮电极采集脑电图数据外，设置2个外部输入通道就在参与者右锁骨下方和左肋骨下方，以获取心电图数据。TobiiX3-眼动仪记录眼部数据。全动态彩色视频训练事件来源于光电和红外广域运动图像系统。

4.结论

研究表明，随着任务需求的增加和认知工作量的增加，眨眼率和眨眼持续时间减少，注视频率(每次注视次数)增加。其他人观察到瞳孔直径随工作量的变化，注意到瞳孔直径随工作量的增加而增加。

工作负载被定义为用户的处理能力与任务的处理需求之间的关系。它受大脑可用处理资源的限制，再加上任务需求，并根据工作记忆中并行信息处理的数量而波动。在当前的评估中，神经、眼、心、行为和主观数据被用来估计认知负荷，以评估AVAA能力集诱导的认知需求。

脑电图和眼动跟踪以及行为的主要优势是提供了一个连续的、多方面的认知状态随时间的估计。这使得评估人员能够识别用于估计认知状态的数据的波动周期，并将其与用户和系统性能联系起来。一个引人注目的观察结果是瞳孔直径和脑电图负荷之间的强烈关系，这是由θ和alpha功率比推导出来的。数据显示了如何使用多个连续测量(眼部、神经和行为)来识别可能被聚集反应掩盖的认知状态变化。

人为因素功能评估的重点是确定AVAA软件的CV算法管道的自动PVO探测器是否影响了基于现实场景的操作中分析师的工作负载和性能。多项测量的结果表明，与基线AVAA系统相比，AVAA的PVO管道并没有显著影响我们分析的性能、认知工作量或情境感知的测量。虽然拒绝原假设失败的结论总是有风险的，但使用各种测量技术得出的没有实际差异的结果表明，在当前的实验中，将PVOCV添加到分析师的工作站几乎没有明确的额外的好处。但庞大的视频数量通过增加子集的过滤器预先处理将对许多任务环境有用。

作者：

byKristinMSchweitzerandAnthonyJRies

HumanResearchandEngineeringDirectorate,ARL

PatriciaLMcDermottandElizabethAWilson

MITRE,McLean,VA

BethMPlott

AlionScienceandTechnology,McLean,VA

GregPMorrow

CACI,Arlington,VA