← 全部作品

UCSB 毕业设计 / XR

在线 VR 诊断平台

让治疗师和患者身处同一个虚拟房间。

与 WellHealth 合作的毕业设计,把暴露疗法搬进 VR:环境会根据患者的状态调整,治疗师有一个实时控制台。

团队在 UCSB 毕业设计展示会的舞台上介绍 VCare,身后的屏幕上是标题页
我们在毕业设计展示会上的演讲和现场演示。视频托管在 Google Drive 上,在你点击播放之前不会向它发出任何请求。 在托管页面打开 ↗ (在新标签页打开)
年份
2022
UCSB 2022 年毕业设计
第二名
行业合作方
WellHealth
团队
SegFault,5 名工程师
主题
Unity, Python, AWS, MongoDB

功能

  • 会自适应的 VR 环境

    一个 Unity 场景把患者置于让其感到压力的情境中,并随着治疗的进行调高或调低强度。

  • 治疗师的实时控制台

    治疗师在 Web 端可以看到患者所见的画面,以及这次治疗的文字记录和各项信号,并且可以随时接管控制。

  • 实时反馈回路

    治疗过程中的语音会被转写和分析,分析结果用来调整环境参数:人群规模、环境音量、对话强度。

  • 治疗后的数据分析

    每次治疗会汇总成图表和一个简化的评分,患者和治疗师可以直观地看到两次就诊之间的进展,而不必靠猜。

心理治疗搬到了线上,却把“房间”留在了原地

心理治疗转为远程之后,保留了对话,却失去了场景。视频通话里的患者坐在家中,身处自己的日常生活,谈论着这些生活。暴露疗法尤其依赖场景:这种方法的核心是让患者在可控的条件下接触让其感到困难的事物,而笔记本电脑的屏幕做不到这一点。

我们的毕业设计团队一共五个人,以 SegFault 为队名,与 WellHealth(一家位于圣塔芭芭拉的医患沟通公司)合作,把这个问题作为值得解决的课题。成果就是 VCare:把患者放进一个可以有意制造不适感的虚拟环境,同时给治疗师一个控制台,可以看到正在发生什么,并加以引导。

VCare 做什么

患者戴上头显,进入一个为承载其焦虑来源而搭建的环境:一个社交场合,有人群、环境噪音和对话。治疗师也在这次治疗中,通过 Web 端看到患者所见的画面。

它之所以是一个治疗工具而不只是一个场景,是因为环境是可变的。人群规模、房间音量、对话强度,每一项都是可以在治疗过程中调节的参数。一个反馈回路会实时读取治疗过程:语音被转写,并经过语气和语言分析;当患者逐渐适应时,系统会逐步调高这些参数,让难度跟随患者自己的节奏,而不是按固定的脚本进行。治疗师可以在控制台上覆盖任何一项调整,也可以完全改为手动控制。

治疗结束后,这次治疗会变成数据:随时间变化的图表和一个简化的评分。这样进展是患者和治疗师都能直接看到的,而不是靠回忆。

我负责的部分

我负责 VR 这一侧:Unity 环境,以及让它与治疗师控制台保持同步的连接部分。最有意思的工作大多在这个衔接处。头显和 Web 端必须对“当前治疗处于什么状态”保持一致,而它们不在同一个进程里,不在同一台机器上,甚至不是同一类设备。一旦出错,就会出现治疗师已经把房间调安静了,患者却还站在拥挤人群中的情况。

另一件让我印象很深的事是,很多困难并不是技术上的。决定环境“什么时候”应该加大强度是一种专业判断,我们一次次把这个判断交还给治疗师,而不是让算法悄悄替他们做决定。

获得的认可

VCare 在当年的所有项目中,获得了 UCSB 2022 年毕业设计展示会第二名。团队成员是 Neil Sadhukhan(队长)、Kevin Nguyen(记录)、Tom Nguyen、Yusong Yan 和我,并得到了来自 WellHealth 和 UCSB 教师的指导。

技术栈

体验
Unity XR
服务
Python · Django
云与数据
AWS · MongoDB

资料与延伸阅读

点击文档即可在本页内阅读,无需离开页面。

  • 毕业设计文档 · 2021 年秋(英文)

    愿景说明

    团队与 WellHealth 合作的第一份方案,当时方向还没有调整,做的是面向诊所助理的爽约预测工具。可以看作“之前”的样子。

    PDF · 3 页

  • 毕业设计文档 · PRD(英文)

    需求文档 v1

    VCare 的起点:要解决的问题、三个核心组件、患者和治疗师两方的用户故事,以及背后的假设。

    PDF · 5 页

  • 毕业设计文档 · PRD(英文)

    需求文档 v2

    开发一个学期之后修订的需求,包含系统架构图和技术附录。

    PDF · 5 页

  • 毕业设计文档 · CS189A(英文)

    第一学期汇报

    CS189A 期末评审:项目进行到一半时已经实现了什么,哪些还只是计划。

    PDF · 4 页

  • 毕业设计文档 · 第 5–8 个迭代(英文)

    开发计划

    第二学期按迭代划分的计划:把视频接入 Web 应用、生物特征信号、难度自动调节、治疗后分析。

    PDF · 3 页

  • 毕业设计文档 · CS189B(英文)

    结题汇报

    最后的汇报幻灯片:项目动机、VCare 的三个组成部分、现场演示,以及团队接下来的设想。

    PDF · 8 页

  • 毕业设计文档 · 展示会(英文)

    结题海报

    一页纸:动机、方案、架构,以及一次治疗结束之后会发生什么。

    PDF · 1 页

  • 技术说明 · Markdown(英文)

    架构与产品说明

    对产品流程、系统边界和实现选择的简要说明。

    MD

文档会在上方面板中打开。如果浏览器无法内嵌显示 PDF,请使用“在新标签页打开”。