系列篇章💥

No. 文章
1 【GitHub开源AI精选】LLM 驱动的影视解说工具:Narrato AI 一站式高效创作实践
2 【GitHub开源AI精选】德国比勒费尔德大学TryOffDiff——高保真服装重建的虚拟试穿技术新突破
3 【GitHub开源AI精选】哈工大(深圳)& 清华力作 FilmAgent:剧本自动生成 + 镜头智能规划,开启 AI 电影制作新时代
4 【GitHub开源AI精选】Lumina - Image 2.0 文生图模型,以小参数量实现高分辨率多图生成新突破
5 【GitHub开源AI精选】探索 Mobile-Agent:X-PLUG 推出的创新型移动智能操作代理
6 【GitHub开源AI精选】吴恩达团队开源VisionAgent:用自然语言开启计算机视觉新时代
7 【GitHub开源AI精选】Oumi:一站式AI开发平台,涵盖训练、评估与部署全流程
8 【GitHub开源AI精选】深入剖析RealtimeSTT:开源实时语音转文本库的强大功能与应用
9 【GitHub开源AI精选】PodAgent:多智能体协作播客生成框架,自动化打造高质量播客,赋能内容创作与品牌传播
10 【GitHub开源AI精选】OpenManus开源AI工具:3小时复刻Manus,39.5k星
11 【GitHub开源AI精选】OpenGlass:大模型赋能的开源方案,25美元打造智能眼镜,支持语音控制+AR叠加
12 【GitHub开源AI精选】AppAgentX:西湖大学发布可自主进化的手机智能体,实现GUI操作的高效与智能
13 【GitHub开源AI精选】Agent-S架构揭秘:低代码+多模态融合的智能体新范式
14 【GitHub开源AI精选】Open-Interface:大模型驱动的计算机“自动驾驶”系统|自然语言操控的自动化工具
15 【GitHub开源AI精选】2025年AI工程师必备!AgentOps五大功能重构智能体开发流程
16 【GitHub开源AI精选】LangManus:社区驱动的多智能体AI自动化框架,开启复杂任务处理新纪元
17 【GitHub开源AI精选】autoMate:AI 驱动的本地自动化助手,用自然语言解锁高效办公,让电脑任务自己动起来
18 【GitHub开源AI精选】Sitcom-Crafter:北航联合港中文等高校打造的剧情驱动3D动作生成系统
19 【GitHub开源AI精选】Local Deep Researcher:本地化部署的AI研究助手,零门槛开启智能研究
20 【GitHub开源AI精选】Browser Use:开源AI自动化工具,让AI像人类一样操控网页
21 【GitHub开源AI精选】LLaVA-Med:微软打造的生物医学领域多模态AI助手,助力医疗智能化
22 【GitHub开源AI精选】RF-DETR:Roboflow 的实时目标检测模型『边缘设备鹰眼』,低至160FPS的工业级检测利器
23 【GitHub开源AI精选】MegaTTS 3:字节跳动开源语音利器,吊打VALL-E,自然度逼近真人录音
24 【GitHub开源AI精选】LocAgent:斯坦福联合耶鲁大学等机构推出的代码问题定位智能体
25 【GitHub开源AI精选】WhisperX:70倍实时语音转录!革命性词级时间戳与多说话人分离技术
26 【GitHub开源AI精选】Crawl4AI:LLM专属极速开源爬虫利器、1秒处理百万级数据
27 【GitHub开源AI精选】Oliva:开源语音RAG助手,一句话秒搜海量数据,多AI协作颠覆传统搜索
28 【GitHub开源AI精选】UFO²:微软开源的 Windows 桌面 Agent 操作系统,开启智能自动化新时代
29 【GitHub开源AI精选】ebook2audiobook:AI驱动的电子书转有声书利器,支持1107种语言+语音克隆
30 【GitHub开源AI精选】WebThinker:赋能大型推理模型的自主科研新范式
31 【GitHub开源AI精选】ZeroSearch:阿里巴巴开源的大模型搜索引擎框架,无需真实搜索引擎交互
32 【GitHub开源AI精选】Toolkami:极简AI Agent框架,七种工具实现高效轻量化开发
33 【GitHub开源AI精选】Docext:NanoNets 打造的文档提取利器,本地化、高效能、免费开源
34 【GitHub开源AI精选】SketchVideo:手残党福音!草图秒变大片,快手黑科技让创作效率飙升300%
35 【GitHub开源AI精选】NLWeb:微软开源的自然语言交互利器,让网站秒变智能AI应用
36 【GitHub开源AI精选】ScrapeGraphAI:基于LLM的智能爬虫,多页面爬取、语音生成,开启数据提取新纪元
37 【GitHub开源AI精选】FaceShot:同济大学联合上海 AI Lab 推出的无需训练肖像动画生成框架
38 【GitHub开源AI精选】Minion Agent:开源界的“全能王”,深度研究、自动规划全搞定
39 【GitHub开源AI精选】AgenticSeek:开源本地通用AI Agent,打造自主执行任务的智能助手
40 【GitHub开源AI精选】Morphik:开源多模态检索增强生成工具,助力AI应用开发
41 【GitHub开源AI精选】TEN VAD:高性能实时语音活动检测系统,助力AI对话系统高效交互
42 【GitHub开源AI精选】Google AI Edge Gallery:谷歌赋能的离线AI模型探索利器
43 【GitHub开源AI精选】PandasAI:一键开启数据对话时代,非技术用户也能轻松上手
44 【GitHub开源AI精选】ContentV:字节跳动开源的高效文生视频模型框架,助力AI视频生成技术突破
45 【GitHub开源AI精选】VRAG-RL:阿里通义推出的多模态RAG推理框架,助力视觉信息理解与生成
46 【GitHub开源AI精选】MultiTalk:中山大学与美团联合打造的音频驱动多人对话视频生成框架
47 【GitHub开源AI精选】Salesforce开源项目MAS-Zero:零监督下的多智能体系统设计框架
48 【GitHub开源AI精选】InftyThink:浙大联合北大打造的无限深度推理范式,突破大模型长推理瓶颈
49 【GitHub开源AI精选】RAG-Anything:港大开源利器、让AI真正理解复杂文档,PDF、表格、公式全能读
50 【GitHub开源AI精选】PreenCut深度解析:开源AI视频剪辑利器,用自然语言一句话精准定位片段
51 【GitHub开源AI精选】TradingAgents-CN:基于多智能体LLM的中文金融交易决策框架深度解析
52 【GitHub开源AI精选】KlicStudio:极简 AI 视频翻译配音工具,让跨平台内容本地化效率翻倍,GitHub狂揽7.9k星
53 【GitHub开源AI精选】JoyAgent-JDGenie:京东开源的通用多智能体系统,助力AI应用落地
54 【GitHub开源AI精选】SuperDesign:开源AI设计Agent,让你的设计从想法到实现只需60秒
55 【GitHub开源AI精选】WeKnora:腾讯开源的文档理解与语义检索框架,助力智能问答与知识管理
56 【GitHub开源AI精选】LandPPT:开源AI PPT生成工具,助力演示文稿高效创作
57 【GitHub开源AI精选】NeuralAgent:开源桌面AI助手,助力高效生产力与自动化任务执行
58 【GitHub开源AI精选】开源AI桌面助手Glass:实时屏幕捕捉与音频识别,助力高效办公
59 【GitHub开源AI精选】MiroFlow:开源多Agent系统开发框架,助力AI大模型高效开发
60 【GitHub开源AI精选】ScreenCoder:开源智能UI截图转代码工具,助力前端开发自动化
61 【GitHub开源AI精选】OxyGent:京东开源的多智能体协作框架,助力高效智能系统开发
62 【GitHub开源AI精选】Hugging Face AI Sheets:开源无代码构建、丰富和转换数据集的利器
63 【GitHub开源AI精选】Coze Studio:字节跳动开源的AI智能体开发平台,一站式构建与部署AI应用
64 【GitHub开源AI精选】Chaterm:开源的AI终端工具,运维版Cursor,助力高效云管理
65 【GitHub开源AI精选】MobileUse:由MadeAgents打造的分层反思驱动的移动自动化GUI代理
66 【GitHub开源AI精选】WhisperLiveKi:开源实时语音识别利器,实时转写+说话人识别+完全本地部署,一键搞定会议纪要
67 【GitHub开源AI精选】Open-Fiesta:开源AI聊天平台,多模型并行对比的新选择
68 【GitHub开源AI精选】AgentScope:阿里开源多智能体核弹、并行工具+Actor架构+秒级介入+沙箱隔离
69 【GitHub开源AI精选】Super Agent Party:开源3D AI桌面伴侣,开启智能交互新体验(聊天、写代码、控直播)
70 【GitHub开源AI精选】Parlant:为企业级应用而生的开源LLM智能体框架,打造“AI员工监工”,让LLM可解释、可审计
71 【GitHub开源AI精选】AI-Video-Transcriber:开源AI视频转录与摘要工具,支持30+平台,赋能高效内容处理
72 【GitHub开源AI精选】DeepDoc:开源本地知识库深度研究工具,多格式文档解析与智能报告生成
73 【GitHub开源AI精选】Strix:AI驱动的安全测试先锋,助力应用安全防护
74 【GitHub开源AI精选】通义DeepResearch:开源深度研究智能体,助力复杂信息检索与多步推理
75 【GitHub开源AI精选】Presentation-AI:ALLWEONE团队打造的开源AI演示文稿生成工具
76 【GitHub开源AI精选】SciToolAgent:浙大开源的知识图谱驱动的科研利器
77 【GitHub开源AI精选】FireRedChat:小红书开源的全双工语音交互系统,开启智能语音新时代
78 【GitHub开源AI精选】OpenLens AI:清华推出的医学研究全自主AI助手,开启科研新纪元


前言

在医学研究领域,随着数据量的爆炸式增长和研究复杂性的不断提高,传统的研究方式面临着诸多挑战。研究人员需要花费大量时间在文献调研、实验设计、数据分析等繁琐的流程上,这极大地限制了科研效率和创新速度。为了解决这一问题,清华大学自动化系推出了一款名为OpenLens AI的全自主人工智能研究助手,它能够模拟人类研究员的工作流程,实现医学研究全流程的自动化,为医学研究带来了一场深刻的变革。
在这里插入图片描述

一、项目概述

OpenLens AI是一个专为医学研究设计的高度自主人工智能研究助手,由清华大学自动化系开发。它通过多智能体协作,能够从文献综述、实验设计、数据分析到论文生成的全流程自动化,将科研周期从“月级”缩短至“小时级”,极大地提升了医学研究效率。该系统不仅支持处理健康信息学领域复杂的、多模态的数据,还提供了用户友好的网页版交互界面,用户只需上传数据集和简单的研究想法,即可启动研究项目。
在这里插入图片描述

二、核心功能

(一)全流程自动化研究

OpenLens AI覆盖医学研究的各个阶段,从研究灵感的产生到最终论文的撰写,无需人工干预即可完成整个研究流程。它能够自动检索和综合相关文献,为研究提供全面且准确的理论基础。根据用户的研究问题,生成详细的实验计划,并将其转换为可执行代码。在数据分析方面,OpenLens AI能够处理多种医学数据,如时间序列、基因组信息等,生成结构化、可解释的洞察,并提供可视化、统计摘要和自然语言解释。最终,它还能整合所有模块的输出,生成高质量的科研论文,支持LaTeX格式,确保图表质量和格式一致性。

(二)多模态数据处理

该系统支持处理健康信息学领域复杂的、多模态的数据,能够理解和生成多模态信息。这使得OpenLens AI能够更好地适应医学研究中多样化和复杂的数据类型,为研究人员提供更全面和深入的分析结果。

(三)用户友好交互

OpenLens AI提供网页版应用,用户可以通过上传数据集和简单的研究想法启动研究项目。这种用户友好的交互方式降低了使用门槛,使研究人员能够更轻松地利用AI技术进行医学研究。

(四)研究流程优化

通过自动化执行繁琐的研究任务,OpenLens AI提高了研究效率和质量。它能够快速地完成文献调研、实验方案制定、数据处理与分析等任务,大大缩短了科研周期。同时,系统还内置了严格的质量控制流程,确保研究结果的准确性和可靠性。

在这里插入图片描述

三、技术揭秘

(一)多智能体架构

OpenLens AI采用了模块化多智能体系统架构,通过智能体之间的协同工作来完成复杂的医学研究任务。该系统包括以下几个核心智能体:

  • 主管模块(Supervisor):作为全局协调者,将用户查询分解为结构化子任务,确保整个研究流程的透明度和可解释性。
  • 文献综述者(Literature Reviewer):构建自主知识探索管道,用基于ReAct的推理框架,检索、综合相关文献。
  • 数据分析者(Data Analyzer):协调多阶段数据处理流程,将原始医学数据转换为结构化、可解释的洞察。
  • 编码器(Coder):将高级实验计划转换为可执行代码,通过视觉语言模型评估输出质量。
  • LaTeX写作者(LaTeX Writer):整合所有前序模块的输出,生成出版级的科学论文。

(二)质量控制机制

OpenLens AI集成了多种质量控制机制,以确保研究结果的可靠性和可复现性。

  • 学术严谨性检查:自动验证实验方法的合理性,检测数据泄露和不当性能指标等常见陷阱。
  • 证据可追溯性检查:将每个研究声明链接到基础证据,生成结构化可追溯性报告,确保研究的透明度。
  • 文献检查:验证所有引用的参考文献,确认元数据的准确性,删除不可验证的条目,保证学术背景的可靠性。
  • 视觉语言反馈:在关键阶段评估图表质量,提供感知反馈,增强结果的可读性和科学有效性。

(三)模块化设计

OpenLens AI的模块化设计使得每个智能体专注于特定任务,通过标准化接口协同工作,提高了系统的灵活性和可扩展性。这种设计不仅便于系统的维护和升级,还允许研究人员根据需要添加新的智能体或工具。

四、应用场景

(一)疾病预测建模

OpenLens AI可以基于历史患者数据开发疾病预测模型,例如预测急性肾损伤(AKI)的精度。通过自动化的数据分析和模型构建,研究人员能够快速得到可靠的预测结果,为疾病的早期诊断和治疗提供支持。

(二)药物相互作用研究

在临床医学中,药物相互作用是影响治疗效果和患者安全的关键因素之一。OpenLens AI通过其先进的数据分析能力,能够深入分析最新的药物相互作用研究成果,为临床医生和研究人员提供关键的决策支持。

(三)医学图像分析

在医学图像分析领域,OpenLens AI可以处理多种类型的医学图像数据,如X光、CT、MRI等。它能够自动识别图像中的病变区域,进行图像分割和特征提取,并生成详细的分析报告。这有助于医生更快速、准确地进行疾病诊断,提高医疗效率和质量。

(四)基因组学研究

对于基因组学研究,OpenLens AI能够处理复杂的基因序列数据,进行基因表达分析、基因关联研究等。它可以帮助研究人员发现新的基因标志物,为个性化医疗和精准医学提供支持。

(五)临床试验设计

OpenLens AI可以辅助设计临床试验方案,包括样本量计算、实验组和对照组的分配等。它能够根据研究目标和数据特性,生成最优的试验设计,提高临床试验的科学性和可靠性。

五、快速使用

(一)环境准备

在开始使用OpenLens AI之前,需要确保你的系统满足以下环境要求:

  • Python 3.9或更高版本:OpenLens AI基于Python开发,需要Python环境支持。
  • Docker:用于容器化部署,确保环境的一致性和隔离性。
  • Git:用于克隆项目代码。
  • API密钥:需要以下API密钥:
    • LLM服务(如DeepSeek、OpenAI、Qwen等)的API密钥。
    • Tavily搜索API的API密钥。

(二)安装步骤

  1. 克隆项目代码
git clone https://github.com/jarrycyx/openlens-ai.git
cd openlens-ai
  1. 安装依赖
# 如果需要可视化工作流,安装graphviz:
#   sudo apt-get install graphviz graphviz-dev
#   pip install pygraphviz

conda create -n py312 python=3.12  # 或使用uv/venv
conda activate py312
pip install --upgrade pip
pip install -e .
  1. 配置环境变量
cp .env.example .env
# 编辑.env文件,填入你的API密钥和模型设置

.env文件中,需要配置以下内容:

MODEL="glm-4.5-air"  # 主语言模型
CODE_MODEL="glm-4.5-air"  # 代码相关任务的语言模型
VISION_MODEL="glm-4.1v-9b-thinking"  # 图像分析任务的视觉模型
OPENAI_API_KEY="<YOUR API KEY>"  # LLM服务的API密钥
BASE_URL="https://cloud.infini-ai.com/maas/v1/"  # 模型API服务的基地址

RERANK_MODEL="bge-reranker-v2-m3"  # 提高搜索结果相关性的重排序模型
RERANK_API_KEY="<YOUR API KEY>"  # 重排序模型的API密钥
RERANK_BASE_URL="https://cloud.infini-ai.com/maas/v1/"  # 重排序模型API服务的基地址

TAVILY_API_KEY="<YOUR API KEY>"  # Tavily搜索服务的API密钥

MAX_CONTEXT_TOKEN_CNT=32000  # 正常操作中上下文允许的最大token数
MAX_CONTEXT_TOKEN_CNT_LARGE=96000  # 大操作中上下文允许的最大token数
LITERATURE_SEARCH_MIN_TOOL_CALL=10  # 文献搜索的最小工具调用次数

MAX_TOOL_TOKEN_CNT=2000  # 工具响应允许的最大token数

OPENHANDS_MAX_ITER=100  # OpenHands代理执行的最大迭代次数
MAX_SUBTASK_REDO=2  # 子任务的最大重试次数
MAX_LATEX_POLISH_ROUND=2  # LaTeX文档润色的最大轮数

DOCKER_NAME=agent-med-cpu  # 代理环境使用的Docker容器名称
  1. 确保Docker安装
docker --version

# 拉取Docker镜像
ALIYUN_REMOTE_DOCKER_NAME=crpi-hbt8nkulkjqjqkie.cn-hangzhou.personal.cr.aliyuncs.com/cyx-docker/openlens-ai:cpu-latest
docker pull $ALIYUN_REMOTE_DOCKER_NAME
docker tag $ALIYUN_REMOTE_DOCKER_NAME openlens-ai:cpu-latest

# 或者构建Docker镜像
bash openlens_ai/tools/openhands_configs/build_docker_cpu.sh

(三)运行应用

  1. 命令行界面
    通过命令行界面运行OpenLens AI,可以使用以下命令:
python -m openlens_ai.build_graph --question "Your research question" --dataset-path "path/to/dataset" --thread-id "Unique id for this job"

例如:

python -m openlens_ai.build_graph --question "What is the prediction precision of AKI based on historical 2 day data?" --dataset-path "datasets/mimic" --thread-id "test_000"
  1. 交互式Web界面
    通过交互式Web界面运行OpenLens AI,可以使用以下命令:
streamlit run start_app.py

然后在浏览器中打开 http://localhost:8501,即可访问交互式界面。

六、结语

OpenLens AI作为一款专为医学研究设计的全自主人工智能研究助手,以其强大的功能和高效的性能,为医学研究领域带来了全新的研究模式和思路。它不仅能够显著提高研究效率,还能帮助研究人员更深入地探索医学问题,推动医学研究的快速发展。随着技术的不断进步和应用场景的不断拓展,OpenLens AI有望在未来的医学研究中发挥更大的作用,为人类健康事业做出更大的贡献。

项目地址

  • 项目官网:https://openlens.icu/
  • GitHub仓库:https://github.com/jarrycyx/openlens-ai
  • 技术论文:https://arxiv.org/pdf/2509.14778

在这里插入图片描述

🎯🔖更多专栏系列文章:AI大模型提示工程完全指南AI大模型探索之路(零基础入门)AI大模型预训练微调进阶AI大模型开源精选实践AI大模型RAG应用探索实践🔥🔥🔥 其他专栏可以查看博客主页📑

😎 作者介绍:资深程序老猿,从业10年+、互联网系统架构师,目前专注于AIGC的探索(CSDN博客之星|AIGC领域优质创作者)
📖专属社群:欢迎关注【小兵的AI视界】公众号或扫描下方👇二维码,回复‘入群’ 即刻上车,获取邀请链接。
💘领取三大专属福利:1️⃣免费赠送AI+编程📚500本,2️⃣AI技术教程副业资料1套,3️⃣DeepSeek资料教程1套🔥(限前500人)
如果文章内容对您有所触动,别忘了点赞、⭐关注,收藏!加入我们,一起携手同行AI的探索之旅,开启智能时代的大门!

Logo

助力广东及东莞地区开发者,代码托管、在线学习与竞赛、技术交流与分享、资源共享、职业发展,成为松山湖开发者首选的工作与学习平台

更多推荐