聚沙AI俱乐部

AI + 硬件

让数字智能走向物理世界
一个"视觉→决策→动作"闭环的真实案例分享
演讲人：全彤 2026年5月
1 / 12

为什么聊"AI+硬件"？

💻

常见场景

  • 网站开发
  • 自动化脚本
  • AI生图
  • 视频剪辑
→ 纯数字世界
🦾

可以摸到的AI

操控
物理世界
核心突破方向
📈

双重趋势

  • 硬件成本下降
    树莓派、ESP32等开发板价格亲民
  • AI模型成熟
    开源模型丰富，部署门槛降低
→ 普通人也能做
2 / 12

AI+硬件能做什么？

六大应用领域，从农业到零售，AI正在改变物理世界
🌾

农业

AGRICULTURE
AI识别虫害，自动喷药
🏥

医疗

HEALTHCARE
可穿戴监测，AI预警
🏠

家庭

SMART HOME
手势控制家电，跌倒检测
🏭

工业

INDUSTRY
老仪表盘AI读取
📚

教育

EDUCATION
AI互动教具
🛒

零售

RETAIL
无人货架，AI识别
3 / 12

典型案例 – Friend AI吊坠

21岁大学生的AI硬件创业故事
👤

创作者

21岁大学生 Avi Schiffmann
⚙️

核心功能

🔘 按下录音🧠 AI分析情绪📱 手机推送陪伴式回应
💰

定价与成绩

69 美元
约500元人民币
48 小时
预售超10万美元
💡 核心启发：硬件只是壳，AI才是灵魂
4 / 12

我的实践 – 控屏机械手

代替人手动操作手机屏幕的AI硬件设备
👆

自动点击

自动点击、滑动手机屏幕，模拟人手操作

👁️

AI视觉判断

AI视觉判断界面，自动执行动作

🌐

远程控制

支持网页远程控制，随时随地操作

💡 核心价值

将AI的"视觉→决策→动作"闭环应用到物理世界，让机器代替人手完成重复性屏幕操作

🔧 技术栈

VLM YOLO OCR ESP32 树莓派
5 / 12

设备实拍 – 控屏机械手长这样

所有零件淘宝购买，总成本约1000元
机械手整体视图
机械手整体视图
树莓派+摄像头

关键组件标注

  • 三台手机工位
  • 摄像头（树莓派）
  • 机械手/触控笔
  • 控制电路（ESP32）
6 / 12

硬件结构

四大模块协同工作，构建完整的"视觉→决策→动作"系统
👁️

眼睛

VISION
树莓派 + 摄像头
负责图像采集，将物理世界的视觉信息转化为数字信号
图像采集模块
🧠

大脑

BRAIN
本地服务器
运行AI模型，进行视觉识别与决策
VLMYOLOOCR
AI决策中心
✋

手脚

ACTION
ESP32 + 写字机改造的机械手
接收指令，执行物理世界的点击、滑动等动作
执行机构
📱

人控入口

CONTROL
手机H5页面
提供人机交互界面，支持远程监控与手动控制
交互界面
7 / 12

工作流程

大脑主动调用眼睛，实现"看→想→动"闭环
1
服务器决定
"看一眼"
🧠
2
发出拍照
指令
📡
3
树莓派
控制拍照
👁️
4
图片回传
到服务器
🔄
5
AI分析图片
VLM/YOLO/OCR
🔍
6
生成动作
指令
⚡
7
ESP32
接收指令
🔧
8
机械手执行
点击/移动
✋
🔄 循环机制：执行完后，大脑决定是否再次调用眼睛
8 / 12

技术亮点

三大核心优势，让AI硬件项目落地更简单
🔬

视觉模型组合

MODEL STACK
VLM — 视觉语言模型，理解界面内容
YOLO — 实时目标检测，定位界面元素
OCR — 光学字符识别，读取文字信息
多模型协同，精准识别界面元素
💵

低成本

LOW COST
1000 元
  • 全部淘宝件
  • 树莓派 + 摄像头
  • ESP32开发板
  • 写字机改造机械手
普通人也能负担的AI硬件项目
💻

可编程

PROGRAMMABLE
改代码即可改变行为
  • 灵活配置
    修改识别逻辑、调整动作序列
  • 易于扩展
    添加新功能、适配新场景
  • 快速迭代
    测试-调整-部署，闭环优化
开源精神，持续进化
9 / 12

不只是一个"控屏机械手"

"视觉→决策→动作"框架的通用性与扩展性
这套"视觉→决策→动作"框架可装到任何设备上，不仅限于手机屏幕操作
📟

读取老式仪表数据

将AI视觉应用于工业场景，自动读取传统仪表盘数据，实现设备智能化改造

工业应用
📲

批量手机自动化测试

应用于软件测试领域，自动执行大量重复性测试操作，提升测试效率与覆盖率

测试应用
♿

残疾人辅助操作

帮助行动不便人士操作触摸屏设备，提升生活便利性，体现技术人文关怀

辅助应用
我的项目只是一个起点案例，更多应用场景等待探索
10 / 12

商业与发展的个人思考

AI硬件时代的机遇与建议
01

门槛正在消失

AI硬件的门槛正在消失
个体和小团队都有机会做出有影响力的AI硬件产品
  • 开源硬件生态成熟
  • AI模型部署简化
  • 社区资源丰富
02

物理世界的机遇

不要只盯着软件
物理世界还有很多"笨活"可用AI改造
  • 重复性劳动自动化
  • 传统设备智能化升级
  • 人机协作新模式
03

从小闭环做起

建议：先从一个极小的闭环做起
不要追求大而全，先让机械手能点一下屏幕
  • 最小可行产品
  • 快速验证想法
  • 持续迭代优化
11 / 12
THANK YOU

AI不只是聊天画图

它正在学会动手操作世界
聚沙AI俱乐部 · 2026年5月
12 / 12
1 / 12