宋一鸣
6c7b68d1ce
三端统一2560x1440，盒子使用297MHz HDMI时序并保留1080p回退；Windows脚本动态定位VDD恢复2K。串流默认2K20/30Mbps，使用GLES2，设置页支持20/24FPS及自定义值。保持Windows正常光标，记录NVENC阶段性实测和GPU重启后Code43未恢复的限制。
93 lines
7.6 KiB
Markdown
93 lines
7.6 KiB
Markdown
# 继续开发前必读
|
||
|
||
完整对话总结在：`D:\DAIMA\vdi-cloud\PROJECT_CONTEXT.md`
|
||
|
||
## 2026-11-02 最新实测（优先于下文旧状态）
|
||
- 已部署真实2K：盒子HDMI 2560x1440约60Hz、Windows VDD 2560x1440@30、Moonlight 2560x1440@20/30Mbps。
|
||
- RK3528旧PHY拒绝EDID的241.70MHz，实测用297MHz固定时钟和扩展消隐成功：
|
||
`297.00 2560 2608 2640 2720 1440 1443 1448 1820 +HSync -VSync`；盒子重启已验证，link Good。
|
||
- Windows VDD版本11.30.4.434，生效XML在 `C:\VirtualDisplayDriver\vdd_settings.xml`。
|
||
登录任务VDISet2KDisplay动态定位Virtual Display Driver（不能写死DISPLAY编号），脚本在
|
||
`C:\ProgramData\VDI\set-2k-display.ps1`，仓库副本 `tools/set-2k-display.ps1`；VM重启后执行成功。
|
||
- 鼠标保留白色Windows远程光标，已删除本地黑色光标自动开启和透明光标任务；GLES2、关闭MATE合成器保留。
|
||
- **GPU并非稳定完成**：运维曾打通582.78/NVENC，连续动画可发送59FPS；但本次VM重启后Code43复发，
|
||
nvidia-smi失败、Sunshine当前实际为libx264软件编码。客户机重启设备/隔离VDD/VM停启均无效；
|
||
无效VDIRecoverNvidia任务已删除。未改宿主VFIO模块、未重启宿主。ROM为gtx965m-pci.rom。
|
||
- NVENC正常时2K20实测19.67FPS、网络丢帧0%、抖动丢帧0.94%；这些数据不能作为当前软编性能保证。
|
||
- 详细最新状态见 `docs/moonlight-kiosk-20261028.md` 的“当前现场（2026-11-02 15:45）”。
|
||
|
||
## 当前状态
|
||
- 项目目录：`D:\DAIMA\vdi-cloud`
|
||
- 终端盒子：RK3528 PRO DDR4，Armbian Ubuntu Noble，aarch64，IP `192.168.1.188`
|
||
- 当前图形：LightDM + Xorg；正式文档要求 Weston + Wayland + Qt，当前只是 POC
|
||
- Proxmox：9.2.2 节点 `starhe`。VM 100 win10-test `192.168.1.70`（Sunshine/Moonlight 云桌面）；
|
||
VM 101 kylin-test `192.168.1.71`（test1）、VM 102 ubuntu-test `192.168.1.72`（test2），
|
||
密码均 `yx66668888`，SSH 可登、图形会话在跑，**尚未装 Sunshine**，暂不能串流
|
||
- `kiosk-shell`（Qt/C++）：**开机直进桌面列表**（2026-10-30 起，设备 SN 即用户自动登录，
|
||
登录页代码保留待平台正式认证接入）→ 选择桌面 → Moonlight 会话；**RDP 代码已于 2026-10-29
|
||
全部删除**（git 历史可查），Moonlight 是唯一会话通道，无 freerdp 构建依赖
|
||
- 新增退出三层与会话过场层：`Ctrl+Alt+Shift+Q` 退串流回列表；列表页"退出登录"；
|
||
登录页无退出按钮（退出终端只在管理菜单）；点连接有全屏过场层，首帧后淡出。
|
||
详见 `docs/moonlight-kiosk-20261028.md` 2026-10-29 下午节
|
||
- 代码位置：`terminal/kiosk-shell`
|
||
- 远程安装路径：`~/vdi-terminal/bin/`（`kiosk-shell`、`vdi-kiosk-monitor`、`vdi-moonlight`）
|
||
|
||
## GPU 直通进行中（2026-10-30 下午，见 moonlight-kiosk 文档当日追加节）
|
||
- 宿主侧已就绪：nouveau 已黑名单、GPU 在 vfio-pci、IOMMU 组 2（root port+GPU）
|
||
- 关键坑：vfio 清零 Subsystem ID（必须 `x-pci-sub-vendor-id/device-id` 注入 1558:6557）；
|
||
移动卡 vBIOS 需 sysfs 抽取（/usr/share/kvm/gtx965m.rom）；NVIDIA 安装器在 SYSTEM 会话
|
||
挂起（用 7zr 解包 + pnputil）；582.78 绑定后 D3D 全灭已换 566.36（D3D 待验证）
|
||
- **当前 VM 100 未挂 GPU**：另一并行会话在改配置（hv_vendor_id 方案），本会话已停手避撞，
|
||
两个会话不要同时改 VM 100 配置！
|
||
- Sunshine 配对 2026.914 改为"Web UI 批准式"：`moonlight pair --pin NNNN` +
|
||
`GET /api/csrf-token` + `POST /api/pin {pairing_id,pin}`；Web 凭据由环境管理员保管；
|
||
删 sunshine_state.json = 全部失配；盒子 Moonlight 配置目录缓存旧 uniqueid 会卡死配对
|
||
|
||
## 必须遵守
|
||
- 所有实现严格参考用户提供的两个正式 Word 和会议纪要；文档未确定的技术只能标记待调研，不得擅自定版。
|
||
- 终端先做，后接自研管理平台 API；终端不直接调用 Proxmox API。
|
||
- 正式状态机：`BOOT -> CONFIG -> CONNECTING -> SESSION -> RECONNECT -> ERROR`
|
||
- 正式 Kiosk 选型：Weston + Wayland + Qt；会话通道统一 Moonlight（RDP 已删，勿在代码里复活协议分支）。
|
||
- `/cert:ignore`、空密码仅限局域网 POC。
|
||
- 项目经理新增待调研：RDP 是否适合 GPU/CAD/3D；研究 Moonlight/Sunshine，但不要在调研前删除 RDP、确定 Moonlight 参数或定版双协议。
|
||
|
||
## 已知关键结论
|
||
- WiFi：约 -47 dBm，协商约 200 Mbps，零丢包/重传；卷帘问题不能简单归因于 WiFi。
|
||
- HDMI 当前原生：`1920x1440@75Hz`（10-23 记录）；2026-10-28 实测盒子系统已是 `1920x1080@60Hz`，
|
||
与 Sunshine 侧虚拟显示器一致，串流 1:1 无缩放。以现场 `xrandr` 为准。
|
||
- `/dev/mpp_service`、`/dev/rga` 存在，但 `mppvideodec` GStreamer 插件未确认；Weston/DRM 零拷贝待验证。
|
||
- FreeRDP 3：`gdi_init` 必须在 PostConnect；NLA 空密码传 `strdup("")`；BGRX32 需转换为 Qt RGB；`/gfx` 是能力组合语义。
|
||
- Moonlight/Sunshine（2026-10-28 实测）：Windows 防火墙挡 ICMP，ping 不通不代表不通，
|
||
可达性判断必须用 TCP 探测；`moonlight-qt` 的 app id 会随服务端重装失效，
|
||
命令行要用应用名 `Desktop`；RK3528 上 `--video-decoder auto` 会选到不可用的
|
||
`h264_v4l2m2m`，必须显式 `software`。
|
||
- **21.6 FPS 上限根因（2026-10-29 修正）**：不是 x264 编码算力——ultrafast 前后帧率分毫不差，
|
||
串流中 VM CPU 仅 0.5%、sunshine 累计 14 秒 CPU/3 分钟会话，鼠标运动也不变；
|
||
真正瓶颈在虚拟显示/捕获节奏（MttVDD 呈现 + Desktop Duplication 脏帧 + QEMU 显示栈，
|
||
VM CPU 型号 `QEMU Virtual CPU version 2.5+` 未透传宿主 AVX2）。
|
||
根治 = GPU 直通（NVENC + 真实显示栈）；备选 = VirtIO-GPU / cpu=host 排除 QEMU 显示栈因素。
|
||
客户端解码 10~15 ms、网络丢包 0%、延迟 3 ms，链路健康。
|
||
|
||
## Web 控制台（2026-10-28 方案确认）
|
||
- `console/` 是管理员 Web 管理控制台，不是 RK3528 盒子的用户登录页。
|
||
- 正式技术栈：Vue3 + Vite + TypeScript 严格模式 + Element Plus；后端通过 api-gateway，JWT + RBAC。
|
||
- 页面：仪表盘、终端管理、桌面管理、用户与绑定、GPU 池、监控、OTA、审计日志。
|
||
- 角色：超级管理员、运维、只读。
|
||
- 终端产品流程仍应是 `kiosk-shell 登录/首配 -> 桌面列表 -> 获取短期连接票据 -> RDP/Moonlight 会话`；
|
||
当前开机直连 Moonlight 仅是串流技术验证，不是最终产品登录流程。
|
||
- 开发策略：先做功能骨架、Mock API、OpenAPI 契约、RBAC 与 E2E；项目经理 UI 稿到后替换视觉层。
|
||
- 完整方案：`docs/web-console-mvp-plan-20261028.md`。
|
||
|
||
## 尚未完成
|
||
- 服务端 GPU 直通：GPU 为 CLEVO 准系统上的 GM204M/965M（10de:13d9，宿主被 nouveau 占用需解绑）；
|
||
**IOMMU 已启用**（组 2 = root port 00:01.0 + GPU 01:00.0，整组直通）；VM 内需装 R580 legacy 驱动。
|
||
操作单与 GPU 看板见 `docs/gpu-passthrough-20261030.md`，看板 `http://192.168.1.51:8090/`（systemd 自启）
|
||
- RK3528 VPU 硬解（h264_v4l2m2m 等缺可用设备，需 MPP FFmpeg 补丁或 V4L2 request 驱动）
|
||
- 2K 分辨率链路验证（虚拟显示器 + 盒子显示模式需同步调整）
|
||
- Weston/DRM/mppvideodec
|
||
- 后端 API 注册、配置、MQTT 心跳（Moonlight 路径目前是本地静态配置）
|
||
- 终端音频出音现场确认
|
||
- 协议最终选型定版（RDP / Moonlight / 双协议，需实测数据 + 产品方案共同确认）
|
||
- 监控与运维脚本、OTA、USB 重定向等终端其余能力
|
||
|
||
先读 `PROJECT_CONTEXT.md`，再查看 `git status`，不要丢弃未提交改动。 |