assetLibrary · 数据流程画布

素材

来源已有的数据

N4q8R2s6.jpgsozai · image

字段名	示例数据 · MOCK
`title`	null
`tags`	`[]`

没有标题和标签
交给 Gemini 补齐

文件信息（来源解析）{"width": 800, "height": 800}

Gemini

内容理解 · 输出字段

理解图片↓补齐 3 个字段

字段名	示例数据 · MOCK
`generated_title`	小猫歪头照片
`description`	小猫歪头看向镜头，背景为白色。
`generated_tags`	小猫歪头白底

这三个字段，原样写回右侧素材记录。

数据库

assets · 同一条素材记录

A1 更新这一行不会再生成素材 ID

字段名	示例数据 · MOCK
`id`	A1
`asset_id`	c8a2t7m4
`user_id`	U1
`media_type`	`image`
`business_type`	`material`
`metadata`	`{"width": 800, "height": 800}`

Gemini 写入的字段

字段名	示例数据 · MOCK
`generated_title`	小猫歪头照片
`description`	小猫歪头看向镜头，背景为白色。
`generated_tags`	小猫歪头白底

完整标题、描述、标签存在这里。

Qdrant

向量数据库 · 1 个 point

point.idA1＝ assets.id

vector.keyword_sparse

标题 + 描述 + 标签 → 稀疏编码

字段名	示例数据 · MOCK
`indices`	`[101, 104, 106]`
`values`	`[1.0, 0.8, 0.6]`

vector.semantic_dense

description → 文本 embedding

[0.12, -0.08, 0.43, 0.21]4 维仅为 mock，模型与维度待选。

payload 标量 / 筛选数据

字段名	示例数据 · MOCK
`asset_id`	c8a2t7m4
`user_id`	U1
`source_system`	`sozai`
`space_id`	null
`media_type`	`image`
`business_type`	`material`

先建 point，再补向量；不复制全文。

素材

来源已有的数据

X7b2Lm.mp4ignis · video

字段名	示例数据 · MOCK
`title`	一群人在甲板排队
`tags`	甲板排队

未超过配置阈值 → 整段分析
原标题保留 · 已有文字先建关键词索引

文件信息（来源解析）{"width": 1280, "height": 720, "duration_ms": 30000}

超出配置阈值？

Gemini

内容理解 · 输出字段

理解画面 + 声音↓补充描述与标签

字段名	示例数据 · MOCK
`generated_title`	null · 保留原标题
`description`	游戏中的人物在甲板上依次排队等待。
`generated_tags`	人物甲板排队游戏

这三个字段，原样写回右侧素材记录。

数据库

assets · 同一条素材记录

A2 更新这一行不会再生成素材 ID

字段名	示例数据 · MOCK
`id`	A2
`asset_id`	v6p3k9d2
`user_id`	U1
`media_type`	`video`
`business_type`	`material`
`metadata`	`{"width": 1280, "height": 720, "duration_ms": 30000}`

Gemini 写入的字段

字段名	示例数据 · MOCK
`generated_title`	null · 保留原标题
`description`	游戏中的人物在甲板上依次排队等待。
`generated_tags`	人物甲板排队游戏

完整标题、描述、标签存在这里。

Qdrant

向量数据库 · 1 个 point

point.idA2＝ assets.id

vector.keyword_sparse

标题 + 描述 + 标签 → 稀疏编码

字段名	示例数据 · MOCK
`indices`	`[201, 202, 208]`
`values`	`[1.0, 1.2, 0.8]`

vector.semantic_dense

description → 文本 embedding

[-0.2, 0.69, 0.34, -0.15]4 维仅为 mock，模型与维度待选。

payload 标量 / 筛选数据

字段名	示例数据 · MOCK
`asset_id`	v6p3k9d2
`user_id`	U1
`source_system`	`ignis`
`space_id`	null
`media_type`	`video`
`business_type`	`material`

先建 point，再补向量；不复制全文。

素材

来源已有的数据

L9n3Vk.mp4ignis · video

字段名	示例数据 · MOCK
`title`	null
`tags`	`[]`

24 分钟 · MOCK 长视频
无标题、标签，等待内容分析补齐

文件信息（来源解析）{"width": 1920, "height": 1080, "duration_ms": 1440000}

判断与切分

超出配置阈值 → 按配置块长切分

24:00 MOCK＞长视频阈值此示例假设满足超长条件

字段名	示例数据 · MOCK
`判定阈值`	可配置 · 选模型后实测
`每块时长`	可配置 · 选模型后实测

0100:00–08:00

0208:00–16:00

0316:00–24:00

以上 3 段仅为 mock 时间范围。
每块保留画面 + 对应音轨。

未超阈值 → 整段交给 Gemini

Gemini 逐块分析

每块输出描述 · 含声音理解

MOCK · 重试成功后的结果快照

块 0100:00–08:00画面 + 音轨

成功 · 保留复用

字段名	示例数据 · MOCK
`description`	俯视画面中人物在甲板上排队，白色栏杆环绕场景。可听到背景音乐。

块 0208:00–16:00画面 + 音轨

失败 → 只重试 02 → 成功

字段名	示例数据 · MOCK
`description`	人物依次向药锅区域移动，可听到脚步声和游戏音效。

块 0316:00–24:00画面 + 音轨

成功 · 保留复用

字段名	示例数据 · MOCK
`description`	药锅发光，队伍继续向前移动。背景音乐持续。

01 ✓ 保留02 ↻ 仅重试此块03 ✓ 保留

这些描述是分析中间数据。
保存方式待定，不新增分块业务表或素材 ID。

LLM 整片合并

按时间顺序合并三块描述

01 描述+02 描述+03 描述

↓ 整片的标题、描述、标签

字段名	示例数据 · MOCK
`generated_title`	人物在甲板排队并进入药锅区域
`description`	俯视游戏画面中，人物在甲板上排队，随后依次进入药锅区域，结尾出现药锅发光与队伍移动。声音包括背景音乐、脚步声和游戏音效。
`generated_tags`	人物甲板排队药锅游戏俯视

合并失败 ↻只重试合并复用 01 / 02 / 03 描述，不重跑成功块

有原标题时保留；这里无标题，才生成新标题。

数据库

assets · 同一条素材记录

A3 更新这一行不会再生成素材 ID

字段名	示例数据 · MOCK
`id`	A3
`asset_id`	l4v8m2q6
`user_id`	U1
`media_type`	`video`
`business_type`	`material`
`metadata`	`{"width": 1920, "height": 1080, "duration_ms": 1440000}`

LLM 合并后写入的字段

字段名	示例数据 · MOCK
`generated_title`	人物在甲板排队并进入药锅区域
`description`	俯视游戏画面中，人物在甲板上排队，随后依次进入药锅区域，结尾出现药锅发光与队伍移动。声音包括背景音乐、脚步声和游戏音效。
`generated_tags`	人物甲板排队药锅游戏俯视

三块合并 → 仍是一条 assets 记录 A3。

Qdrant

向量数据库 · 1 个 point

point.idA3＝ assets.id

vector.keyword_sparse

标题 + 描述 + 标签 → 稀疏编码

字段名	示例数据 · MOCK
`indices`	`[201, 202, 208, 215]`
`values`	`[1.0, 1.2, 0.8, 0.7]`

vector.semantic_dense

description → 文本 embedding

[-0.18, 0.64, 0.39, -0.12]4 维仅为 mock，模型与维度待选。

payload 标量 / 筛选数据

字段名	示例数据 · MOCK
`asset_id`	l4v8m2q6
`user_id`	U1
`source_system`	`ignis`
`space_id`	null
`media_type`	`video`
`business_type`	`material`

整片只有一个 point A3；各块不单独建索引。

查询

用户输入 · MOCK

甲板上排队的
游戏画面

query 同时送入两路编码
身份、可见范围由服务端取得

字段名	示例数据 · MOCK
`user_id`	U1
`media_type`	`video`

02 A

关键词

Qdrant · keyword_sparse

query → 稀疏编码 → 召回

当前用户可见 + video

字段名	示例数据 · MOCK
`point.id`	A2
`命中文字`	甲板排队

02 B

语义

Qdrant · semantic_dense

query → embedding → 召回

当前用户可见 + video

字段名	示例数据 · MOCK
`point.id`	A2
`相关描述`	人物在甲板上依次排队等待

融合与复核

同一素材只返回一次

A2A2

↓ 一条 A2

融合排序 → 按内部 ID 去重
回数据库检查当前权限、删除状态
取出完整字段与对外短 ID

返回结果

公开短 ID · 保留两路命中标记

v6p3k9d2

一群人在甲板排队

字段名	示例数据 · MOCK
`results[0].asset_id`	`v6p3k9d2`
`keyword`	`["v6p3k9d2"]`
`semantic`	`["v6p3k9d2"]`

两路都命中，结果只出现一次。
这里的数组仅包含当前结果的短 ID。

拖空白平移 · 滚轮 / 双指缩放 · 拖标题移动节点

全部为 MOCK · A1 / S1 / U1 等为 UUID 简写

正在展开画布…

OVERVIEW

素材

Gemini

数据库

Qdrant

vector.keyword_sparse

vector.semantic_dense

素材

Gemini

数据库

Qdrant

vector.keyword_sparse

vector.semantic_dense

素材

判断与切分

Gemini 逐块分析

LLM 整片合并

数据库

Qdrant

vector.keyword_sparse

vector.semantic_dense

查询

甲板上排队的
游戏画面

关键词

语义

融合与复核

↓ 一条 A2

返回结果

v6p3k9d2

asset_sources

asset_mappings

asset_access

users

asset_sources

asset_mappings

asset_access

users

asset_sources

asset_mappings

asset_access

users