模块目录/data-sources

核心内容数据面

data-sources

公开信息采集、来源合规、内容规范化、素材保存、BBS 发帖候选与管理后台。

GoVue 3Element PlusSQLite/PostgreSQL

15后台模块

64测试资产

8,567前端入口行数

0自动工作流

OWNERContent Data Platform

RUNTIMEGo API/workers · Vue 3 admin · PostgreSQL/SQLite

IDENTITYoperator session + source/action permissions

DELIVERYsystemd service + admin static assets

CAPABILITIES

负责的能力

01
来源注册、发现、规则、三级采集策略
02
数据库任务队列与 Fetch/Parse/Store/Media worker pool
03
文档、版本、内容块、素材、游标与运行审计
04
BBS 候选、自动发帖与发布路由
05
公开查询 API、运维健康、备份恢复与合规复核

UI & ROUTES

页面与接口面

概览、分类管理、源发现、采集源、采集规则采集策略、运行日志、备份恢复、系统资源、审计日志采集内容、REITs BBS 发帖、素材资产、合规复核、公开 API

IMPLEMENTATION CONTRACT

运行、数据与跨项目契约

这部分给开发者和 AI 明确真实入口、状态 owner、稳定接口和可观测证据。

Entrypoints

worker.reits.tech
15 admin modules
public query API

Owned data

sources/rules/strategies
documents/versions/blocks
media/run/audit

Contracts

SourceRecord
DocumentSnapshot
BbsPublishCandidate
CollectionRun

Telemetry

run_id stage logs
worker pool metrics
compliance queue

SCREEN DEFINITIONS

15 张已绑定 UI 蓝图

每张蓝图都绑定路由、状态、动作、契约和源码证据。

?module=overviewAdmin

控制台/采集概览

CURRENT CODE · STATIC DATA

采集概览

采集运行、来源风险、内容与待办的控制面

运行中任务03全部在预算内

健康来源12898.5%

待复核12需要处理

今日文档2,846+18.4%

⌕ 搜索名称、ID 或来源

运行 / 模块RUN ID阶段状态更新时间

每日正式来源采集run_0715_0840PARSE · 82%运行中1 分钟前

RWA 素材补全run_0715_0620DOWNLOAD部分失败18 分钟前

BBS 候选生成run_0715_0300PUBLISH成功2 小时前

每日正式来源采集 · 镜像run_0715_0840_mirrorPARSE · 82%健康1 小时前

RWA 素材补全 · 镜像run_0715_0620_mirrorDOWNLOAD待复核昨天

BBS 候选生成 · 镜像run_0715_0300_mirrorPUBLISH健康昨天

每日正式来源采集 · 历史run_0715_0840_archivePARSE · 82%已归档3 天前

RWA 素材补全 · 历史run_0715_0620_archiveDOWNLOAD已归档上周

BBS 候选生成 · 历史run_0715_0300_archivePUBLISH已归档上周

?module=overview

采集概览

采集运行、来源风险、内容与待办的控制面

查看定义 →

?module=sourcesAdmin

控制台/采集源管理

CURRENT CODE · STATIC DATA

采集源管理

以状态、合规与失败证据管理来源

全部来源132+4 本周

已启用12896.9%

风险来源04需要复核

平均成功率98.5%+0.8%

⌕ 搜索名称、ID 或来源

来源SOURCE ID策略 / 频率状态最近运行

中国证监会src_csrc_cnL1 · 30m健康4 分钟前

JPX REITsrc_jpx_reitL2 · 2h待复核31 分钟前

HKEX Newssrc_hkex_newsL1 · 1h健康42 分钟前

中国证监会 · 镜像src_csrc_cn_mirrorL1 · 30m健康1 小时前

JPX REIT · 镜像src_jpx_reit_mirrorL2 · 2h待复核昨天

HKEX News · 镜像src_hkex_news_mirrorL1 · 1h健康昨天

中国证监会 · 历史src_csrc_cn_archiveL1 · 30m已归档3 天前

JPX REIT · 历史src_jpx_reit_archiveL2 · 2h已归档上周

HKEX News · 历史src_hkex_news_archiveL1 · 1h已归档上周

?module=sources

采集源管理

以状态、合规与失败证据管理来源

查看定义 →

?module=logsAdmin

控制台/运行日志

CURRENT CODE · STATIC DATA

运行日志

从一次运行定位到阶段、来源和错误

今日运行4692% 成功

处理中03平均 4m

失败事件07需要处理

P95 耗时8m 12s-14%

⌕ 搜索名称、ID 或来源

运行RUN ID阶段计数状态耗时

正式源增量run_984cF12 · P11 · S10运行中06:18

媒体下载run_781aD48 · E03部分失败13:42

夜间全量run_442dF132 · P132成功42:06

正式源增量 · 镜像run_984c_mirrorF12 · P11 · S10健康1 小时前

媒体下载 · 镜像run_781a_mirrorD48 · E03待复核昨天

夜间全量 · 镜像run_442d_mirrorF132 · P132健康昨天

正式源增量 · 历史run_984c_archiveF12 · P11 · S10已归档3 天前

媒体下载 · 历史run_781a_archiveD48 · E03已归档上周

夜间全量 · 历史run_442d_archiveF132 · P132已归档上周

?module=logs

运行日志

从一次运行定位到阶段、来源和错误

查看定义 →

?module=mediaAdmin

控制台/素材资产

CURRENT CODE · STATIC DATA

素材资产

素材下载、失败原因与来源绑定的运营台

素材总数18.4k+2.1%

可用17.9k97.3%

下载失败81需要处理

本地占用42 GB单卷风险

⌕ 搜索名称、ID 或来源

预览 / 文件ASSET ID来源 / 大小状态操作

明阳项目封面.jpgast_94ccCSRC · 1.8 MB可用查看

招募说明书.pdfast_81baSSE · 24 MB下载失败重试

JPX 地图.webpast_3d11JPX · 820 KB可用查看

明阳项目封面.jpg · 镜像ast_94cc_mirrorCSRC · 1.8 MB健康1 小时前

招募说明书.pdf · 镜像ast_81ba_mirrorSSE · 24 MB待复核昨天

JPX 地图.webp · 镜像ast_3d11_mirrorJPX · 820 KB健康昨天

明阳项目封面.jpg · 历史ast_94cc_archiveCSRC · 1.8 MB已归档3 天前

招募说明书.pdf · 历史ast_81ba_archiveSSE · 24 MB已归档上周

JPX 地图.webp · 历史ast_3d11_archiveJPX · 820 KB已归档上周

?module=media

素材资产

素材下载、失败原因与来源绑定的运营台

查看定义 →

?module=categoriesAdmin

控制台/分类管理

CURRENT CODE · STATIC DATA

分类管理

来源与内容分类树的受控维护

一级分类12公开 10

二级分类48绑定 132 源

未绑定03需要处理

本周变更08全部已审计

⌕ 搜索名称、ID 或来源

分类CATEGORY KEY绑定对象状态更新时间

官方披露official_disclosure38 sources已发布10:42

虚拟资产virtual_assets6 assets待复核09:18

机构答疑institution_qa14 sources已发布昨天

官方披露 · 镜像official_disclosure_mirror38 sources健康1 小时前

虚拟资产 · 镜像virtual_assets_mirror6 assets待复核昨天

机构答疑 · 镜像institution_qa_mirror14 sources健康昨天

官方披露 · 历史official_disclosure_archive38 sources已归档3 天前

虚拟资产 · 历史virtual_assets_archive6 assets已归档上周

机构答疑 · 历史institution_qa_archive14 sources已归档上周

?module=categories

分类管理

来源与内容分类树的受控维护

查看定义 →

?module=discoveryAdmin

控制台/来源发现

CURRENT CODE · STATIC DATA

来源发现

候选站点发现、探测与接入判定

本周候选34+11

探测通过2161.8%

高风险05需要复核

已接入08本周

⌕ 搜索名称、ID 或来源

候选站点PROBE IDrobots / 结构状态动作

reit-funds.jpprobe_c9a4允许 · 稳定可接入创建源

market-bulletin.cnprobe_0f82受限 · 变化高风险复核

trust-list.sgprobe_194e允许 · 稳定可接入创建源

reit-funds.jp · 镜像probe_c9a4_mirror允许 · 稳定健康1 小时前

market-bulletin.cn · 镜像probe_0f82_mirror受限 · 变化待复核昨天

trust-list.sg · 镜像probe_194e_mirror允许 · 稳定健康昨天

reit-funds.jp · 历史probe_c9a4_archive允许 · 稳定已归档3 天前

market-bulletin.cn · 历史probe_0f82_archive受限 · 变化已归档上周

trust-list.sg · 历史probe_194e_archive允许 · 稳定已归档上周

?module=discovery

来源发现

候选站点发现、探测与接入判定

查看定义 →

采集概览?module=overview

Admin→02

采集源管理?module=sources

Admin→03

运行日志?module=logs

Admin→04

素材资产?module=media

Admin→05

分类管理?module=categories

Admin→06

来源发现?module=discovery

Admin→07

采集规则?module=rules

Admin→08

采集策略?module=strategy

Admin→09

备份恢复?module=backups

Admin→10

系统资源?module=resources

Admin→11

审计日志?module=audit

Admin→12

采集内容?module=documents

Admin→13

BBS 发帖候选?module=bbs

Admin→14

合规复核?module=compliance

Admin→15

公开 API 目录?module=publicApi

Admin→

← 返回模块目录查看协作规范 →