338 lines
14 KiB
Thrift
338 lines
14 KiB
Thrift
include "../../base.thrift"
|
||
include "common.thrift"
|
||
|
||
namespace go flow.dataengine.dataset
|
||
|
||
struct ListDocumentRequest {
|
||
1: required i64 dataset_id(agw.js_conv='str', api.js_conv='true')
|
||
2: optional list<string> document_ids (agw.js_conv='str')
|
||
3: optional i32 page
|
||
4: optional i32 size
|
||
5: optional string keyword // 根据名称搜索
|
||
|
||
255: optional base.Base Base
|
||
}
|
||
|
||
struct ListDocumentResponse {
|
||
1: list<DocumentInfo> document_infos
|
||
2: i32 total
|
||
|
||
253: required i64 code
|
||
254: required string msg
|
||
255: required base.BaseResp BaseResp
|
||
}
|
||
|
||
struct DocumentInfo {
|
||
1: string name
|
||
2: i64 document_id(agw.js_conv='str', api.js_conv='true')
|
||
3: optional string tos_uri // 文件链接
|
||
5: i32 create_time // 创建时间
|
||
6: i32 update_time // 更新时间
|
||
7: optional i64 creator_id (agw.js_conv="str", api.js_conv='true', api.body="creator_id") // 创建人
|
||
8: i32 slice_count // 包含分段数量
|
||
9: string type // 文件后缀 csv, pdf 等
|
||
10: i32 size // 文件大小 字节数
|
||
11: i32 char_count // 字符数
|
||
12: common.DocumentStatus status // 状态
|
||
13: i32 hit_count // 命中次数
|
||
14: common.DocumentSource source_type // 来源
|
||
18: common.FormatType format_type // 文件类型
|
||
19: optional list<TableColumn> table_meta // 表格类型元数据
|
||
20: optional string web_url // url 地址
|
||
21: optional string status_descript // 状态的详细信息；如果切片失败，返回失败信息
|
||
24: optional i64 space_id(agw.js_conv="str", api.js_conv="true") // 空间id
|
||
|
||
// 以下字段仅针对重构后的表格类型有用，用于前端判断
|
||
26: optional bool editable_append_content // 仅针对表格类型，是否允许添加内容、修改表结构
|
||
27: common.ChunkStrategy chunk_strategy // 切片规则
|
||
|
||
28: optional string imagex_uri // imagex 存储的文件链接
|
||
29: optional string doc_outline // 层级分段文档树Json (未使用)
|
||
30: optional common.ParsingStrategy parsing_strategy // 解析策略
|
||
32: optional common.FilterStrategy filter_strategy // 过滤策略
|
||
33: optional string doc_tree_tos_url // 层级分段文档树 tos_url
|
||
34: optional string preview_tos_url // 预览用的原文档 tos_url
|
||
35: optional i64 review_id // 预览用的原文档 tos_url
|
||
}
|
||
|
||
struct TableColumn {
|
||
1: i64 id(agw.js_conv="str", api.js_conv="true", api.body="id") // 列 id
|
||
2: string column_name // 列名
|
||
3: bool is_semantic // 是否为语义匹配列
|
||
4: i64 sequence(agw.js_conv="str", api.js_conv="true", api.body="sequence")// 列原本在 excel 的序号
|
||
5: optional ColumnType column_type // 列类型
|
||
6: optional bool contains_empty_value
|
||
7: optional string desc // 描述
|
||
}
|
||
|
||
|
||
enum ColumnType {
|
||
Unknown = 0
|
||
Text = 1 // 文本
|
||
Number = 2 // 数字
|
||
Date = 3 // 时间
|
||
Float = 4 // float
|
||
Boolean = 5 // bool
|
||
Image = 6 // 图片
|
||
}
|
||
|
||
struct DeleteDocumentRequest {
|
||
2: list<string> document_ids // 要删除的文档ID列表
|
||
|
||
255: optional base.Base Base
|
||
}
|
||
|
||
struct DeleteDocumentResponse {
|
||
253: required i64 code
|
||
254: required string msg
|
||
255: required base.BaseResp BaseResp
|
||
}
|
||
|
||
struct UpdateDocumentRequest{
|
||
1: i64 document_id (agw.js_conv="str", api.js_conv="true")
|
||
|
||
// 需要更新就传, 更新名称
|
||
3: optional string document_name
|
||
|
||
|
||
// 更新表结构
|
||
5: optional list<TableColumn> table_meta // 表格元数据
|
||
|
||
255: optional base.Base Base
|
||
}
|
||
|
||
struct UpdateDocumentResponse {
|
||
253: required i64 code
|
||
254: required string msg
|
||
255: optional base.BaseResp BaseResp
|
||
}
|
||
|
||
|
||
struct UpdatePhotoCaptionRequest {
|
||
1: required i64 document_id(agw.js_conv='str', api.js_conv='true') // 文档ID
|
||
2: required string caption // 要更新的图片描述信息
|
||
|
||
255: optional base.Base Base
|
||
}
|
||
|
||
struct UpdatePhotoCaptionResponse {
|
||
253: required i64 code
|
||
254: required string msg
|
||
255: required base.BaseResp BaseResp(api.none="true")
|
||
}
|
||
|
||
struct ListPhotoRequest {
|
||
1: required i64 dataset_id(agw.js_conv='str', api.js_conv='true') // 知识库ID
|
||
2: optional i32 page // 页数，从 1 开始
|
||
3: optional i32 size // 每页大小
|
||
4: optional PhotoFilter filter
|
||
|
||
255: optional base.Base Base
|
||
}
|
||
|
||
struct PhotoFilter {
|
||
1: optional bool has_caption // true 筛选 “已标注” 的图片，false 筛选 “未标注” 的图片
|
||
2: optional string keyword // 搜索关键字，对图片名称和图片描述进行搜索
|
||
3: optional common.DocumentStatus status // 状态
|
||
}
|
||
|
||
struct ListPhotoResponse {
|
||
1: list<PhotoInfo> photo_infos
|
||
2: i32 total
|
||
|
||
253: required i64 code
|
||
254: required string msg
|
||
255: required base.BaseResp BaseResp(api.none="true")
|
||
}
|
||
|
||
struct PhotoInfo { // 图片型知识库一个图片对应一个文档
|
||
1: string name // 图片名称
|
||
2: i64 document_id(agw.js_conv='str', api.js_conv='true') // 文档ID
|
||
3: string url // 图片链接
|
||
4: string caption // 图片描述信息
|
||
5: i32 create_time // 创建时间
|
||
6: i32 update_time // 更新时间
|
||
7: i64 creator_id (agw.js_conv="str", api.js_conv='true', agw.key="creator_id", api.body="creator_id") // 创建人
|
||
8: string type // 图片后缀 jpg, png 等
|
||
9: i32 size // 图片大小
|
||
10: common.DocumentStatus status // 状态
|
||
11: common.DocumentSource source_type // 来源
|
||
}
|
||
|
||
struct PhotoDetailRequest {
|
||
1: required list<string> document_ids (agw.js_conv='str') // 文档ID列表
|
||
2: required i64 dataset_id(agw.js_conv='str', api.js_conv='true') // 知识库ID
|
||
255: optional base.Base Base
|
||
}
|
||
|
||
struct PhotoDetailResponse {
|
||
1: map<string, PhotoInfo> photo_infos // 文档ID到图片信息的映射
|
||
253: required i64 code
|
||
254: required string msg
|
||
255: required base.BaseResp BaseResp(api.none="true")
|
||
}
|
||
|
||
struct ResegmentRequest {
|
||
1: i64 dataset_id (agw.js_conv="str", api.js_conv="true") // 知识库ID
|
||
2: list<string> document_ids // 要重新分段的文档
|
||
3: common.ChunkStrategy chunk_strategy // 分段策略
|
||
5: optional common.ParsingStrategy parsing_strategy // 解析策略
|
||
7: optional common.FilterStrategy filter_strategy; // 过滤策略
|
||
255: optional base.Base Base
|
||
}
|
||
|
||
struct ResegmentResponse {
|
||
1: list<DocumentInfo> document_infos // 老版需要. 仅返回id 和名称即可
|
||
|
||
253: required i64 code
|
||
254: required string msg
|
||
255: optional base.BaseResp BaseResp
|
||
}
|
||
|
||
struct CreateDocumentRequest {
|
||
1: i64 dataset_id(agw.js_conv='str', api.js_conv='true') // 要插入文档的知识库id
|
||
|
||
4: common.FormatType format_type // 知识库的类型，目前支持文本、表格、图片三种知识库
|
||
|
||
// 表格类型一次只能创建一个
|
||
6: list<DocumentBase> document_bases // 待创建的文档信息
|
||
|
||
17: optional common.ChunkStrategy chunk_strategy // 只在知识库中没有文档时需要传递，已有则从知识库获取.切片规则，为空则自动按段落切片
|
||
31: optional bool is_append // 为 true 时向已有的 document 追加内容。text 类型不能使用
|
||
32: optional common.ParsingStrategy parsing_strategy // 解析策略
|
||
|
||
255: optional base.Base Base
|
||
}
|
||
|
||
struct CreateDocumentResponse {
|
||
2: list<DocumentInfo> document_infos
|
||
|
||
253: required i32 code
|
||
254: required string msg
|
||
255: required base.BaseResp BaseResp
|
||
}
|
||
|
||
// 用于创建文档的基本信息
|
||
struct DocumentBase{
|
||
1: string name // 文档名称
|
||
2: SourceInfo source_info
|
||
// 以下参数表格类型需要传递
|
||
4: optional list<TableColumn> table_meta // 表格元数据
|
||
5: optional TableSheet table_sheet // 表格解析信息
|
||
6: optional common.FilterStrategy filter_strategy // 过滤策略
|
||
7: optional string caption // 图片类型知识库，人工标注时的图片描述
|
||
}
|
||
|
||
// 支持多种数据源
|
||
struct SourceInfo {
|
||
1: optional string tos_uri (api.body="tos_uri"); // 本地上传返回的 uri
|
||
|
||
4: optional common.DocumentSource document_source (api.body="document_source");
|
||
|
||
// document_source 自定义原始内容: 表格型知识库需要符合的格式：json list<map<string, string>>
|
||
5: optional string custom_content (api.body="custom_content")
|
||
|
||
// document_source 本地: 如果不传 tos 地址, 则需要传文件 base64, 类型
|
||
7: optional string file_base64 // 文件经过 base64 后的字符串
|
||
8: optional string file_type // 文件类型, 比如 pdf
|
||
|
||
// imagex_uri, 和 tos_uri 二选一, imagex_uri 优先，需要通过 imagex 的方法获取数据和签发 url
|
||
10: optional string imagex_uri
|
||
}
|
||
struct TableSheet {
|
||
1: i64 sheet_id (agw.js_conv="str", agw.key="sheet_id", api.js_conv="true", api.body="sheet_id") , // 用户选择的 sheet id
|
||
2: i64 header_line_idx (agw.js_conv="str", agw.key="header_line_idx", api.js_conv="true", api.body="header_line_idx"), // 用户选择的表头行数，从 0 开始编号
|
||
3: i64 start_line_idx (agw.js_conv="str", agw.key="start_line_idx", api.js_conv="true", api.body="start_line_idx") , // 用户选择的起始行号，从 0 开始编号
|
||
}
|
||
|
||
|
||
struct GetDocumentProgressRequest {
|
||
1: list<string> document_ids
|
||
|
||
255: optional base.Base Base
|
||
}
|
||
struct GetDocumentProgressResponse {
|
||
1: list<DocumentProgress> data
|
||
|
||
253: required i64 code
|
||
254: required string msg
|
||
255: optional base.BaseResp BaseResp
|
||
}
|
||
|
||
struct DocumentProgress {
|
||
1: i64 document_id(agw.js_conv="str", api.js_conv='true')
|
||
2: i32 progress // 知识库进度百分比
|
||
3: common.DocumentStatus status
|
||
4: optional string status_descript // 状态的详细描述；如果切片失败，返回失败信息
|
||
5: string document_name
|
||
6: optional i64 remaining_time // 剩余时间单位秒
|
||
7: optional i64 size
|
||
8: optional string type
|
||
9: optional string url
|
||
}
|
||
|
||
// 获取 database 上传的表格文件元信息
|
||
struct GetTableSchemaRequest {
|
||
1: optional TableSheet table_sheet; // 表格解析信息, 默认初始值0,0,1，表示第1个表格，表头行为第1行，数据行从第2行开始
|
||
2: optional TableDataType table_data_type; // 不传默认返回所有数据
|
||
3: optional i64 document_id(agw.js_conv="str", agw.key="document_id", api.js_conv="true", api.body="document_id"); // 兼容重构前的版本：如果需要拉取的是当前 document 的 schema 时传递该值
|
||
4: optional SourceInfo source_file; // source file 的信息，新增 segment / 之前逻辑迁移到这里
|
||
5: optional list<TableColumn> origin_table_meta; // 表格预览前端需要传递原始的数据表结构
|
||
6: optional list<TableColumn> preview_table_meta; // 表格预览前端需要传递用户编辑之后的数据表结构
|
||
|
||
255: optional base.Base Base
|
||
}
|
||
|
||
enum TableDataType {
|
||
AllData = 0 // schema sheets 和 preview data
|
||
OnlySchema = 1 // 只需要 schema 结构 & Sheets
|
||
OnlyPreview = 2 // 只需要 preview data
|
||
}
|
||
|
||
struct DocTableSheet {
|
||
1: i64 id; // sheet 的编号
|
||
2: string sheet_name; // sheet 名
|
||
3: i64 total_row; // 总行数
|
||
}
|
||
|
||
struct GetTableSchemaResponse {
|
||
1: required i32 code
|
||
2: required string msg
|
||
3: list<DocTableSheet> sheet_list
|
||
4: list<TableColumn> table_meta // 选中的 sheet 的 schema, 不选择默认返回第一个 sheet
|
||
5: list<map<string,string>> preview_data(api.body="preview_data") // knowledge table 场景中会返回
|
||
|
||
255: optional base.BaseResp BaseResp(api.none="true")
|
||
}
|
||
|
||
// 判断用户配置的 schema 是否和对应 document id 的一致
|
||
struct ValidateTableSchemaRequest {
|
||
1: i64 space_id (agw.js_conv="str", agw.key="space_id", api.js_conv="true", api.body="space_id") // 空间ID
|
||
2: i64 document_id (agw.js_conv="str", agw.key="document_id", api.js_conv="true", api.body="document_id") // 要校验的文档ID
|
||
3: SourceInfo source_info (api.body="source_file") // source file 的信息
|
||
4: TableSheet table_sheet (api.body="table_sheet") // 表格解析信息, 默认初始值0,0,1，表示第1个表格，表头行为第1行，数据行从第2行开始
|
||
|
||
255: optional base.Base Base
|
||
}
|
||
|
||
struct ValidateTableSchemaResponse {
|
||
1: optional map<string,string> ColumnValidResult (api.body="column_valid_result");
|
||
// 如果失败会返回错误码
|
||
253: required i64 code
|
||
254: required string msg
|
||
255: optional base.BaseResp BaseResp(api.none="true")
|
||
}
|
||
|
||
struct ExtractPhotoCaptionRequest {
|
||
1: required i64 document_id (agw.js_conv="str", agw.key="document_id", api.js_conv="true", api.body="document_id")
|
||
|
||
255: optional base.Base Base
|
||
}
|
||
|
||
struct ExtractPhotoCaptionResponse {
|
||
1: string caption // 图片描述
|
||
253: required i64 code
|
||
254: required string msg
|
||
255: required base.BaseResp BaseResp(api.none="true")
|
||
}
|