系统使用

系统设置

概述

system_setting.png

系统设置主要由三个模块组成,分别是【系统管理员】【系统环境设置】【UTS服务授权】。

系统管理员

功能: 用于管理admin账号,

  • 【新建】管理员账号
  • 【删除】管理员账号
  • 【修改】管理员账号信息
  • 【重置密码】重置管理员账号密码

系统环境设置

功能: 用于设置系统连接池,和设置uts服务的一些参数。

  • 系统连接池:

    支持配置公共的系统连接池,可以事先将数据库的连接信息配置成系统连接池,这样在创建数据库服务或者数据库项目的时候直接复用,而不用每新建一个账号就配置一次数据库的连接信息。

  • 运行环境设置

    • 可以设置工作线程数
    • 可以设置系统用于数据库下载服务的预读线程数
    • 可以设置系统定时重启策略
    • 可以设置日志的时效信息。
    • 可以配置uts系统的数据库信息、用于将日志写入数据库。

UTS服务授权

UTS服务的使用是需要授权的,默认会有一个月的试用期,使用期满后就不能正常使用,需要联系我司工作人员购买正版授权服务,并享受相应的售后服务。

功能:

  • 可以查看当前服务的授权信息
  • 可以在此更新授权信息。

数据库服务

概述

system_setting.png

数据库服务用于创建一个【数据源】用于将数据传输到下游使用。在这个模块中主要由6个模块组成,分别是【服务监控】【账号管理】【同步日志】【错误日志】【SQL错误】【传输统计】。

服务监控

功能: 可以查看当前连接该账号的客户端,以及历史的登录记录,同时也提供了一个查看客户端配置信息的入口、可以极大的方便数据提供方指导和定位数据使用者的项目配置问题。

账号管理

功能: 用于新建和管理数据传输的服务端账号,如果要进行数据传输、必须要先新建一个数据库服务账号,然后配置好需要同步给下游的数据表和视图。

支持配置项:

  • 支持配置【上传】【下载】两种账号类型
  • 支持配置同步条件
  • 支持配置同步表中的部分字段
  • 支持配置同步表中更改表的名称
  • 支持配置给指定表统一添加额外的字段
  • 支持配置多种数据库类型:【mysql】【sqlserver】【oracle】【db2】
  • 支持内容的编码映射
  • 支持视图的同步
  • 支持给同步表指定主键(配置后客户端的表会按照指定的字段创建主键,对于视图很重要)
  • 支持IP地址白名单和黑名单
  • 支持网卡地址白名单和黑名单

账号类型选择

数据库服务账号分为两种数据类型:【数据库下载】和【数据库上传】。那么这两者有什么区别呢?

download_and_upload.png

上图清晰的描述了这两者的区别,其实“上传”与“下载”描述的是数据的流向。 理想状况我们只需要一个【数据库下载】类型就可以搞定数据的同步了。 之所以有【数据库上传】这种设计,是考虑到有些数据提供方没有固定的公网IP或者域名, 这个时候如果数据使用方有固定的域名或者公网IP, 那么使用【数据库上传】就可以完美的解决这种问题了。

下载策略

dbs_download_strategy.png

  • 数据内容映射

这个参数对应的是文本类型的数据,如果有乱码之类的, 可以通过这个参数来控制统一转为unicode编码将数据写入到数据库中。

  • 客户端忽略处理设定范围外数据

【客户端忽略处理设定范围外数据】是比较重要的一个参数,默认情况下是勾选的。 如果配置了同步条件一定要特别注意检查这个参数是否是勾选的。 如果勾选了这个参数,则客户端那边不会删除范围外的数据,否则只会保留符合条件的数据。 例如,配置的条件是同步最新一天的数据,UTS每次只同步最新一天的数据到客户端。 那么对于历史数据怎么处理呢?如果勾选了这个参数,则历史数据保留不动;如果没有勾选这个参数, 则会删除今天以前的数据。

  • 禁止修改目标表结构

【禁止修改目标表结构】默认是不勾选的,因为如果勾选了该选项,则数据源如果表结构有变化就 不能同步到目标表,只能通过手动去更改目标表的表结构了。

配置同步条件

功能: uts支持配置同步条件对同步数据做一些筛选,只同步符合条件的数据。

使用场景: * 下游只需要一张表中符合条件的一部分数据 * 对于历史数据不变的数据表,可以通过配置同步条件来减少数据的同步量。比如证券行情表,按照日期每天新增, 已经同步过来的历史数据数据源已经不会发生变化了,这时就可以配置同步条件只同步最新一天的数据, 就可以大大减少UTS的数据同步量了,从而提升同步效率(对于几千万级别的表效果特别明显)。

操作

在【下载列表】中选中要设置的表,点击【明细设置】按钮,选择【范围设置】,就可以配置同步条件。

condition.png

同步周期

如果账号配置的是【数据库下载】类型,则 不要配置 【同步周期】选项,否则客户端有可能会同步不到数据。

数据库项目

dbc_project.png

数据库项目用于创建一个【数据客户端】。用于将数据从服务端下载下来,写入本地数据库。 在这个模块中主要由6个模块组成,分别是【运行监控】【项目管理】【同步日志】【错误日志】【SQL错误】。

运行监控

功能: 管理和控制同步账号的运行启停,除了定时同步数据外,可以在这个页面中手动控制同步数据和停止同步。

项目管理

功能 用于创建数据同步的客户端。

项目属性

dbc_project_pro.png

下载策略

dbc_download_stragety.png

  • 【记载数据更新DML详细日志】:如果勾选,则会在数据库中新建日志表,记录操作的日志,数据库中的日志表名称默认为UTSUPLOGS,表结构说明如下:
字段名 中文说明
INDEX_UPDATE 日志序号
KEY_DATA 相关记录的键值
LOG_TYPE 操作类型:I 新增;U更新;D删除
UPDATE_TIME 操作时间
  • 【忽略操作类型】:如果勾选插入,更新,删除,则相应的操作不会被记录在日志表中。
  • 【记录数据首次写入时间,自动写入字段】:如果勾选,则会在目标表中添加该字段,记录数据的第一次的入库时间。
  • 【记录数据更新时间,自动写入字段】:如果勾选,则会在目标表中添加该字段,记录数据的最新一次更新时间。

TIPS:可以通过比较入库时间和更新时间的差异来判断上游是否更新过数据。

服务器连接

功能: 配置uts服务的连接信息,支持域名和代理。

dbc_connection.png

同步周期

dbc_connection.png

数据库项目需要配置同步周期,默认是15分钟同步一次,可以根据实际需求进行调整。 另外也可以在此配置同步线程数,如果需要同步的表的数量很大,则可以增大线程数。

将老版UTS迁移到新版UTS

为了减少老版本的uts迁移到新版uts上的工作量,新版uts是支持将老版本的配置文件导入过来的,具体操作如下:

1、将老版本中需要迁移的项目配置拷贝出来,并更改扩展名后缀(老版本中后缀是.ini)。 如果是数据库服务账号则改为.xdbs,如果是数据库项目账号则改为.xdbc。

2、如果是数据库服务账号迁移,打开【数据库服务】点击【导入配置】按钮,弹出对话框中选中需要导入到新版中的配置文件,选择导入即可。 如果是数据库项目账号迁移,则打开【数据库项目】选项卡,点击【导入配置】按钮,弹出对话框中选择要导入的配置文件。