解码器&模型上传

为保障解码器&模型在传输过程中文件的完整性，ASE提供OBS对象存储供用户存储解码器&模型，用户仅需提供存储后生成的云存储地址，ASE将直接从地址中下载并解压打包。

上传流程介绍

  1. 获取对象存储密钥及存储空间地址：登录引擎托管平台，前往控制台右上角：资源管理-密钥管理（前往查看）； 1578362406787 存储空间地址： oss.xfyun.cn
  2. OBS对象存储提供的接口为标准的S3接口，可采用客户端工具如（DragonDisk、s3brower），或命令行工具，登录账号并连接存储空间。
  3. 打包已开发完成的解码器及模型，格式支持：tar.gz，解码器开发说明详见： 解码器开发
  4. 上传打包后的解码器及模型，并获取存储地址及对应的MD5校验值；
  5. 解码器最大支持5GB，模型最大支持50GB

工具使用介绍

OBS对象存储提供的接口为标准的 S3 接口，Windows 下可采用 Amazon 提供的S3 Browser 客户端工具，Linux 下可以使用s3cmd 命令行工具。

Windows下S3 Browser使用说明

1、下载并安装客户端软件

下载S3 Browser软件（需下载7.6以上的版本），解压压缩包后，双击 S3 客户端软件后执行安装程序，安装完成后打开软件。 注：该软件依赖框架：.Net Framework 4，如果没有，则需先安装该软件。

2、添加账号

安装完成后需添加账号信息。 20200214173947

  1. Account Name // 账号的名称，可自行填写，该字段不影响认证

  2. Account Type // 账户类型，请选择：S3 Compatible Storage

  3. REST Endpoint // 连接存储的域名或IP地址，可在引擎托管平台控制台-密钥管理页面查看，地址： oss.xfyun.cn

  4. Access Key // 访问存储空间的账号ID，与引擎托管平台账号绑定，可在控制台-资源管理-密钥管理页面查看

  5. Secret Key // 访问存储空间的私钥密码，与引擎托管平台账号绑定，可在控制台-资源管理-密钥管理页面查看

  6. Encrypt Access Keys with a password // 无需勾选

  7. Use secure transfer（SSL/TLS）// 无需勾选

全部填写完成后，保存配置，完成账号创建

3、上传文件

Bucket 由平台自动为用户创建，每个用户独享一个Bucket。点击 File 按钮，选择 Upload files 选项，选择需要上传的文件，也可以上传文件夹，注意：如果有太多的小文件可以打包成压缩包后上传，现支持增量上传。

4、解码器云存储地址

用s3Browser工具上传打包后的解码器及模型文件后，获取存储URL地址如下图：

20200214173947 通过对上传后的文件右单击，选择【Generate Web URL】功能进入【Web URL Generator】即可查看文件下载地址。

5、数据完整性校验

打开工具最上沿的工具菜单，选择Tools 下面的 Options , 打开后显示的页面如下 , 选择Data lntegrity 勾选第一行表示在上传文件时进行MD5 数据完整性校验， 勾选第二行表示在下载文件时进行MD5 数据完整性校验。勾选后，如果上传下载后 数据校验不完整会返回error。

20200214173947

Linux下s3cmd使用说明

1、安装s3cmd （以centos系统为例）

yum -y install s3cmd

2、配置s3cmd

执行 $ s3cmd --configure生成配置文件，一路Enter，注意跳过认证并保存配置

......
...
Test access with supplied credentials? [Y/n] n

Save settings? [y/N] y
Configuration saved to '/root/.s3cfg'

修改.s3cfg中以下几项，也可只保留以下几项

[default]
access_key =           
secret_key = 
host_base = oss.xfyun.cn
host_bucket = %(bucket)oss.xfyun.cn
use_https = False
  1. Access Key // 访问存储空间的账号ID，与引擎托管平台账号绑定，可在控制台-资源管理-密钥管理页面查看
  2. Secret Key // 访问存储空间的私钥密码，与引擎托管平台账号绑定，可在控制台-资源管理-密钥管理页面查看
  3. host_base //连接存储的域名或IP地址，可在引擎托管平台控制台-密钥管理页面查看，域名： oss.xfyun.cn

3、使用s3cmd查看上传文件

  + 列举所有 Buckets

$ s3cmd ls --signature-v2
  • 上传引擎资源和模型到某个 bucket
s3cmd put dev.tar.gz s3://my-bucket-name/dev.tar.gz --signature-v2

4、查看bucket下文件，获取引擎和模型资源路径

注意：此处获取的路径在引擎平台填写时需转换为 http://my-bucket-name.oss.xfyun.cn/dev.tar.gz 格式

s3cmd ls s3://my-bucket-name --signature-v2

results matching ""

    No results matching ""