产品限制
分类 | 细则 |
---|---|
资源上传规范 | 上线单中需上传的资源,由两部分构成 1. 解码器:由三部分构成,服务运行主体程序-加载器(AIservice)及其依赖,模型解码计算模块及其依赖,中间件(插件)。需打包上传(支持压缩类型:tar.gz) 2. 模型:模型文件需打包上传(支持压缩类型:tar.gz) |
上传的资源大小 1. 解码器大小:小于2GB 2. 模型大小:50GB |
|
平台运行限制 | GPU运行规范 1. 单节点仅分配单张GPU卡,GPU卡id为0。即解码器仅能使用GPU 0卡进行计算。 2. 平台GPU服务器仅支持Tesla T4型号. 3. 平台GPU服务器仅提供418.87版本驱动,缺省提供cuda10.1,若需其他版本cuda,需由用户在解码器内上传。 |
服务器资源限制 1. AI能力运行环境配置受用户申请的单节点服务器资源配置所限制,超过相关阈值可能导致容器驱逐,AI能力短时不可用。(如:内存泄露导致的容器驱逐) |
|
AI能力发布规范 | 兼容性 1. AI能力版本迭代过程,需遵循接口协议向下兼容原则。对于已上架服务版本的迭代,平台侧强制进行兼容性测试,未通过测试则发布失败。 |
版本备份 1. 平台缺省对AI能力最近发布版本的资源进行备份,可用于用户回滚。若回滚版本跨度大于1个版本,需重新提交发布。 |
|
更新粒度 1. 解码器及模型为版本更新发布的最小单元,不支持针对解码器或模型集内部进行差量更新。 |
|
AI能力运行规范 | 运行环境 1. AI能力运行为容器环境,容器镜像由docker官方基础镜像、GPU驱动程序及cuda构建而成,不包含其他库、组件及工具。 2. AI能力云服务容器运行过程关闭特权模式( --privileged=false),涉及相关内核访问可能导致服务失败。 |
数据读写 1. AI能力运行过程中禁止进行大量数据写操作,平台不对服务运行空间进行清理,磁盘容量超过阈值则导致容器驱逐。 2. 针对AI能力运行中必要的日志记录,日志模块需提供自动清理功能。 |