You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.

dubhe-data.yaml 2.3 kB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687
  1. # serving预测上传文件大小限制
  2. spring:
  3. servlet:
  4. multipart:
  5. # 设置单个文件的大小
  6. max-file-size: 10MB
  7. # 设置单次请求的文件的总大小
  8. max-request-size: 100MB
  9. shardingsphere:
  10. #指定data_dataset表 主键id 生成策略
  11. sharding:
  12. tables:
  13. data_file:
  14. actual-data-nodes: master.data_file_$->{1..250}
  15. table-strategy:
  16. standard:
  17. sharding-column: dataset_id
  18. precise-algorithm-class-name: org.dubhe.data.util.MyPreciseShardingAlgorithm
  19. data_dataset_version_file:
  20. actual-data-nodes: master.data_dataset_version_file_$->{1..250}
  21. table-strategy:
  22. standard:
  23. sharding-column: dataset_id
  24. precise-algorithm-class-name: org.dubhe.data.util.MyPreciseShardingAlgorithm
  25. data_file_annotation:
  26. actual-data-nodes: master.data_file_annotation_$->{1..250}
  27. table-strategy:
  28. standard:
  29. sharding-column: dataset_id
  30. precise-algorithm-class-name: org.dubhe.data.util.MyPreciseShardingAlgorithm
  31. k8s:
  32. # nfs服务暴露的IP地址 如需测试需修改为合适的地址
  33. nfs: 127.0.0.1
  34. #nfs服务端 共享目录
  35. nfs-root-path: /nfs/
  36. nfs-root-windows-path: "Z:"
  37. file-store: 127.0.0.1
  38. #文件存储服务端 共享目录
  39. file-store-root-path: /nfs/
  40. file-store-root-windows-path: "Z:"
  41. # data模块配置
  42. data:
  43. annotation:
  44. task:
  45. # 自动标注任务分割的文件split size
  46. splitSize: 16
  47. # 单位ms
  48. retryInterval: 5000
  49. # 任务不更新置为失败的时间单位秒
  50. failTime: 43200
  51. server:
  52. # 文件存储服务器用户名
  53. userName: root
  54. minioweb:
  55. GetToken:
  56. url: minio/webrpc
  57. param:
  58. id: 2
  59. jsonrpc: 2.0
  60. method: Web.Login
  61. zip:
  62. url: minio/zip?token=
  63. #logback
  64. logging.config:
  65. classpath:logback-spring-dev.xml
  66. # 资源回收
  67. recycle:
  68. # 超时时间
  69. over-second:
  70. # 数据集文件 5小时
  71. file: 18000
  72. # 数据集版本文件 5小时
  73. version-file: 18000
  74. # ES服务地址及端口
  75. es:
  76. host: 127.0.0.1
  77. serverPort: 32321
  78. transportPort: 32322
  79. clusterName: kubenets-logging
  80. index: dataset_text_test

一站式算法开发平台、高性能分布式深度学习框架、先进算法模型库、视觉模型炼知平台、数据可视化分析平台等一系列平台及工具,在模型高效分布式训练、数据处理和可视分析、模型炼知和轻量化等技术上形成独特优势,目前已在产学研等各领域近千家单位及个人提供AI应用赋能