任务不再等待!玩转DataWorks资源组
本文摘要:原标题:任务不再等待!玩转DataWorks资源组,引言,DataWorks提供了三种资源组的能力:独享资源组、自定义资源组和默认资源组,很多开发者在使用资源组时经常会碰到各类情况,到时候任务运行失败或者延迟,例如:,1. 正在使用默认资源组,任务经常要等待,2.购
原标题:任务不再等待!玩转DataWorks资源组,引言,DataWorks提供了三种资源组的能力:独享资源组、自定义资源组和默认资源组,很多开发者在使用资源组时经常会碰到各类情况,到时候任务运行失败或者延迟,例如:,1. 正在使用默认资源组,任务经常要等待,2.购买错了资源组类型(独享数据集成资源组与独享调度资源组),使用不了,3.购买错了地域(杭州开通DataWorks购买了北京的资源组),4.没买错资源组类型,也没买错地域,当天还是用不了,通过本篇文章,为您介绍三种资源组的使用场景、使用方式等;下图描述了整个任务在运行过程中不同类型使用的资源组的流程;,,调度有三种资源组:默认、独享、自定义;DataWorks中的数据集成也有同样的三种资源组:默认、独享、自定义;数据集成的同步资源管理复用调度系统资源管理系统,在使用DataWorks的时候,如果需要使用数据集成任务,那么需要区分开调度和数据集成2种资源组的概念;,默认资源组,默认资源组是DataWorks在租户开始使用时候就给每个租户颁发的资源组了,租户内所有项目共享,不需要任何配置、操作就可以运行任务;但是该默认资源组需要说明节点:,独享资源组,目前DataWorks的独享资源组提供了2种:独享调度资源组和独享数据集成资源组,在此处为了更好的理解为什么需要2种资源组的方式,可以将独享数据集成资源组理解为MaxCompute的计算资源概念,因为数据集成隶属于DataWorks产品内,所以在同步资源是跟调度资源在一起购买的;可以参考引言中的图;,一、独享调度资源组,(1)信息说明,(2)如何修改任务运行到独享调度资源组,特别特别注意:,1、在运维中心任务修改资源组周期任务是需要第二天才会生效,及时生效可以通过测试或者补数据运行即可;,2、__一定要先单个测试在批量修改,__一定要先单个测试在批量修改,__一定要先单个测试在批量修改,3、如果有网络打通的,优先将网络打通,可以在测试的时候验证出来的;,详细操作步骤:,,,,,,,特别特别注意:虚节点、工作流、机器学习等任务类型不要选择上,因为这些不支持资源组修改;,->,,,,,->,,,,以上,就完成了将任务迁移到独享资源组运行的操作了;,二、独享数据集成资源组,(一)信息说明,(二)如何修改任务运行到独享数据集成资源组,写在最前面:,1、一定要先单个测试在批量修改,一定要先单个测试在批量修改,一定要先单个测试在批量修改,2、如果有网络打通的,优先将网络打通,可以在测试的时候验证出来的;,3、独享数据集成资源组是在数据开发页面修改提交,发布后是及时生效的;,详细操作步骤:,,,三、专有网络绑定,,,,,四、运维助手,自定义资源组,,- step2:DataWorks控制台打开,先创建资源组:,,- step3:创建资源组后,在点击 服务器管理,添加服务器,特别特别注意,**此步骤最容易出错:**,- **网络类型:只能支持专有网络;**,- **UUID:必须使用UUID方式添加,UUID获取方法:执行`dmidecode | grep UUID`,取返回值**,- **IP:机器的内网IP,可以登录机器:hostname -i接口或得**,,,- step4: 服务添加完毕后,回到自定义资源组页面,刷新按钮,点击 服务器初始化,按照初始化流程,登录到ECS操作,- step5:服务器操作完毕后,可以到页面等待10分钟,观察服务器状态正常即可;,上云就看云栖号,点此查看更多:https://yqh.aliyun.com/?utm_content=g_1000100940,本文为阿里云内容,未经允许不得转载。 ,责任编辑: ,

内容聚焦