Elasticjob在同一个实例上运行的多个分片任务

原创 已于 2025-04-24 18:22:29 修改 · 1.1k 阅读 · 10 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
云原生

当前文章被收录于：

云原生
27 篇文章 0 人学习
订阅专栏 查看详情
微服务

当前文章被收录于：

微服务
17 篇文章 1 人学习

SpringCloud Alibaba 微服务

订阅专栏 查看详情
云计算

当前文章被收录于：

云计算
12 篇文章 0 人学习

云计算 大数据

订阅专栏 查看详情
于 2025-02-12 23:03:52 首次发布

 一、#创作灵感#

elasticjob在同一个实例上运行的多个分片任务（实例数量小于分片数量）

  1. 很多贴子、AI说可以
  2. 实际不可以，很可能是官方说明翻译时出现了误差
  3. 每个分片由一个独立的作业服务器执行，可以同时处理多个分片，实现作业的并行执行（同时、并行都是指不同的服务器/实例之间并行）
  4. 网上的文章在部分没有写明代码对应的elasticjob版本，导致可读性差就成了鸡肋

需求：作业需要分多片，但不不想启动太多pod/实例

方案：当然这是有解决方案的。本文作者分享编程、配置两种实现方案

二、环境

- SpringBoot 2.7.18   官方下载地址：SpringBoot 2.7.18

- ElasticJob 3.0.4   官方下载地址：ElasticJob 3.0.4

- ElasticJob-UI 3.0.2 图形化工具  官方下载地址：ElasticJob-UI 3.0.2

- Nacos 2.2.3   官方下载地址：Nacos 2.2.3

- Oracle JDK8u202(Oracle JDK8最后一个非商业版本)   下载地址：Oracle JDK8u202

三、方案一（编码方式）

1、使用不同的Job名称

为每个任务定义不同的Job名称。虽然这不一定直接解决在同一实例上运行多个分片的问题，但它可以帮助你更清晰地管理和识别不同的任务。

高版本（ElasticJob 3.0.4+）

    /**
     * 作业配置1
     * @return
     */
    @Bean(name="myJob1")
    public JobConfiguration jobConfiguration1() {

        return JobConfiguration.newBuilder("myJob1", 2 )
                .shardingItemParameters("0=Beijing,1=Shanghai")
                .jobParameter("param=value")
                .build();
    }

    /**
     * 作业配置2
     * @return
     */
    @Bean(name="myJob2")
    public JobConfiguration jobConfiguration2() {

        return JobConfiguration.newBuilder("myJob2", 2 )
                .shardingItemParameters("0=Beijing,1=Shanghai")
                .jobParameter("param=value")
                .build();
    }

低版本

// 第一个任务
SimpleJobConfiguration firstJobConfig = SimpleJobConfiguration.newBuilder(MyJob.class)
        .cron(cron1)
        .shardingTotalCount(2)
        .jobParameter("param1")
        .build();
 
// 第二个任务
SimpleJobConfiguration secondJobConfig = SimpleJobConfiguration.newBuilder(MyJob.class)
        .cron(cron2)
        .shardingTotalCount(2)
        .jobParameter("param2")
        .build();

2、配置多个分片在同一JVM中执行

在ElasticJob中，你可以通过配置JobBootstrap来指定在一个JVM进程中运行多个分片。这通常通过在JobBootstrap中配置多个SimpleJobConfiguration对象实现。

高版本（ElasticJob 3.0.4+）


    private void init(){
        
        ZookeeperRegistryCenter regCenter = new ZookeeperRegistryCenter(
                new ZookeeperConfiguration("localhost:2181", "elastic_job_demo")
        );
        regCenter.init();

        JobConfiguration cfg1 = JobConfiguration.newBuilder("saasHealthJob1", 2 )
                .shardingItemParameters("0=A:01,1=B:01")
                .jobParameter("param=value1")
                .build();

        JobScheduler jobScheduler1 = new JobScheduler( regCenter, myJob, cfg1 );
        jobScheduler1.getJobScheduleController().scheduleJob("0 0/1 * * * ?","GMT+8:00");


        JobConfiguration cfg2 = JobConfiguration.newBuilder("saasHealthJob2", 2 )
                .shardingItemParameters("0=A:02,1=B:02")
                .jobParameter("param=value2")
                .build();

        JobScheduler jobScheduler2 = new JobScheduler( regCenter, myJob, cfg2 );
        jobScheduler2.getJobScheduleController().scheduleJob("0 0/1 * * * ?","GMT+8:00");

    }

低版本

List<SimpleJobConfiguration> jobConfigurations = new ArrayList<>();
jobConfigurations.add(firstJobConfig);
jobConfigurations.add(secondJobConfig);
 
JobBootstrap.getInstance().setJobConfigNames("firstJobConfig", "secondJobConfig").initialize();

3、示例代码整合 

下面是一个整合上述配置的示例：

高版本示例（ElasticJob 3.0.4+）

import org.apache.shardingsphere.elasticjob.api.JobConfiguration;
import org.apache.shardingsphere.elasticjob.lite.internal.schedule.JobScheduler;
import org.apache.shardingsphere.elasticjob.reg.zookeeper.ZookeeperConfiguration;
import org.apache.shardingsphere.elasticjob.reg.zookeeper.ZookeeperRegistryCenter;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @Description: java代码创建elasticjob作业
 *               针对3个按资源池和集群分片的job（有6片），为了不用启6个实例，实现6个分片在两个实例上并行执行
 * @Author: dand
 * @CreateDate: 2025/2/13 09:20
 * @Version: 1.0
 */
@Configuration
public class ElasticJobConfig {

    @Autowired
    MyJob myJob;

    private void init(){

        ZookeeperRegistryCenter regCenter = new ZookeeperRegistryCenter(
                new ZookeeperConfiguration("localhost:2181", "elastic_job_demo")
        );
        regCenter.init();

        JobConfiguration cfg1 = JobConfiguration.newBuilder("myJob1", 2 )
                .shardingItemParameters("0=A:01,1=B:01")
                .jobParameter("param=value1")
                .build();

        JobScheduler jobScheduler1 = new JobScheduler( regCenter, myJob, cfg1 );
        jobScheduler1.getJobScheduleController().scheduleJob("0 0/1 * * * ?","GMT+8:00");


        JobConfiguration cfg2 = JobConfiguration.newBuilder("myJob2", 2 )
                .shardingItemParameters("0=A:02,1=B:02")
                .jobParameter("param=value2")
                .build();

        JobScheduler jobScheduler2 = new JobScheduler( regCenter, myJob, cfg2 );
        jobScheduler2.getJobScheduleController().scheduleJob("0 0/1 * * * ?","GMT+8:00");

    }

//    /**
//     * 配置注册中心（这里使用 Zookeeper）
//     * @return
//     */
//    @Bean
//    public ZookeeperRegistryCenter registryCenter() {
//        ZookeeperConfiguration zkConfig = new ZookeeperConfiguration("localhost:2181", "my-elastic-job");
//        ZookeeperRegistryCenter regCenter = new ZookeeperRegistryCenter(zkConfig);
//        regCenter.init();
//        return regCenter;
//    }
//
//    /**
//     * 作业配置1
//     * @return
//     */
//    @Bean(name="myJob1")
//    public JobConfiguration jobConfiguration1() {
//
//        return JobConfiguration.newBuilder("myJob1", 2 )
//                .shardingItemParameters("0=Beijing,1=Shanghai")
//                .jobParameter("param=value")
//                .build();
//    }
//
//    /**
//     * 作业配置2
//     * @return
//     */
//    @Bean(name="myJob2")
//    public JobConfiguration jobConfiguration2() {
//
//        return JobConfiguration.newBuilder("myJob2", 2 )
//                .shardingItemParameters("0=Beijing,1=Shanghai")
//                .jobParameter("param=value")
//                .build();
//    }
}

高版本示例（ElasticJob 3.0.4+）如果已经有配置方式的其他job

如果已经有配置方式的其他job，就自然有了ZookeeperRegistryCenter，不需要再对其创建和初始化，直接注入

import org.apache.shardingsphere.elasticjob.api.JobConfiguration;
import org.apache.shardingsphere.elasticjob.lite.internal.schedule.JobScheduler;
import org.apache.shardingsphere.elasticjob.reg.zookeeper.ZookeeperConfiguration;
import org.apache.shardingsphere.elasticjob.reg.zookeeper.ZookeeperRegistryCenter;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @Description: java代码创建elasticjob作业
 *               针对3个按资源池和集群分片的job（有6片），为了不用启6个实例，实现6个分片在两个实例上并行执行
 * @Author: dand
 * @CreateDate: 2025/2/13 09:20
 * @Version: 1.0
 */
@Configuration
public class ElasticJobConfig {

    @Autowired
    ZookeeperRegistryCenter regCenter;

    @Autowired
    MyJob myJob;

    private void init(){

        JobConfiguration cfg1 = JobConfiguration.newBuilder("myJob1", 2 )
                .shardingItemParameters("0=A:01,1=B:01")
                .jobParameter("param=value1")
                .build();

        JobScheduler jobScheduler1 = new JobScheduler( regCenter, myJob, cfg1 );
        jobScheduler1.getJobScheduleController().scheduleJob("0 0/1 * * * ?","GMT+8:00");


        JobConfiguration cfg2 = JobConfiguration.newBuilder("myJob2", 2 )
                .shardingItemParameters("0=A:02,1=B:02")
                .jobParameter("param=value2")
                .build();

        JobScheduler jobScheduler2 = new JobScheduler( regCenter, myJob, cfg2 );
        jobScheduler2.getJobScheduleController().scheduleJob("0 0/1 * * * ?","GMT+8:00");

    }
}

低版本示例

public class ElasticJobApplication {
    public static void main(String[] args) {
        SimpleJobConfiguration firstJobConfig = SimpleJobConfiguration.newBuilder(MyJob.class)
                .cron("0/5 * * * * ?") // 每5秒执行一次
                .shardingTotalCount(2) // 分片总数为2
                .jobParameter("param1") // 参数设置
                .build();
        
        SimpleJobConfiguration secondJobConfig = SimpleJobConfiguration.newBuilder(MyJob.class)
                .cron("0/10 * * * * ?") // 每10秒执行一次
                .shardingTotalCount(2) // 分片总数为2
                .jobParameter("param2") // 参数设置
                .build();
        
        List<SimpleJobConfiguration> jobConfigurations = new ArrayList<>();
        jobConfigurations.add(firstJobConfig);
        jobConfigurations.add(secondJobConfig);
        
        JobBootstrap.getInstance().setJobConfigurations(jobConfigurations).initialize();
    }
}

通过以上设置，你可以在同一实例上高效地运行多个分片任务。

四、方案二（配置方式）【推荐】

1、配置方式实现

下面的方式编码更少，上面的方式配置更少（没有配置）

# job1
elasticjob.jobs.ESLoadJob1.elasticJobClass=person.dand.job.MyJob
elasticjob.jobs.ESLoadJob1.shardingTotalCount=2
elasticjob.jobs.ESLoadJob1.sharding-item-parameters=0=A
elasticjob.jobs.ESLoadJob1.jobErrorHandlerType=LOG
elasticjob.jobs.ESLoadJob1.cron=0 0/1 * * * ?
elasticjob.jobs.ESLoadJob1.jobExecutorServiceHandlerType=SINGLE_THREAD
elasticjob.jobs.ESLoadJob1.misfire=false
elasticjob.jobs.ESLoadJob1.failover=false
elasticjob.jobs.ESLoadJob1.disabled=false
elasticjob.jobs.ESLoadJob1.overwrite=true
elasticjob.jobs.ESLoadJob1.description=XXXX任务1

# job2
elasticjob.jobs.ESLoadJob2.elasticJobClass=person.dand.job.MyJob
elasticjob.jobs.ESLoadJob2.shardingTotalCount=2
elasticjob.jobs.ESLoadJob2.sharding-item-parameters=1=B
elasticjob.jobs.ESLoadJob2.jobErrorHandlerType=LOG
elasticjob.jobs.ESLoadJob2.cron=0 0/1 * * * ?
elasticjob.jobs.ESLoadJob2.jobExecutorServiceHandlerType=SINGLE_THREAD
elasticjob.jobs.ESLoadJob2.misfire=false
elasticjob.jobs.ESLoadJob2.failover=false
elasticjob.jobs.ESLoadJob2.disabled=false
elasticjob.jobs.ESLoadJob2.overwrite=true
elasticjob.jobs.ESLoadJob2.description=XXXX任务2

五、注意事项

  • 资源管理：在同一实例上运行多个分片任务可能会增加资源使用（如CPU、内存等），确保你的服务器硬件能够支持这种配置。

  • 任务隔离：尽管ElasticJob允许在同一JVM中运行多个任务，但在设计时应确保各个任务之间不会互相干扰，例如通过合理的日志记录、资源锁定等措施。

  • 监控与日志：由于多个任务可能同时运行，确保有适当的监控和日志记录机制来跟踪每个任务的执行情况。

  • 配置管理：合理管理配置文件，确保每个任务的配置（如分片数量、执行策略等）正确无误。

特别提醒

作业配置项：sharding-item-parameters  必须以0开头，不能大于等于分片 shardingTotalCount

六、两种方案对比

1、配置方式编码更少

2、编程方式配置更少（没有配置）

相关文章推荐：

多数据源SpringBoot应用集成ElasticJob3.0.4并实现作业事件追踪【最佳实践】_elastic job 3.-CSDN博客

标签
#同一实例执行多个分片任务 #同一机器执行多个分片任务 #ElasticJob #定时任务分片 #ElasticJob作业分片
#多个分片在同一个实例上执行 #分布式任务调度框架
elasticJob分片跑批
peerless_hero的博客
08-04 1万+
业务迅速发展带来了跑批数据量的急剧增加。单机处理跑批数据已不能满足需要，另考虑到企业处理数据的扩展能力，多机跑批势在必行。多机跑批是指将跑批任务分发到多台服务器上执行，多机跑批的前提是”数据分片”。elasticJob通过JobShardingStrategy支持分片跑批。跑批配置需要做如下修改： shardingTotalCount:作业分片总数。jobShardingStrategyClass
源码分析ElasticJob分片机制(带分片机制流程图)
2401_84049061的博客
04-07 978
阿里伤透我心，疯狂复习刷题，终于喜提offer 哈哈~好啦，不闲扯了1、JAVA面试核心知识整理（PDF）：包含JVMJAVA集合JAVA多线程并发，JAVA基础，Spring原理微服务，Netty与RPC，网络，日志，ZookeeperKafkaRabbitMQ，Hbase，MongoDB设计模式负载均衡数据库一致性哈希JAVA算法数据结构，加密算法，分布式缓存，Hadoop，Spark，Storm，YARN，机器学习，云计算共30个章节。2、Redis学习笔记及学习思维脑图。
Elastic-Job：Elastic-Job作业分片是什么、Elastic-Job作业分片策略及源码分析、Elastic-Job自定义分片策略、Elastic-Job作业分片配置方式
郝开的博客
11-18 2895
某些场景需要实现自定义的作业分片策略。// 实现逻辑 } }实现后，配置实现类的全路径到 Lite作业配置( LiteJobConfiguration )的 jobShardingStrategyClass 属性。
ElasticJob‐Lite：作业分片策略介绍与源码分析
kaven
01-01 1544
分片 弹性调度是ElasticJob最重要的功能，也是这款产品名称的由来。它是一款能够让任务通过分片进行水 平扩展的任务处理系统。 ElasticJob中任务分片项的概念，使得任务可以在分布式的环境下运行，每台任务服务器只运行分配给该服务器的分片。随着服务器的增加或宕机，ElasticJob会近乎实时的感知服务器数量的变更，从而重新为分布式的任务服务器分配更加合理的任务分片项，使得任务可以随着资源的增加而提升效率。 任务的分布式执行，需要将一个任务拆分为多个独立的任务项，然后由分布式的服务器分别执行某一个或
Elastic-Job原理
weixin_30929011的博客
09-03 408
概述Elastic-Job是一个分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。 Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。 功能列表分布式调度协调弹性扩容缩容失效转移错过执行作业重触发作业分片一致性，保证同一分片在分布式环境中仅一个执行实例自诊断并修复...
elastic-job详解（一）：数据分片
weixin_34306676的博客
07-24 898
2019独角兽企业重金招聘Python工程师标准>>> ...
熟练使用 Elastic Job系列之作业分片策略（五）
阿星君
06-24 1321
自带的分片策略 框架默认提供了三种分片策略，所有的分片策略都是接口JobShardingStrategy的实现 AverageAllocationJobShardingStrategy 全类路径：io.elasticjob.lite.api.strategy.impl.AverageAllocationJobShardingStrategy 策略说明： 基于平均分配算法的分片策略，也是默认的分片策略。 如果分片不能整除，则不能整除的多余分片将依次追加到序号小的服务器。如： 如果有3台服..
[源码解析]之-ElasticJob如何做到单分片任务只在一个节点运行的?
水中加点糖
04-19 2337
这篇文章是之前体验elastic-job时搭了一个elasticjob多节点环境，当时对elasticjob是如何做到多节点中只运行一个定时任务挺疑惑的，所以就跟着源码看了看并做了一个简单的记录。 在了解与体验了spring cloud data flow后觉得elasticjob优秀是优秀，但与spring cloud data flow相比能更好地运行在kuernetes上总觉得不怎么适用于当时公司的定时任务场景，于是这篇文章也就没有发出来。 但最近由于公司项目由于数据存储那块原有架构感觉快扛不住了，于
分布式任务调度-ElasticJob
sinat_34814635的博客
05-15 5642
一、基础概念 ElasticJob 是面向互联网生态和海量任务的分布式调度解决方案，由两个相互独立的子项目 ElasticJob-Lite 和 ElasticJob-Cloud 组成。 它通过弹性调度、资源管控、以及作业治理的功能，打造一个适用于互联网场景的分布式调度解决方案，并通过开放的架构设计，提供多元化的作业生态。 它的各个产品使用统一的作业 API，开发者仅需一次开发，即可随意部署。 1.Elastic-Job主要功能 定时任务：基于成熟的定时任务作业框架Quartz cron表达式执.
定时任务——ElasticJob原理
最新发布
庄小焱
08-23 1604
文章主要介绍了ElasticJob的原理和源码解析。ElasticJob是一个分布式任务调度框架，使用Zookeeper作为协调器，支持任务分片和分布式锁机制。文章还探讨了ElasticJob的作业流程、任务分配、Leader选举、任务触发和执行机制，以及如何在Spring Boot中使用ElasticJob。
ElasticJob分片工作机制
libufan的博客
08-17 1487
ElasticJob分片工作机制： 第一步：ElasticJob在启动时，首先会启动是否需要重新分片的监听器。 第二步：任务执行之前需要获取分片信息，如果需要重新分片，主服务器执行分片算法，其他从服务器等待直到分片完成。 那我先说一下监听器： ShardingListenerManager分片监听管理器是(这个类)。他有两个内部类ShardingTotalCountChangedJobListener和ListenServersChangedJobListener，分别用来监听总分片数量事件和任务服
真实系统优化实战：ElasticJob 分片策略与系统优化
流楚丶格念的博客
10-13 1643
通过合理设置分片数量、分片参数以及调整任务的 Cron 表达式，ElasticJob 系统能够更高效地调度任务，减少系统的负载压力。开启 Failover 和 Misfire 功能也能确保任务的稳定执行，避免任务因节点故障或调度延迟而丢失。
Elastic-Job分布式调度学习
Falcon__的博客
03-12 1354
Elastic-Job分布式调度学习
elastic-job详解（五）：自定义任务参数
weixin_34122810的博客
01-14 1247
在elastic-job详解（三）：Job的手动触发功能一文中讲到了如何手动触发一个Job，但是我们手动触发的时候常常需要输入一些参数。举个栗子：我们有个日统计报表，每天凌晨统计一次，统计上一天的数据。但我们发现几天前的某一天的数据有问题，需要重跑统计。这就需要统计程序能执行指定某一天的数据。这个功能就可以使用自定义任务参数来轻松实现。自定义参数，可通过传递该参数为作业调度的业务方法传参，用于实现...
elastic-job 实现的分片案例5
健康平安的活着的专栏
07-19 1822
作业分片是指例如：Elastic-Job快速入门中文件备份的例子，现有2台服务器，每台服务器分别跑一个应用实例。为了快速的执行作业，那么可以将作业分成4片，每个应用实例个执行2片。可以看到，通过对任务合理的分片化，从而达到任务并行处理的效果，最大限度的提高执行作业的吞吐量。
Elastic-Job的执行原理及优化实践
OPPO数智技术
11-08 2733
1. Quartz Quartz是由OpenSymphony提供的强大的开源任务调度框架，用来执行定时任务。比如每天凌晨三点钟需要从数据库导出数据，这时候就需要一个任务调度框架，帮我们自动去执行这些程序。那Quartz是怎样实现的呢？ 1）首先我们需要定义一个运行业务逻辑的接口，即Job，我们的类继承这个接口来实现业务逻辑，比如凌晨三点读取数据库并且导出数据。 2）有了Job之后需要按时执行这个Job，这就需要一个触发器Trigger，触发器Trigger就是按照我们的要求在每天凌晨三点执行我们定义的Jo
Elastic-Job原理--任务分片策略（三）
热门推荐
井底之蛙
10-10 1万+
上一篇博客Elastic-Job原理--服务器初始化、节点选举与通知(二)介绍了Elastic-Job的启动流程，这篇博客我们了解学习一下Elastic-Job的任务分片策略，目前提供了三种任务分片策略，分片策略的实现最终是在注册中心zk中在分片的instance中写入实例信息。 目前Elastic-Job提供分片接口JobShardingStrategy： /** * 作业分片策略....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

飞火流星02027

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值