Fork/Join

这篇具有很好参考价值的文章主要介绍了Fork/Join。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Fork/Join框架简介

Fork/Join框架简介

Fork/Join它可以将一个大的任务拆分成多个子任务并行处理,最后将子任务结果合成并最后的计算结果,并进行输出。FOrk/Join框架要完成两件事情。Fork:把一个复杂的任务进行分析,大任务拆分成小任务;Join:把拆分的结果进行合并。
Fork/Join
1.任务分割,Fork/Join框架需要把大的任务分割成足够小的任务,如果子任务比较大的话还要对子任务进行继续分割。
2.执行任务并合并结果,分割的子任务分别放到双端队列里,然后几个启动线程,分别从双端队列里获取任务执行。子任务执行完后的结果都放在另一个队列里,启动一个线程从队列里取数据,然后合并这些数据。

双端队列

双端队列(Double-ended Queue),简称Deque,是一种具有队列和栈特性的数据结构。双端队列允许从两端插入和删除元素,因此可以在队列的头部和尾部进行插入和和删除操作。
双端队列可以在队列的两端执行以下操作:

  • 在队列头部插入/删除元素;
  • 在队列尾部插入/删除元素;
    双端队列的特点是可以在队列的两端进行插入和删除操作,这使得它非常灵活和方便。它可以用于模拟栈,队列和其他数据结构,同时也可以用于解决一些特定的问题,如滑动窗口问题等。在Java中,Deque接口是双端队列的标准实现,它有两个主要的实现类:ArrayDeque,LinkedList。

Fork/Join框架实现任务分割和合并

  • 1.ForkJoinaTask:要使用Fork/Join框架,首先要创建一个ForkJoin任务,该类提供了在任务中执行fork/join的机制。通常情况下,我们不使用ForkJoin的子类ForkJoinTask,只需要继承ForkJoinTask子类,然后使用,Fork/join框架提供了两个子类,RecursiveAction 用以没有返回结果的任务,RecursiveTask 用以有返回结果的任务。
  • 2.ForkJoinPool:ForkJoinTask需要通过ForkJoinPool来执行。
  • 3.RecursiveTask:继承此类后,可以自定义调用的任务

ForkJoinPool架构图

Fork/Join

RecursiveTask架构图

Fork/Join

Fork/Join实现原理

ForkJoinPool由ForkJoinTask数组和ForkJoinWorkerThread数组组成,ForkJoinTask数组负责存放任务,以及将这些任务提交给ForkJoinPool,而ForkJoinWorkerThread负责执行这些任务。

Fork方法的实现原理

当我们调用ForkJoinTask的fork方法时,程序会把任务放在ForkJoinWorkerThread的pushTask的workQueue中,异步地执行这个任务,然后立即返回结果。

    public final ForkJoinTask<V> fork() {
        Thread t;
        if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread)
            ((ForkJoinWorkerThread)t).workQueue.push(this);
        else
            ForkJoinPool.common.externalPush(this);
        return this;
    }

push方法把当前任务存放在ForkJoinTask数组队列里。然后再调用ForkJoinPool的signalWork()方法唤醒或创建一个工作线程执行任务。

    final void push(ForkJoinTask<?> task) {
        ForkJoinTask<?>[] a; ForkJoinPool p;
        int b = base, s = top, n;
        if ((a = array) != null) {    // ignore if queue removed
            int m = a.length - 1;     // fenced write for task visibility
            U.putOrderedObject(a, ((m & s) << ASHIFT) + ABASE, task);
            U.putOrderedInt(this, QTOP, s + 1);
            if ((n = s - b) <= 1) {
                if ((p = pool) != null)
                    p.signalWork(p.workQueues, this);//执行任务
            }
            else if (n >= m)
                growArray();
        }
    }

Join方法

Join方法的主要作用是阻塞当前线程并等待获取结果。

	/**
     * Returns the result of the computation when it {@link #isDone is
     * done}.  This method differs from {@link #get()} in that
     * abnormal completion results in {@code RuntimeException} or
     * {@code Error}, not {@code ExecutionException}, and that
     * interrupts of the calling thread do <em>not</em> cause the
     * method to abruptly return by throwing {@code
     * InterruptedException}.
     *
     * @return the computed result
     */
    public final V join() {
        int s;
        if ((s = doJoin() & DONE_MASK) != NORMAL)//执行doJoin() 根据返回状态判断返回结果
            reportException(s);
        return getRawResult();
    }

任务状态有4种 已完成(NORMAL),被取消(CANCELLED),信号(SIGNAL)和出现异常(EXCEPTIONAL)

doJoin方法

/**
Implementation for join, get, quietlyJoin. Directly handles only cases of already-completed, external wait, * and unfork+exec. Others are relayed to ForkJoinPool.awaitJoin.
* Returns: status upon completion
*/
	/*
	流程
	1.当任务状态,已经执行完成,就直接返回任务状态
	2.如果没有执行完,则从任务数组里取出任务并执行。
	3.如果任务顺利执行完成,则设置任务状态未NORMAL,出现异常,则记录异常,并将任务状态设置为EXCEPTIONAL
	*/
	private int doJoin() {
        int s; Thread t; ForkJoinWorkerThread wt; ForkJoinPool.WorkQueue w;
        return (s = status) < 0 ? s :
            ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) ?
            (w = (wt = (ForkJoinWorkerThread)t).workQueue).
            tryUnpush(this) && (s = doExec()) < 0 ? s :
            wt.pool.awaitJoin(w, this, 0L) :
            externalAwaitDone();
    }
/**
* Primary execution method for stolen tasks. Unless done, calls exec and records status if completed, but 	 * doesn't wait for completion otherwise.
* Returns: status on exit from this method
*/
	final int doExec() {
        int s; boolean completed;
        if ((s = status) >= 0) {
            try {
                completed = exec();
            } catch (Throwable rex) {
                return setExceptionalCompletion(rex);
            }
            if (completed)
                s = setCompletion(NORMAL);
        }
        return s;
    }

Fork/Join框架的异常处理

ForkJoinTask在执行的时候可能会抛出异常,但是我们没办法在主线程里直接捕获异常,所以ForkJoinTask提供了isCompletedAbnormally()方法来检查任务是否已经抛出异常或已经被取消了,并且可以通过ForkJoinTask的getException获取异常。

public final Throwable getException() {//任务没有完成,或者没有抛出异常返回null
    int s = status & DONE_MASK;
    return ((s >= NORMAL)    ? null :
            (s == CANCELLED) ? new CancellationException() ://任务取消,返回CancellationException
            getThrowableException());
}

案例计算1+..+100

class MyTask extends RecursiveTask<Integer> {

    public static final Integer VALUE = 10;
    private int begin;
    private int end;
    private int result;

    public MyTask(int begin, int end) {
        this.begin = begin;
        this.end = end;
    }

    @Override
    protected Integer compute() {
        if (begin - end < VALUE) {//差值小于10
            for (int i = begin; i <= end; i++) {
                result += i;
            }
        } else {
            int middle = ( begin + end) / 2;
            MyTask myTask1 = new MyTask(begin, middle);
            MyTask myTask2 = new MyTask(middle, end);
            myTask1.fork();
            myTask2.fork();
            result = myTask1.join() + myTask2.join();
        }
        return result;
    }
}

public class ForkJoinDemo {
    public static void main(String[] args) throws ExecutionException, InterruptedException {
        ForkJoinPool forkJoinPool = new ForkJoinPool();
        MyTask myTask = new MyTask(1, 100);
        ForkJoinTask<Integer> joinTask = forkJoinPool.submit(myTask);
        System.out.println(joinTask.get());
        forkJoinPool.shutdown();
    }
}

只是为了记录自己的学习历程,且本人水平有限,不对之处,请指正。文章来源地址https://www.toymoban.com/news/detail-747849.html

到了这里,关于Fork/Join的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【JUC基础】16. Fork Join

    “分而治之”一直是一个非常有效的处理大量数据的方法。著名的MapReduce也是采取了分而治之的思想。。简单地说,就是如果你要处理 1000 个数据,但是你并不具备处理 1000个数据的能力,那么你可以只处理其中的 10 个,然后分阶段处理 100 次,将 100 次的结进行合成,就是最

    2024年02月08日
    浏览(50)
  • 原子类-入门介绍和分类说明、基本类型原子类、Join和CountDownLatch都可以让一个线程等待子线程完成

    Atomic翻译成中文是原子的意思。在化学上,我们知道原子是构成一般物质的最小单位,在化学 反应中是不可分割的。在我们这里Atomic是指一个操作是不可中断的。即使是在多个线程一起执 行的时候,一个操作一旦开始,就不会被其他线程干扰。 基本类型原子类 AtomicInteger :

    2024年01月20日
    浏览(39)
  • 【中间件-Openjob】高性能任务调度框架Openjob简介及快速搭建

    一款分布式高性能任务调度框架,支持多种定时任务、延时任务、工作流设计、轻量级分布式计算、无限水平扩容,并具有较高的可伸缩性和容错性,以及完善权限管理、强大的告警监控、原生支持多语言。 基础信息 中文官网 :https://openjob.io/zh-Hans/ 开源地址 :https://githu

    2024年02月12日
    浏览(63)
  • 这个框架真心可以!10分钟就搞定一个网站!

    最近有很多小伙伴问我:有没有能快速能搭建网站的框架。 首先我去尝试了低代码,快确实快,但是样式和功能确实差点意思。 偶然间,我发现一款神奇的网站框架:VuePress。 我尝试部署了下,然后一下爱上了它。我发现很多博主也都是用的这款框架搭建的个人的网站。 如果

    2024年02月05日
    浏览(38)
  • 重磅!苹果官方发布大模型框架:一个可以充分利用苹果统一内存的新的大模型框架MLX,你的MacBook可以一键运行LLaMA了

    本文来自DataLearnerAI官方网站: 重磅!苹果官方发布大模型框架:一个可以充分利用苹果统一内存的新的大模型框架MLX,你的MacBook可以一键运行LLaMA了 | 数据学习者官方网站(Datalearner) https://www.datalearner.com/blog/1051701871117729 苹果刚刚发布了一个全新的机器学习矿机MLX,这是一个

    2024年02月04日
    浏览(38)
  • Microdot是一个可以在micropython中搭建物联网web服务器的框架

    micordot英文官网 只要是支持micropython的设备都可以使用它 什么是Microdot?Microdot是一个受Flask启发的简约Python Web框架,旨在运行在 资源有限的系统,例如微控制器(esp32,esp8266)。它在标准上运行 Python和MicroPython。 [项目需要的所需的Microdot源文件代码](miguelgrinberg/microdot: The impos

    2024年02月03日
    浏览(44)
  • HTML5游戏引擎(一)-egret引擎简介——一个开源免费的游戏框架

    游戏行业发展迅速, 给程序员提供了大量就业 (斗鱼, 微派, 腾讯, 蓝月, 网易 等等) 游戏开发薪资普遍比较高 (王者荣耀 , 蓝月) 游戏已经普遍被大众所认可,并且发展成一种竞技体育 重点学习Egret Typescrit 语法学习 一笔带过Cocos2d-x Egret跨平台,入手容易,性能较好,更

    2024年02月05日
    浏览(75)
  • wpf C# partial关键字:把一个类分成几个

    将一个类、结构或接口分成几个部分,分别实现在几个不同的.cs文件中。 局部类型适用于以下情况: (1) 类型特别大,不宜放在一个文件中实现。 (2) 一个类型中的一部分代码为自动化工具生成的代码,不宜与我们自己编写的代码混合在一起。 (3) 需要多人合作编写一个类。

    2024年01月21日
    浏览(43)
  • 使用GitHub:创建仓库、提交更改、Fork一个仓库、同步Fork仓库。

    1、创建仓库 登录后——左上角“New”——Repository name(写入自己项目名称)——选中“Add a README file”——点击Create repository。 2、提交更改(提交一个对README文件的修改) (1)找到创建仓库的文件列表,单击README.md文件,点击编辑。输入用户所添加的信息:*。 (2)点击

    2024年02月12日
    浏览(52)
  • 关于如何将开源项目放入自己的git仓库(fork)并可以对开源版本的更新进行同步

    搞了一下午的同步无法将下载的开源项目代码与开源项目进行版本的更行。原来git进行更新时会对提交记录进行比较的。相同的提交记录才会同步的时候不会出问题,不然所有的代码都会一个个进行merge。 所以要将开源代码的git提交记录同步到自己的项目中来,这就用到了

    2024年02月06日
    浏览(62)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包