关闭后如何重用线程池

东南 :

我有一个.csv文件,其中包含超过7000万行,其中每行将生成一个Runnable,然后由线程池执行。此Runnable将一条记录插入Mysql。

此外,我想记录csv文件的位置,以便RandomAccessFile定位。该位置被写入File。我想在线程池中的所有线程完成时写入此记录。因此调用ThreadPoolExecutor.shutdown()。但是,当更多行出现时,我又需要一个线程池。我该如何重用当前的线程池而不是创建一个新的线程池。

代码如下:

public static boolean processPage() throws Exception {

    long pos = getPosition();
    long start = System.currentTimeMillis();
    raf.seek(pos);
    if(pos==0)
        raf.readLine();
    for (int i = 0; i < PAGESIZE; i++) {
        String lineStr = raf.readLine();
        if (lineStr == null)
            return false;
        String[] line = lineStr.split(",");
        final ExperienceLogDO log = CsvExperienceLog.generateLog(line);
        //System.out.println("userId: "+log.getUserId()%512);

        pool.execute(new Runnable(){
            public void run(){
                try {
                    experienceService.insertExperienceLog(log);
                } catch (BaseException e) {
                    e.printStackTrace();
                }
            }
        });

        long end = System.currentTimeMillis();
    }

    BufferedWriter resultWriter = new BufferedWriter(
            new OutputStreamWriter(new FileOutputStream(new File(
                    RESULT_FILENAME), true)));
    resultWriter.write("\n");
    resultWriter.write(String.valueOf(raf.getFilePointer()));
    resultWriter.close();
    long time = System.currentTimeMillis()-start;
    System.out.println(time);
    return true;
}

谢谢 !

布鲁诺·里斯(Bruno Reis):

文档中所述,您不能重复使用ExecutorService已关闭的。我建议您不要使用任何变通方法,因为(a)它们可能无法在所有情况下都按预期工作;(b)您可以使用标准类来实现所需的目标。

你必须

  1. 实例化一个新的ExecutorService要么

  2. 不终止ExecutorService

第一个解决方案很容易实现,因此我不再赘述。

第二,由于您要在所有提交的任务完成后执行一个动作,因此您可以查看ExecutorCompletionService并使用它。它包装了一个ExecutorService将执行线程管理的对象,但是可运行对象将被包装为一个内容,这些内容将告诉ExecutorCompletionService它们何时完成操作,因此它可以向您报告:

ExecutorService executor = ...;
ExecutorCompletionService ecs = new ExecutorCompletionService(executor);

for (int i = 0; i < totalTasks; i++) {
  ... ecs.submit(...); ...
}

for (int i = 0; i < totalTasks; i++) {
  ecs.take();
}

take()上的方法ExecutorCompletionService将阻塞,直到任务完成(正常或突然)。它将返回Future,因此您可以根据需要检查结果。

希望这对您有所帮助,因为我还不完全了解您的问题。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章