超大excel文件读，避免内存溢出

最新推荐文章于 2026-02-25 17:52:45 发布

原创最新推荐文章于 2026-02-25 17:52:45 发布 · 1.5k 阅读

本内容遵循CC 4.0 BY-SA版权协议

文章介绍了如何处理40MB大小的Excel文件导致的内存溢出问题，通过引入ApachePOI库和xlsx-streamer组件，采用流式读取方式，设置行缓存和缓冲大小，实现了高效且内存友好的大文件读取。代码示例展示了如何遍历文件，查找特定内容并打印。

excel40M+，但是用传统的读取excel方法，会报内存溢出的错误。

所以采用了下面的方式，能解决此问题：

maven依赖

<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi</artifactId>
    <version>4.0.0</version>
</dependency>
<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml</artifactId>
    <version>4.0.0</version>
</dependency>
<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-scratchpad</artifactId>
    <version>4.0.0</version>
</dependency>

<!-- 读取大量excel数据时使用 -->
<dependency>
    <groupId>com.monitorjbl</groupId>
    <artifactId>xlsx-streamer</artifactId>
    <version>2.1.0</version>
</dependency>

代码：

import com.monitorjbl.xlsx.StreamingReader;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;

import java.io.FileInputStream;
import java.util.ArrayList;
import java.util.List;
import java.util.Locale;

public class Main {
    public static void main(String[] args){
        try{
            FileInputStream fis = new FileInputStream("D:\\d\\2023财年\\新疆\\a.xlsx");
            Workbook wk = StreamingReader.builder()
                    .rowCacheSize(100)  //缓存到内存中的行数，默认是10
                    .bufferSize(4096)  //读取资源时，缓存到内存的字节大小，默认是1024
                    .open(fis);  //打开资源，必须，可以是InputStream或者是File，注意：只能打开XLSX格式的文件
            int sheetNums = wk.getNumberOfSheets();
            System.out.println(sheetNums);
            List<String> sheets = new ArrayList<>();
            for(int i = 0 ; i < sheetNums;i ++){
                Sheet sheet = wk.getSheetAt(i);
                String sheetName = wk.getSheetName(i);
                //遍历所有的行
                for (Row row : sheet) {
                    StringBuilder sb = new StringBuilder();
                    //遍历所有的列
                    for (Cell cell : row) {
                        sb.append(cell.getStringCellValue().replaceAll("\\s+", "").toUpperCase(Locale.ROOT) + ",");
                    }
                    if(sb.toString().contains("模型名称")){
                        sheets.add(sb.toString().replaceAll("模型名称:", "").
                                replaceAll("模型名称：", "").replaceAll("表名：", ","));
                    }
                }
            }
            for(String data: sheets){
                System.out.println(data);
            }
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}

标签