JAVA读取很大的TXT文件(上百G)
java1234
共 1409字，需浏览 3分钟
·
2020-12-28 03:29
点击上方蓝色字体，选择“标星公众号”
优质文章，第一时间送达
作者 | UnmatchedSelf
来源 | urlify.cn/NNBN7n
当文件过于大的时候我们如果还用传统的方式读取很容易造成内存满我们应该拆开读取：
用NIO方式把大文件分成固定大小的小文件（小于2G，自己综合分析设置多大，每个文件太大容易浪费空间，太小浪费时间），然后再循环用方案1去读每个小文件。
public static void readLargeTextWithNIO() {
try {
long startTime = System.currentTimeMillis();
// 要读取的文件
FileInputStream fin = new FileInputStream("/Applications/demo/aaaa.txt");
FileChannel fcin = fin.getChannel();
// 文件过大拆分成 128M 大小的txt文件
ByteBuffer buffer = ByteBuffer.allocate(128 * 1024 * 1024);
while (true) {
buffer.clear();
int flag = fcin.read(buffer);
if (flag == -1) {
break;
}
buffer.flip();
// 输出到指定的位置
FileOutputStream fileInputStream = new FileOutputStream("/Applications/demo/"+ UUID.randomUUID().toString()+".txt");
FileChannel channel = fileInputStream.getChannel();
channel.write(buffer);
}
long endTime = System.currentTimeMillis();
System.out.println(" 共消耗:" + (endTime-startTime) / 1000 +"秒");
// 分割成了 每一个文件 大小是 128M, 然后在用传统的方法去读取即可
} catch (Exception e) {
}
}
粉丝福利：Java从入门到入土学习路线图
???
?长按上方微信二维码 2 秒
感谢点赞支持下哈 
评论