更新时间:2023-02-17 来源:黑马程序员 浏览量:
在数据大小比内存空间还要大的时候，怎么去读取数据呢?今天笔者就来分享一下解决这个问题的使用方法。常见的有两种思路：
思路一：可以分多次来读取，也就是说通过生成器的方式，单次读取数量比较少的数据(例如按500MB计算)进行处理，这次处理完后再去读取后面的500MB数据。
思路二：Linux常用命令之一的split可以将文件进行切割，然后再进行数据处理，这个方法的效率相对来说会更高。既可以按照文件大小进行切割，也可以按照文件行数来切割。处理完毕后，在Linux下使用cat命令来对文件进行合并。
JavaEE
鸿蒙应用开发
HTML&JS+前端
Python+大数据开发
人工智能开发
AI+设计
软件测试
新媒体+短视频
集成电路应用开发
AI+Linux云计算运维
.jpg)