V2EX › sealinfree 的所有回复 › 第 4 页 / 共 4 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4

❮

❯

2022 年 11 月 30 日

回复了 sealinfree 创建的主题 › Go 编程语言 › 求教 os.readfile 内存溢出的问题

@lysS 1 、截取了片段代码，部分是为了表达清楚逻辑构造的。
2 、最开始返回的 str ，但是内存溢出，就不断尝试调整
3 、实际使用的是带分区读写锁的 map ，还是为了逻辑简单直接构造了一个 map
4 、服务器内存比较大，直接读取实测速度更快，就改为这个版本了
5 、该函数底层就是 path.Join ，只是因为路径比较复杂，要动态获取，单独封装了一个函数
6 、指针引用再搭配分区 map ，会产生一些不可预料的修改错误，所以还是用值传递比较多了

最后，使用 string()转换不能解决溢出问题，使用 strings.clone 深拷贝才可以

2022 年 11 月 30 日

回复了 sealinfree 创建的主题 › Go 编程语言 › 求教 os.readfile 内存溢出的问题

@swulling 是的，之前不明白此处该使用深拷贝，这次学习了

2022 年 11 月 30 日

回复了 sealinfree 创建的主题 › Go 编程语言 › 求教 os.readfile 内存溢出的问题

@rrfeng 谢谢指导，因为数据最终要放到内存作为常驻缓存，所以逐行读取和一次性读取区别不大；切分处理速度比顺序处理快 6 倍，配置是 12 核心 24 线程虚拟机，也是优化过才成了这个样子，第一版是流式顺序处理，载入一次 1G 文件要 1 分钟多，无法忍受，改为多线程变成 10-16 秒了

2022 年 11 月 29 日

回复了 sealinfree 创建的主题 › Go 编程语言 › 求教 os.readfile 内存溢出的问题

@yin1999 问题解决，内存稳定了，感谢

2022 年 11 月 29 日

回复了 sealinfree 创建的主题 › Go 编程语言 › 求教 os.readfile 内存溢出的问题

@yin1999 #6 有道理！感谢！受教了，我改好上线跑一段时间看看

2022 年 11 月 29 日

回复了 sealinfree 创建的主题 › Go 编程语言 › 求教 os.readfile 内存溢出的问题

@yin1999 #3 感谢指点，我改下试试

2022 年 11 月 29 日

回复了 sealinfree 创建的主题 › Go 编程语言 › 求教 os.readfile 内存溢出的问题

@Maboroshii #1 线上系统 pprof 比较了 6 个小时间隔的内存数据，这部分增长了 3G 的内存

2022 年 9 月 21 日

回复了 zhonj 创建的主题 › 宽带症候群 › 50 人小型公司网络如何建设需要采购啥设备

坐标成都，mikrotik 全线产品考虑下，主路由 5009 ，交换机华为二手 24-48 口*2 ，ap hap ax2 、hap ac2 、hap ac3 * 6-8 ，设备预算可以控制在 5000 以内，其他费用可以提供 1-2 年远程或上门维护，提供日志、域名关联白名单、钉钉关联告警，网络结构可以弹性扩容，主路由 5009 可支撑 200-400 设备，同时可以解决 sdwan 组网问题，提供独立开发的控制面板 RosZ 云路由 rosz.cn

2022 年 9 月 21 日

回复了 haihaishuaige 创建的主题 › 问与答 › 现在你们的生日都是怎么过的？

生日快乐！！！

2022 年 9 月 17 日

回复了 Slogen 创建的主题 › 职场话题 › 女生，成都，数据分析， offer 求选择

B ，因为感觉 A 的背景有点复杂，不能保证 A 老板说的都是事实，而 B 的情况比较清楚

2022 年 8 月 28 日

回复了 a33291 创建的主题 › 程序员 › 哦豁,喜提中度脂肪肝

@necomancer 那程序员岂不值钱了？按 g 算钱，雄起

2022 年 8 月 27 日

回复了 a33291 创建的主题 › 程序员 › 哦豁,喜提中度脂肪肝

我也有，控制饮食，减少热量摄入，锻炼身体，半年左右就没了；
暴饮暴食，管不住嘴，几个月又有了；
反反复复，综上所述，关键还是自律，一起加油！不用过度焦虑，只要血脂肝功指标稳定在健康范围内，先控制饮食增加运动量调节下！

1 2 3 4

❮

❯