V2EX › iamtuzi3333 的所有回复 › 第 5 页 / 共 8 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8

❮

❯

2024-09-26 14:49:53 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

谢谢各位大佬啦，小弟现在把对应的集合建立了时间戳字段建立了索引，速度立马起来了，优化到几十 ms 级别的查询时间；至于性能这个问题，写入肯定是没有问题，MongoDB 确实很优秀，简单好用；目前唯一的问题就是确实吃内存，这个修改了配置文件的参数目前还是没有办法避免，这个空间换时间确实无法避免；小弟去年刚毕业，来的一家小公司，只有我是搞开发的，领导把整个项目都丢给我了，小弟经验不足，所以有很多不同的地方，还请各位大佬多多指教。

2024-09-26 14:46:44 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@abcfyk 一个集合 8 万多，有几百个集合。数据库暂时不换了，目前建了索引，发现速度快了。
@wupher 也关心数据，目前加了索引，速度起来了。
@fengpan567 没有用过。

@wenxueywx 还在调研中。
@iyaozhen 目前我知道插入不是问题，目前是查询较慢，现在建立了索引，快起来了。

2024-09-26 14:06:32 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@forschers 这个数据库第一次听，主要是存储方便，读取简单。
@brant2ai 第一次听，我查询看看这种。

2024-09-26 14:05:53 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@sospopo101343793 一个集合 8 万多，有几百个集合，一起同时写入。不是说性能不好，目前我是没有建立索引，尝试建索引看看效果，目前查询是全集合扫描。
@2686291180 第二个操作暂时不会，先尝试建立索引看看效果。

2024-09-26 11:58:41 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@otakustay 目前是没有索引，但是数据集合比较多，有几百个，
@wxf666 差不多是这个量，后续还会增加设备，采样率会变，就是这个精度会变，这样建立索引方便吗，
@Mithril 刚才 explain 一下，目前是没有索引，全扫，花了 16 秒，500 多万条文档，下午给字段 checkTime 加上索引试一试看看效果如果。

2024-09-26 11:33:52 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@sagaxu 真的吗，那我就开干了，可以在已经插入数据的情况再去建立索引吗

2024-09-26 11:08:34 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@wxf666 是的，浮点数据这个字段是一个数组，里面数量就看设备的采样率决定。查询需要翻找某一段时间的所有浮点数数据出来。
@sagaxu 主要是更新索引很耗资源，当集合文档数上百万的时候，这个时候维护索引估计很难，而且不止一个集合，有几百个传感器

2024-09-26 11:05:35 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@lancelock 有一个关键字段就是数组，里面有 200 个元素，就是拆除 200 个 key 对应 value 么
@LieEar 开源的 influxdb 想试试，刚看了一下，发现还行，就是要拆数据字段，不知道查询效果怎么样，比如说多传感器能不能多表存储，就一个传感器一张表

2024-09-26 10:55:32 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@sagaxu 数据不是追加的，每秒都会有新的数据入库，设备数据采集频率很高，所以数据很多，比如说 200Hz ，就说明每秒都有一条数据出来，其中的 data 数组就存储了 200 个浮点数，这种情况下如何编写索引，遍历随着数据量增长，到后面基本没办法找去年的数据出来了。

2024-09-26 10:53:40 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@sunxvvv 现在有一个字段是 int 整形，存储的是当前时间戳的值，每条写入的时候都有会，这样子适合建立吗，真实查询数据的场景不是很多，偶尔需要查询。
@halov 直接占了快 60G ，同时他的 mapper file 会持续上涨，备用内存全是这个内容，导致可用内存最后剩下不到 100M ，服务器 192GB 的内存都给干满了。
@Mithril 是的，不涉及修改，就是现在数据入库我为了查询方便，就加了一个字段，这个字段存的值就是当前时间戳的值。
@encro 唉，难受，这个确实没办法完美解决，而且其他数据库适合存的情况下接口又不方便。哭了

2024-09-26 10:39:24 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@celaraze 我先搜一下，只有我一个人，顶着公司走，难受。。。
@Desdemor 似乎接口有点复杂，我先看看。
@zhazi 好的，我先去试试优化，其实 MongoDB 存是非常的方便，就是吃内存很严重，即使修改了配置文件的内容。

2024-09-26 10:28:51 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@yoyolichen 数据字段是一个值吗，就一个时间字段映射一个值？现在麻烦的就是字段特别多，不同的类型也多，有数组这些。

2024-09-26 10:24:51 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@celaraze 数据是 loT 。但是时序数据库一个麻烦的点就是我没有找到有很好的字段支持，很多时序数据库都是一个时间点对应一个值，我的数据字段比较多，还有数组类型在里面，不好处理。
@seedhk 时间戳的值会一直变，这样索引更新不是更加消耗资源吗，单表数据量目前是 600 多万条文档了，每天 8 多万增加。

2024-09-26 10:22:15 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@corcre 一个点位的一个数的话时序数据库很方便，但是数据就很麻烦，我之前找过 influxdb ，感觉不太行。

2024-09-26 10:13:10 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@celaraze 文档的字段都是一致的，估计是，因为文档数量非常的多，每秒一条，一天有 8 万多条了。

2024-09-26 10:12:20 +08:00

回复了 iamtuzi3333 创建的主题 › 数据库 › 大佬们，想请教一下数据库设计

@celaraze 索引没建立，我是按照一个时间戳字段去查询，这个值一直在变，没法用索引吧。
@flmn 我查一下这个。

2024-09-23 15:23:39 +08:00

回复了 iamtuzi3333 创建的主题 › MongoDB › 大佬们，大问题请教，内存占满

@juvenn 我目前就是使用的 WiredTiger 引擎，然后数据模型都是 JSON ，插入的时候我特地转为 JSON 插入，查询的实时性要求性不高，现在招人初步判断就是因为写入数据速度太慢，跟不上接收数据的速度，导致全部堆积在内存中。

2024-09-20 16:20:17 +08:00

回复了 iamtuzi3333 创建的主题 › MongoDB › 大佬们，大问题请教，内存占满

@Haku 参数都按不死，疯狂吃，吃的只剩下十几 M 可用，内存一看全是映射文件占着茅坑。

2024-09-20 15:53:22 +08:00

回复了 iamtuzi3333 创建的主题 › MongoDB › 大佬们，大问题请教，内存占满

@AlanBrian 现在这个 MongoDB 用的社区版本，然后是 Window server 服务器，就是直接启动。
@Moyyyyyyyyyyye 小公司就一台服务器，没办法。
@xsi640 时序我看了一番，没发现有很合适的，主要是字段不方便存，很多时序数据库都是支持字段单值存储，我的数据字段重点是一个数组。

2024-09-20 15:03:26 +08:00

回复了 iamtuzi3333 创建的主题 › MongoDB › 大佬们，大问题请教，内存占满

重要的业务场景就是存储不同传感器设备数据，保障完整性，可用性，然后一个需求就是能够方便查询数据，这也是我为什么想单个传感器单表存储，传感器数量多，数据比较高频，字段比较多，有没有大佬指点一下这方面改用啥时候好用一点，后台用 nodejs 或者 Java 写查询功能多一点。目前公司就我一个人顶着，有点难顶，还请各位大佬指教，服务器用的 Window server ，华为云服务器，配置不会太差，此前有个项目有 600 多个传感器，也用的 MongoDB ，一启动内存就慢慢被占用满，导致可用内存越来越少，影响其他项目运行。数据除了存库还有个写入文件保存，目前初步排查是因为写入速度跟不上接入速度，导致数据跟文件全部堆积在内存中。

1 2 3 4 5 6 7 8

❮

❯