go 语言，用的 gorm 表格内没有建立任何索引，共计 55 个字段。
插入之前把多条数据组成一条插入语句insert into values()，最多 2100 个参数。
用事务和批量插入插入数据，每个事务插入 1w 条数据提交一次。
我们通常一批数据 30w，下来要 30 分钟，感觉很慢，且插入期间该表格无法进行其他操作。
想问问各位，这是 sqlserver 的性能问题，还是我操作问题，是否有更优的办法？
This topic created in 2379 days ago, the information mentioned may be changed or developed.
Supplement 1 · Dec 4, 2019
2100 是 sqlserver 对语句参数个数的限制，试过减少插入参数的数量，但速度没提升
表格是一份流向数据，能独立出来的都已经独立出来了
总结一下解决办法：
1.监控和分析现有插入方法，看能否优化
2.换库尝试（已试过 xorm,性能差不多）
3.导入文件，批量插入
在此谢过各位 v 友了
表格是一份流向数据，能独立出来的都已经独立出来了
总结一下解决办法：
1.监控和分析现有插入方法，看能否优化
2.换库尝试（已试过 xorm,性能差不多）
3.导入文件，批量插入
在此谢过各位 v 友了
Supplement 2 · Dec 5, 2019
已解决,用了 go-mssqldb 库的 bulkCopy
35w 条数据用时 20 秒
35w 条数据用时 20 秒
 |
1
gamexg Dec 3, 2019  1
|
 |
2
tomczhen Dec 3, 2019 via Android
都用 MSSQL 了，配套的企业管理器了解一下，查询分析器了解一下，自己看执行计划不就好了。
再说还有 SQL Profiler，别开源产品用太习惯了，不去用这些配套工具啊。 |
 |
5
superrichman Dec 3, 2019
2100 个参数. 我很好奇这是什么表要这么多参数的?
|
 |
6
fox0001 Dec 3, 2019
用 insert 语句插入是超级慢的，一般我直接用 excel 或 csv 导入
|
 |
7
mituxiaomanong Dec 3, 2019 via Android
sqlbulk 了解一下？ 30 万数据 10 几 20 秒即可
|
|
8
mituxiaomanong Dec 3, 2019 via Android
批量插入用你那个方法 数据多了，肯定不好
|
 |
9
zjhui Dec 3, 2019 via Android
sqlbulk 适合大批量插入
|
 |
10
reus Dec 4, 2019
直接导入啊
|
 |
11
kiracyan Dec 4, 2019
怎么会有这么多参数.
|
 |
12
kidexp Dec 5, 2019
应该是 mssql 的问题 之前用 python 也遇到相同的情况 mssql 好像有专门的 buck insert 的工具可以试试哪个
|
Select Language