海量数据存在 cloudflare r2 对象存储中，要回传到国内阿里云、腾讯云等对象存储 每个月的量挺大，差不多 5-10PB ，有量大管饱的便宜的拉取方案吗？
预算每个月几千美金
目前想到方案是买一批不限流量的 G 口服务或一堆小的 vps
第 1 条附言 · 20 小时 48 分钟前
拿一个美国独服做了一下测试，普通线路
1G 的独立带宽，回传速度只有几百 K 到几 M
所以普通线路的大带宽独服是不行的
1G 的独立带宽，回传速度只有几百 K 到几 M
所以普通线路的大带宽独服是不行的
 |
1
MFWT 2 天前  3
这样的数据量，建议还是物理寄送存储设备比较好
|
 |
2
yjsdaniel 2 天前
肉身搬运的带宽更大。
|
 |
3
kidtx 2 天前 via iPhone
物理吧 虽然写的不限量 但是 pb 级的很可能违反 tos 被干
|
 |
4
wujinyiwjy 1 天前 via iPhone 1
老哥咱这边要是考虑代理商的资源的话 可以看看我主页帖子还有联系方式的呀 可以给咱这边出个方案聊聊看的呢 折扣也给咱这边尽量争取
|
 |
5
mytsing520 PRO 建议在阿里或腾讯开工单咨询
虽然物理寄送比较好，但是 CloudFlare 的话，还真没遇到过 |
 |
6
zyq2280539 1 天前
都 PB 级别买大容量硬盘发快递回国吧。
|
 |
7
chen88ijn 1 天前 via iPhone
这么多资源吗
|
 |
8
KenGe 1 天前
如果你要跑 5PB/月，你至少需要准备 20Gbps 的国际互联带宽。
如果你要跑 10PB/月，则需要 40Gbps 甚至更高的国际互联带宽储备。 可以留个联系方式讨论下方案？ |
 |
9
dianso 1 天前
邮寄硬盘，但是花费也不小，我之前有 188TP 的数据。
走的是 CF 的企业通道。 就是当时联系的中国客服，开的 3000 刀的 CDN 服务，可以用中国区。 然后慢慢下载。 |
 |
11
fortytwo 1 天前
物理寄送最便宜了
|
 |
12
Oni 1 天前
这个量能把很多商家的大陆方向口子直接打满
|
 |
13
bugcoder 1 天前
几千美金可以头等舱来回
|
 |
14
rb6221 1 天前
不 er ，你这种量的跨国数据传输，不会被信息安全部门审查吗？就算是肉身搬运，不用经历各种漫长的审批渠道吗？
|
 |
15
folnet 1 天前
拉条专线到本地腾讯云
|
 |
16
allplay 1 天前
这也算是月经贴吧。每次这种月经贴写都会有人告诉你：物理搬运
|
 |
17
fstab 1 天前
|
 |
18
sayyiku 1 天前
直接开对应云的工单之类的，让他们给你取回，像阿里和 cf 是数据联盟。你这么大量他们有单独的方案
|
 |
19
realpg PRO 这个预算 2PB 没啥问题 再往上不是技术原因 是管理成本暴增
之前搞过的不是 CF R2 是 AWS 的对象存储 1~2PB/月 而且要看你这单文件大小 是什么格式文件 5PB 这预算兜不住的 你可以忽悠忽悠阿里云的直营销售 至少他们发现亏本以前 能低价解决几个月 |
|
20
realpg PRO 19
@fortytwo #11
@zyq2280539 #6 @kidtx #3 @MFWT #1 各位是不是看快递硬盘的故事看多了... 这个数据量 跨国 邮寄硬盘一点也不便宜 假设 20TB 硬盘 5PB 数据量为 250 块 约 180KG 假如按美国算 毕竟他用美元单位 折扣运费大约人民币 1500 美元 20TB 硬盘 按正规企业采购价 就算他 6000 元一块 价格约 150 万人民币 约 18 万美元 跨境是没法保税的, 你进境要关税增值税申报, 而且你想循环起来重复利用也难 而且还有一个重大问题, 数据源在 R2 上 你从 R2 弄到硬盘里 周期可能都得按月计 而且基本要求每次提供新硬盘或者干脆是云厂商提供硬盘你付钱 然后到了国内 5PB 硬盘你把数据弄到云上 这个成本你核算过吗? 阿里云腾讯云一个月能给你导完吗? 然后, 运输过程中假如有一块两块硬盘坏了 这个怎么做预案? 当文件真的多了, 快递硬盘只是"理论带宽大" "实际带宽"一点也不大 我为什么知道? 因为我干过大卡车运硬盘... 最后结论是 不如网络传输一点点 |
 |
21
bullfrog 1 天前
r2 本来就流量免费，阿里云入站免费，直接申请一堆阿里云的小 vsp 分包下载就完啦，让 ai 给你写个脚本
|
 |
23
kingba 1 天前
假如 10T 每月，那带宽至少要达到 50Gbps
中国大陆的总出口带宽是 40T （大模型说的）=40000Gbps 也就是说为了满足你的需求，你可能会占用全国总出口带宽的千分之一？？？ |
 |
25
SilencerL 1 天前
😅这数据量要是人肉运输，不止楼上的成本问题，而且 100% 会触发中美（假设从美国运回来）的数据出入境审查，并且是完全无法解释的巨大数据量，没有任何法务会同意这种方案，拿刀架脖子上都不敢签字
|
|
26
realpg PRO 1
@Rnreck
有的, 要根据实际情况做方案 不能直接套公式 有些场景就是无解的 比如你有 1PB 的文件要传, 单文件<20KB 而且, 这是最核心的挣钱的地方... 不要指望动动嘴就能获得价值六位数的技术方案 有的时候 运硬盘也是最优解 要不我怎么知道运硬盘的事儿 各种方法都有各种方法的适用范围 全部要定制 |
|
27
realpg PRO 2
|
|
29
realpg PRO @SilencerL #25
其实触发不了, 没人管的, 你着急走 UPS 快递进境申报的也只是硬盘而不是数据. 你不着急走集装箱那申报就更邪门了, 货代各种歪门邪道的申报法, 他们对缝的很多都给你拼到跨国公司的附加申报, 因为你没有支付采购外汇, 这是半残交易, 所以大部分无货款的找货代申报的话, 他们给你拼到一些外企的设备流动里他们还能挣一大堆差价 如果你走个人, 那这个体量, 申报大概率也进不来, 会被退运. |
|
30
realpg PRO 1
@levelworm #28
难者不会, 会者不难, 外部风险较大(主要是方案有可能在真实世界并不 work) 外部风险如果甲方协同分担, 那可以便宜, 甲方不承担一点风险, 搞不定就退款, 风险全部乙方承担, 那服务费就很贵 |
 |
32
saranz 1 天前
你这个，还是和 Cloudflare 的客服联系一下看看能不能弄到物理硬盘吧。
如果在线回传，时间久不说，成本也高。 |
|
33
realpg PRO 2
@levelworm #31
没任何法律上的问题 觉得这个简单的 可以自己试试就知道难不难了 除非他是单文件 TB 级 总共就没几个文件 而且他是每个月累计 5PB 流量 可没说是要等你冷传输 大概率人家是要很快同步过来的 CF 上的文件 几小时内就得到国内 是这个工作累计每个月 5PB 流水滚动 而不是 现在有 5PB 死文件 你一个月内给我搬回来 |
 |
34
miniliuke 1 天前
理论带宽 4w 打满的......这还是跨洋网络，够呛，估计还是得物理搬运
|
 |
35
steven0018 1 天前
专线肯定需要的，下行带宽费用肯定免不了，需要配合托管物理机+专线的方案，这样才有可能成本比较低，有需要的话可以具体沟通下
|
 |
36
mengyx 1 天前
比较稳定的方式是开 IEPL 专线+IX/PNI ，整体成本可以比走互联网低不少；
我们在国内与阿里、腾讯有＞ 100Gbps 的互联；在香港与 Cloudflare 的互联、IEPL 的容量也可以按需提升到 100Gbps ； 有需要了解的话可以联系 ```bash echo "V2VDaGF0OiBjbi1taXgK" | base64 -d ``` |
 |
38
iseki 1 天前 via Android
我看现实世界中的快递硬盘服务，基本上都是云厂商上云附带服务。
|
|
39
realpg PRO 1
@iseki #37
我给你举个例子, 阿里云 OSS 上 10PB 的小碎文件, 你告诉阿里云你要导出到硬盘, 一个月都不一定能存到硬盘里, 且不说运输, 从他们的存储集群到你的硬盘, 一个月都不一定能导完 |
 |
40
shmilypeter 1 天前
我能想到的是你公司开发一个客户端软件，类似于 QQ 或者 360 ，并且占领一定的市场，你把 cloudflare r2 上的分卷压缩让美国那边的客户端下载，按照 10PB 也就是 10240T 来算，每个用户 102.4M （每个用户直接给干 1T 流量太明显了），那么你需要十万个用户。假设你中国那边也有十万个用户。你可以让美国那边十万个用户点对点传给中国那边十万个用户，然后在中国那边十万个用户自动传到你的服务器，分片合并。
就是如何让中美两边都有十万用户量是一个问题。 或者你能搞一万台手机一万个账户，一个账户传 1T 也行。一万台手机估计一个大 house 放不下，管理起来难度也颇大，并且为了账户不被封，还不能用一个 IP 的。 |
|
41
shmilypeter 1 天前
@realpg 我算错了，0.1T 是 102.4G 不是 102.4M ，脑子昏了，每个用户偷跑那么多流量，那么客户端只能是快播之类的了，并且即便是快播一个人一个月也看不掉 0.1T ，在美国十万用户级别那都是很恐怖的量了。
你要是每个月 5-10PB 的量的话，在这个网站免费问到答案的可能性不大，AI 也不靠谱，你真敢中美搞一万个账户搞喵喵池子，恐怕会进去，总归还是挺难办的。 |
 |
42
l1ve 1 天前
WTF ？这问题
腾讯云/阿里云都在 Cloudflare 的带宽联盟中，具体结算方式肯定比市场价低几个数量级 我记得境外部分的流量应该是互免的(腾讯云有一定门槛，好像 100TB) 直接找他们的商务，这个级别的已经可以让他们负责迁移了 |
 |
43
rrfeng 1 天前
每个月 10PB ？？你造嘛呢？
|
 |
44
seenthewind 1 天前
不太可能了，数据量太大了。
现在数据方面的玩法也不一样了，你如果不太懂法的话，可以理解下相当于数据世界发送了大清亡了这样的变革。 按以前的说法是找几个盘，打个飞滴，几天搞定，但现在你揣着这种盘跑一趟，有可能佛波了会把你抓起来坐 lao 。 传输也不是不行，但是数据量太大还是比较明显。 建议精简下数据，别整这么多了，小部分然后从网络蚂蚁搬家。 |
 |
45
hanxu317138 1 天前
找阿里云实施. 只要消费够. 人家去帮你搞定
|
 |
46
haorrs 1 天前
找国内云的人给你搞方案就好了。从他们的海外节点转一下。
|
 |
47
lbunderway 1 天前
这么大的数据啊 我所接触过的就 fil 封装 每天有几十个 t
|
 |
48
xkeyC 1 天前
oss cos 之类的都支持回源访问，即访问一个 url ,文件不存在时去一个指定 url 前缀下载。
把 r2 桶导出个 lsit ，然后 http head 全访问一遍（ |
 |
49
GodIsJasonBourne 1 天前
@realpg 为什么这种离线数据离境，会没有法律上的问题呢？我主要觉得美国肯定会审查吧？
|
 |
50
likooo125802023 1 天前
话说你们搬数据
CF 云上的，你把数据从云上导到当地的硬盘上，这数据量大的我感觉就不太靠谱啊。 |
 |
51
Actrace 23 小时 55 分钟前
这个数据量，头部 AI 企业搬运训练数据吗。
|
 |
52
byweilong 23 小时 52 分钟前
我们是买 vps ，直接传回阿里的国内桶，日峰值带宽十几个 Gbps ，几年了也没封过
|
 |
53
dolee 22 小时 43 分钟前
没点进来以前，我以为是几 TB 的事，还想着说搞个大宽带服务器就解决了，点进来后……我承认是我想多了
|
 |
54
vopsoft 22 小时 16 分钟前
题外话 5PB 存阿里云上要多少钱
|
 |
55
ggabc 22 小时 13 分钟前
买云盘的会员吧
|
|
56
realpg PRO 1
@vopsoft #54
1PB 2~4 万每月 @Actrace #51 我上次接类似的活的客户自动化搬运 youtube 4K 视频 流水线 AI 翻译 打字幕 然后分号投国内平台, 人工打切片, 半自动的内容工厂... 他们虽然流量大 但是视频文件总数相对少 所以成本就低 且实时性要求可以容忍延迟 1 天回来 但是不能堆积 他们不是 cf 是 aws 的有地域存储,很好优化, cf 是无地域对象存储, 你根本没法保证冷数据能很快拉回来, 冷数据可能给你丢印度节点去, 下载速度几十 KB/s @dolee #53 看文件构成 要是大文件 其实会玩的普通服务器就解决了 @likooo125802023 #50 所以都是些自己觉得很聪明的.. 我们曾经搬过 1PB 的阿里云 oss 碎文件 阿里云发硬盘 每 200TB 数据从 oss 导到硬盘就得导 1 周... 阿里云之前应该是被撸过, 单次导出 oss 到硬盘只支持 200TB(20TB*10) 且不说每次得 150 万人民币的硬盘周转钱..国内卖出还得损耗 @shmilypeter #41 ↑ && ↓ 免费得不到不是因为我不说, 是因为这种都要根据实际文件大小, 存储情况, 高度定制方案, 没有任何通解. @GodIsJasonBourne #49 你不申报谁知道你是数据离境啊, 大哥你出口的是硬盘啊, 报关单也没有"数据"这一选项 你太小看"国家"这个体量有多大了, 几百块硬盘的出口要是上面都事无巨细的监控, 行政体系早崩溃了, 这玩意正常运输都按吨算的 目的地是中国, 是一次性硬盘中国入境, 中国的现行海关政策也不支持短期进境再出去的免税, 旧硬盘进不来中国(禁止洋垃圾进口政策), 新硬盘进来就是视同对方销售, 13%增值税, 0%关税, 都是一次性的, 一个月 150 万人民币的硬盘采购钱, 到了国内你想套现还得折价出, 这种 used hard drive 你能回收几个钱 你国内不付硬盘采购钱, 货代大概率是给你拼到别的贸易里进来, 尤其是电子相关的比如跨国企业几种采购分配(早年 IBM 那种你买个电脑买个鼠标都是美国公司买给你邮寄中国分公司来)的补单, 否则三流不一致的, 是有退运风险的. 这种货代还有套利空间 |
|
58
realpg PRO |
 |
60
lasuar 20 小时 40 分钟前
由此可见，v2 的大部分人也都是半斤八两的口嗨级别，你这个上了规模，就需要找专业人士咨询，出了问题需要有人兜底。
|
 |
61
Twelveeee 20 小时 1 分钟前
好奇，蹲一个实际解决方案。
我看阿里云的离线传输文档: https://help.aliyun.com/zh/data-transport/product-overview/billing-description 也得 单次 1PB 24000 rmb/45day |
 |
62
cigarzh 18 小时 43 分钟前
搞一堆 DMIT 往回拉
|
 |
63
DGideas 18 小时 40 分钟前
搜了一下上边的评论，还是没有那句经典的话
> 永远不要忽略一辆载满磁带的在高速公路上飞驰的卡车的带宽 来自 Modern Operating Systems (3rd Edition) |
 |
64
julyclyde 16 小时 4 分钟前
硬盘显然不现实啊
如果数据已经在硬盘上了，倒是可以考虑。现在是数据在云，你难道要在境外先下载到硬盘、然后再运输吗？ 还得考虑这边要重新上传呢，要两倍传输时间+物流破损风险 |
|
68
mytsing520 PRO 我呢，刚刚又想到一个馊主意
CF R2 -> 阿里云（美国） -> 阿里云 OSS （传输加速） -> OSS 中国存储 多了一笔传输加速的费用，但你这个数据量，和阿里云应该有的谈 |
Select Language