vsftpd 的性能问题

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 4213 days ago, the information mentioned may be changed or developed.

万能的v友，应该有不少玩过vsftpd吧？

我想请教一下，如果1k+台机器在10分钟~20分钟内将本机1M~10M大小的日志文件传到指定的ftp服务器上，vsftpd能扛得住吗？可能的瓶颈是磁盘还是网络还是CPU？

运行模式是通过guest虚拟用户登录，客户端通过python的ftplib上传

vsftpd

ftplib

磁盘

13 replies • 2014-11-24 23:23:12 +08:00

tftk

Nov 24, 2014

网络 io。

lecher

Nov 24, 2014

网络请求方面的业务，瓶颈在网络io的居多。
这个业务cpu基本没负载，磁盘10分钟1k＊10M的写入数据量也可以负担得起。
内存看vsftpd设置多大的内存缓冲区，有可能会爆内存。

AntiGameZ

Nov 24, 2014

瓶颈在ftp协议，个人建议rsync

shanks

Nov 24, 2014

@AntiGameZ 只有一个日志文件，也要用rsync吗？还是说rsync协议比ftp协议优越太多？

likuku

Nov 24, 2014

@shanks ftp 要登录要交互...rsync 可以用 ip 白名单就简单搞定。rsync 貌似也有不进行比对就直接上传的选项。

ctexlive

Nov 24, 2014

应该可以测试吧。如果只有一个日志文件应该比较快。
ftp最大的问题是多个小文件传输极慢。

lhbc

Nov 24, 2014 via iPhone

取中间值，15分钟，5M大小，1000台机器。
那15分钟要传5G文件，需要带宽45M，算上开销要50M以上
如果文件更大，需要带宽更高
磁盘应该问题不大，CPU完全没问题

herozzm

Nov 24, 2014

我感觉vsftpd不太稳定，经常无故断开，0KB

AntiGameZ

Nov 24, 2014

@herozzm vsFTPd 是个很好的 FTP Server，前提是 “FTP” Server

FTP 这个协议处理 LZ 的需求，真是不合适，交互带来的延迟不能忍

Theo14

Nov 24, 2014

问题肯定会出在网络IO上，同样觉得用rsync更合适，rsync有很多参数可以使用，限速的参数也有

bertram

Nov 24, 2014

用rsync比vsftp靠谱。既然是日志收集的活儿，怎么不用rsyslog, syslog这些专门工具呢

msg7086

Nov 24, 2014 via iPhone

我会建议用nfs？

ryd994

Nov 24, 2014 via Android

客户端加随机延迟，打散开