依赖关系搞死人啊 - V2EX

Home Sign Up Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3971 days ago, the information mentioned may be changed or developed.

昨天有一段代码，自己机器上正常，放到线上就挂了
OAuth1 client的程序，用requests-oauthlib依赖oauthlib

我自己机器上oauthlib==0.7.2 以前装的旧版本；线上服务器pip下载1.0.0
结果发现其中signature.py内容改了，算法用pyjwt库实现，但oauthlib本身不强制依赖pyjwt，而是oauthlib[signedtoken]才依赖pyjwt，坑死人

然后，装吧，又发现pyjwt依赖的cffi现场编译需要libffi-dev库。真是……最后定稿是给线上也用旧的oauthlib==0.7.2

转到新岗位才7个工作日就搞出19分钟大事故。唉～

31 replies • 2015-07-25 05:26:11 +08:00

1

realpg

PRO

Jul 23, 2015

我不是搞python的，对你说的问题细节不太清楚

我只有一个问题

为啥你们公司允许开发环境使用跟生产服务器不一样的版本的东西？

2

clino

Jul 23, 2015 via Android

没有一个和生产环境一致的测试环境先试试看？

3

mhycy

Jul 23, 2015

别的不说，改线上环境居然能造成19分钟停机，入口负载均衡怎么做的，没备机做平滑升级？

4

clockwerk

Jul 23, 2015

19分钟就是大事故了，肯定是个大厂啊

5

neoblackcap

Jul 23, 2015

我只是好奇，为什么你们生产环境可以连开发环境的版本号都对不上

6

learnshare

Jul 23, 2015

必须保证开发和运行环境统一，还得随手把第三方包升级了

7

ChangxuBlack

Jul 23, 2015

或许可以试试用setuptools管理依赖

8

glasslion

Jul 23, 2015

开发环境和生产环境的版本号都能搞得不一样, 出大事故不是早晚的事.

而且当你们发现了版本号不一致的问题后, 为什么不第一时间回退到 0.7.2 这个老的可行版本, 反而去尝试去安装 1.0 这个你们从来没有使用和测试过的版本.

9

yueyoum

Jul 23, 2015

新人都这样，遇到问题不要慌

先去问老员工。

当年我去线上重启服务，没看清，把其他服务给重启了，而且重启还失败了。。。

10

julyclyde

OP

Jul 23, 2015

@glasslion 请你注意先后顺序。我是回滚了代码之后才检查到0.7.2和1.0.0的问题的

11

laoyuan

Jul 23, 2015

怪不得 Rails Gemfile 里面的gem 后面都跟着版本号，我初学觉得好麻烦啊

12

est

Jul 23, 2015

@laoyuan pip也可以，只是很多人懒得这么干而已。其实现在pip都支持打包成静态包了。

13

julyclyde

OP

Jul 23, 2015

@mhycy 访问到我改的那个位置的时候才出错，错误信息是无法import jwt库，当时没理解为什么还有jwt。我还以为是别人的bug就没当场回滚。有部署权限的人太多也是个麻烦事啊

14

julyclyde

OP

Jul 23, 2015

@ChangxuBlack pip就是setuptools的包装吧。给点儿建设性的意见

15

julyclyde

OP

Jul 23, 2015

@glasslion 现在线上用旧版本，已经积习难改了。我怀疑将来requirements内部会有版本冲突

16

julyclyde

OP

Jul 23, 2015

@learnshare 我这就是随手升级了才坏事的。

17

poorguy

Jul 23, 2015

我就弱弱的问一下，没用virtualenv之类的吗

18

julyclyde

OP

Jul 23, 2015

@poorguy 有。但这和virtualenv有啥关系？

19

tabris17

Jul 23, 2015

为了避免麻烦，我把第三方库的代码复制出来和代码放一起打包了

20

ChangxuBlack

Jul 23, 2015

@julyclyde 你可以写个setup.py，里面写上依赖啊，然后部署的时候用python setup.py install

21

laotaitai

Jul 23, 2015

上Docker, 把你开发搭建好的环境, 弄到线上去. 再也没有"我这里运行得好好的, 为嘛到你那里就不行呢"的问题了.

22

poorguy

Jul 23, 2015

@julyclyde 那估计我没看懂你的主题了，virtualenv可以保证开发环境和生产环境一致

23

julyclyde

OP

Jul 23, 2015 via iPad

@poorguy 你想得过远了。virtualenv可以用来维持一个稳定体系，我这里也用了。但往里加新包时的混乱，用不用v都会发生的

24

julyclyde

OP

Jul 23, 2015 via iPad

@ChangxuBlack 目前有requirements 但r和setup.py都只能维持一瞬间的和平，很快还会被打破的

25

hiddenman

Jul 23, 2015

@realpg 我们测试用PHP5.5 线上用PHP5.4

26

9hills

Jul 24, 2015 via iPhone

Requirments 里不指定版本的锅。

27

julyclyde

OP

Jul 24, 2015 via iPad

@9hills requirements里只写了我自己用的包。用的包依赖的其它包没写，就载在这里

28

HowardMei

Jul 24, 2015

3

一般的python库依赖用 https://pex.readthedocs.org/en/latest/ 打包就可以了，
如果还依赖系统库，可以考虑 https://github.com/spotify/dh-virtualenv 打成deb包[alien deb->rpm]
有篇文章讲了这个问题： https://nylas.com/blog/packaging-deploying-python

29

julyclyde

OP

Jul 24, 2015

终于钓来一个有含金量的回复

30

ChangxuBlack

Jul 24, 2015

@julyclyde 有道理，不过setup.py可以限定版本号。。。确实不好解决

31

qqblog

Jul 25, 2015

没看懂1.0.0版本到底有什么问题，为什么没能编译libffi-dev库？难道是centos问题？只是你有问题吧，依赖并没问题，熟悉就好啦

About · Help · Advertise · Blog · API · FAQ · Solana · 2649 Online Highest 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 69ms · UTC 01:59 · PVG 09:59 · LAX 18:59 · JFK 21:59
♥ Do have faith in what you're doing.