使用 Nginx+UWSGI 对 Twitter 媒体资源进行反代

twimg.com 好像一直（或大多数）都没有被墙的吧

curl https://pbs.twimg.com/media/CkfhtlvWYAIgdMb.jpg:orig -v > /dev/null
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0* Trying 104.244.43.135...
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0* Connected to pbs.twimg.com (104.244.43.135) port 443 (#0)
* TLS 1.2 connection using TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256
* Server certificate: *.twimg.com
* Server certificate: DigiCert SHA2 High Assurance Server CA
* Server certificate: DigiCert High Assurance EV Root CA
> GET /media/CkfhtlvWYAIgdMb.jpg:orig HTTP/1.1
> Host: pbs.twimg.com
> User-Agent: curl/7.43.0
> Accept: */*
>
< HTTP/1.1 200 OK
< Date: Thu, 09 Jun 2016 17:23:15 GMT
< Server: Apache
< access-control-allow-origin: *
< cache-control: max-age=604800, must-revalidate
< content-md5: ppYsQlEEfam1trtSfEdeww==
< content-type: image/jpeg
< last-modified: Thu, 09 Jun 2016 07:32:44 GMT
< x-connection-hash: 03d3d915f1e9daee68c580e95d73d63a
< x-response-time: 18
< Content-Length: 35924
< Accept-Ranges: bytes
< Via: 1.1 varnish
< Age: 34261
< X-Served-By: cache-tw-lax1-cr1-17-TWLAX1
< X-Cache: HIT
< Expires: Fri, 24 Jun 2016 17:23:15 GMT
< X-Content-Type-Options: nosniff
<
0 35924 0 0 0 0 0 0 --:--:-- 0:00:01 --:--:-- 0{ [7451 bytes data]
100 35924 100 35924 0 0 9606 0 0:00:03 0:00:03 --:--:-- 9605
* Connection #0 to host pbs.twimg.com left intact

@SoloCompany 某些地方污染了 http://www.17ce.com/site/http/201606_c889b71c1917a6baee8ed42139530000.html

nginx rewrite 直接能搞定的事为什么要 flask? 又慢又阻塞, wsgi 下只能发送 full response, 不是楼主想象的边收边发.

E-M-T!

nginx 反代一切

没事干嘛扯 flask ， nginx 就够的事情

@fcicq
@just1 抱歉，我之前并不知道 FLASK 的缺点，这个项目的灵感来自 @YUX 的反代新浪图床，所以我就直接 fork 代码来改了。

@ZGLHHH
还是太年轻啊
https://ihuanmeng.com/twimgrp/pbs.twimg.com/media/CkfhtlvWYAIgdMb.jpg:orig

这种格式会触发网址关键词屏蔽的
因为包含了 *.twimg.com 的域名
有人访问 不出 1 周就阵亡了

所有涉及 不可描述 的 使用加密 或者混淆下

@notgod 不是 https 么 你发的链接

@notgod HTTPS 不会被探测到吧？

@lslqtz
@ZGLHHH

可以肯定的告诉你们
会
估计你们对 Qiang 的理解 还在 08 年的阶段
现在的墙已经不是当初的墙了
SSL 的探测从被动模式已经升级至主动模式

没有秘密的 尤其是请求的是网址 还不是内容

@notgod 那么应该怎么做？

所有涉及 不可描述 的 使用加密 或者混淆下
比如
https://ihuanmeng.com/twimgrp/pbs.twimg.com/media/CkfhtlvWYAIgdMb.jpg:orig
使用一个算法 加密字符串
https://ihuanmeng.com/twimgrp/dawedwaudhweiaduiawd/media/CkfhtlvWYAIgdMb.jpg:orig
然后 nginx 端 截取 dawedwaudhweiaduiawd 解密算法 解密为 pbs.twimg.com
向后端请求


这样就不会触发了
反代保留 不可描述 的原域名地址 就是找死
一个人无问题 一天 10IP 就 kill 了

我见过
前脚注册了一个域名
使用 proxy php 的程序
访问下 https://sss/face book. com
后脚域名就被 Qiang 了

@notgod 是的，但是，内容和访问的 url 是有加密的。

顺便问一个问题，这种获取上游能不能用 HTTP Proxy 或者 socks5 Proxy 啊，这样可以把站点架设在境内，由服务器走代理

@t123yh
应该可以，因为用到了 requests.get ，我认为会遵循系统的网络设置。
或者，可以试试在服务器设置 hosts 。

@notgod 我建立了一个 antiblock 分支用于解决你所说的问题： https://github.com/HuanMeng0/uwsgi-nginx-flask-docker-for-twimg/tree/antiblock

HTTPS 下墙应该只能拿到 HOST ，具体目录是拿不到的

@czb 是的， IE6 及以下连 Host 都拿不到。

@lslqtz SNI 会透露 不过即使没开 SNI 扫证书也是可以出 HOST 的

@czb IE6 没有 SNI 啊。。

@lslqtz 对的……我的表达有问题……我的意思是 SNI 和证书都是泄漏 HOST 的途径，并没有特指 IE6...

@czb 只要不是不可描述的网站，一般都没啥关系我～

今天建了个谷歌反代。。想知道推特反代怎么搞