重构Sec-News之路

不知道什么时候突然发现我已经稳定运行了近半年的sec-news(http://wiki.ioin.in)突然变得特别慢,为跳转效率我也是尝试了很多方法,比如加缓存。我使用了一个叫flask-cache的缓存: https://pythonhosted.org/Flask-Cache/ ,很好用的cache。

特别喜欢python的一点就是,修饰器(@Decorator)的存在,让很多功能变得简单。flask-cache里有一种cache方式叫Memoization,它可以简单地用Decorator的方式放在任意函数上。根据函数参数的值,来缓存函数的结果。

class Person(db.Model):
    @cache.memoize(50)
    def has_membership(self, role_id):
        return Group.query.filter_by(user=self, role_id=role_id).count() >= 1

上面是文档里给出的一个example,其缓存了has_membership函数,当我们调用has_membership(1)的时候,就缓存下50秒这个函数的返回值。那么下次再调用has_membership(1)的时候,就会直接返回缓存的结果,但如果你调用has_membership(2),就是另一个缓存了。

我将flask-cache加到flask的view里,这样就可以缓存整个页面了。

但是,缓存永远不是解决效率问题的根本方法,解决问题是找到根本原因。我仔细分析了我的sec-news,我认为以前使用的mongodb数据库,是导致整个网站运行慢的原因。

也的确,我设计mongodb的概念和以前设计mysql的概念完全不同,我设计了这样一个集合:

Rss

  • id

  • url

  • title

  • posts (array)

这个集合用来存储Rss数据,比如 http://www.leavesongs.com/rss.php ,这是一个订阅Rss。这个订阅的内容,其实就是它的文章(posts),我的订阅列表中有几个Rss,其中包含的文章已经超过1000篇,也就是posts数组大小已经超过1000,且数组中每篇文章我都保存了文章的标题和内容。

所以其实当我们没有设计好ORM的情况下,提取出这个Rss集合,将占用大量内存,导致Sec-news整体速度变慢。

这是我觉得影响网站效率的最大原因。备份数据后,我删掉了所有文章的内容,再次测试,结果也一样,速度并没有变快。

我开始怀疑架构问题,我开始怀疑是mongodb哪里有坑被我踩中了。这种问题对于半吊子开发我来说,实在是难以发现,难以解决。但在电脑维修界,有著名的『万金油定律』——重启、重装、换电脑。既然解决不了问题,不如用简单点的办法规避问题。

我现在的位置可能位于重启到重装这条路上,在替换一些数据(重启)的情况下并不能解决效率问题,那么我就需要思考『重装』的问题了。所谓的重装,也就是换掉mongodb。

sec-news在开发的时候就已经做到了MVR(Model - View - Route),代码耦合性也比较低,但实际上替换数据库的过程还是需要重构大量代码,主要原因就是mongodb->mysql是一场Nosql到Sql的转变,基础架构需要调整。

不过总代码量也不大,整个view + model也只有700行代码左右,需要改动的部分不超过200行。重构过程还改进了很多功能、用户体验方面的问题(主要是后台)。

重构后的sec-news还是用ORM,我在peewee和sqlalchemy中选择了后者,因为flask-sqlalchemy是一个比较成熟的搭配,在实际开发中我比较看重稳定性,虽然个人感觉peewee更『酷』。

除了替换数据库。细节上还有一处改进:我将flask原生的client-side-session换成了一个叫"flask-session"的server-side-session的插件,以规避前段时间自己发现的『验证码绕过漏洞』。flask-session储存在redis中,我喜欢redis胜过memcache,原因是memcache所拥有的功能redis都有,但redis所拥有的功能memcache并不一定有,所以我一般都不用memcache。

另外,我实现了后台多用户权限控制,其实说起来也比较简单:

def check_role(request_role):
    def do_check(role_array):
        def check(func):
            @functools.wraps(func)
            def do_function(*args, **kwargs):
                if flask.session.get("user_id") > 0:
                    if flask.session.get("role") in role_array:
                        return func(*args, **kwargs)
                    else:
                        return permission_deny(*args, **kwargs)
                else:
                    return flask.redirect(flask.url_for("login"))
            return do_function
        return check

    return do_check(request_role)

@app.route('/admin')
@check_role(["admin", "user"])
def admin():
    #show administrator index page

@app.route('/admin/add')
@check_role(["admin"])
def add():
    #add a new administrator

再次感谢python的Decorator,我用一个简单的check_role函数即可实现权限控制。比如admin函数,可以允许user、admin两个角色访问,而add函数就只允许admin角色访问,假设既不是user也不是admin,就直接跳到login页面。

Decorator也是我迟迟放不下python的原因,假设php里也加入这个语法糖,那我保准不会用python写网站了,很多方面还是php更方便。

在Route方面,我也做了一些改进。因为mongodb的默认索引_id是一个24位hash值,不容易被用户猜到,而mysql的主键通常是一个AUTO_INCREMENT的数字,好事者只需要编写一个脚本即可遍历我的所有文章,我不喜欢这样。

我用了hashids这个库,将int类型的id转换成了一个hashids,好事者猜不到这个字符串,也就无法遍历我的文章了。(当然可以写爬虫爬取,但这和遍历有本质区别)

重构用了大概一天半,传到原来的服务器上,发现……这TM还是一样慢啊……我真是错怪mongodb了,我给你赔罪!

那么现在,『重装』这条路也死了,并没有解决问题。

最后也就只剩『换电脑』了,我一咬牙一跺脚买了一台阿里云青岛的服务器(按流量计费,算下来还是不贵的,一个月50RMB左右)。这时候我基本上已经心力交瘁了,只想尽快把问题解决我好干别的。

我用最快的速度部署好服务器:

apt-get update
apt-get install nginx mysql-server mysql-client redis-server libjpeg-dev
git clone xxx
pip install -r requirements.txt
pip install gunicorn supervisor

直接安默认的,能用就行。因为服务器带的ubuntu14没有systemd,我就选择用supervisor管理我的gunicorn服务,nginx简单配了一下就了好了,mysql最开始也直接用root账号。

服务器移到国内,还有一个问题就是域名,我的leavesongs.com是没有备案的,所以新的sec-news域名不能再用这个子域名了。还好自己手上刚备案了一个新域名,我就直接用新域名下的子域名作为sec-news的域名。

那么老域名的"遗产"怎么办?

QQ20160114-0@2x.png

如上图,有些网站还保留着我的老域名下的链接,我想尽量保持一切不变。于是我从老数据库导出了一个json格式的对象:_id : url,在老vps上做了个简单的转发:

location ^~ /url/ {
        rewrite ^/url/(.*)$ /old.php?hash=$1 last;
}

location = /old.php {
        fastcgi_pass  unix:/var/run/php5-fpm.sock;
        fastcgi_index index.php;
        include fastcgi.conf;
}

location / {
        rewrite ^/(.*) http://wiki.ioin.in/$1 permanent;
}

将所有/url/开头的链接转发到old.php里处理,其他链接就直接301到新域名下。那么old.php就专门处理以前_id是24位hash的链接:

<?php
$old_data = json_decode(file_get_contents('olddata.txt'), TRUE);
$hash = isset($_GET['hash']) ? $_GET['hash'] : "";
if($hash && array_key_exists($hash, $old_data)) {
        header('Location: ' . $old_data[$hash]);
} else {
        header('Location: http://wiki.ioin.in/url/' . $hash);
}

这样就能保证以前的链接全部能够访问,新链接直接跳转到新域名。

后面有空闲时间又慢慢优化了许多地方,找到几个小伙伴一起更新一些好文章,sec-news正式复活了。

希望我这次重构之路对大家的开发有启发,也欢迎大家订阅Sec-News的RSS,主页: http://wiki.ioin.in ,订阅: http://wiki.ioin.in/atom

分享几张重构后后台的截图:

Sec-News_安全文摘_后台管理页面.png

Sec-News_安全文摘_后台管理页面 2.png

Sec-News_安全文摘_后台管理页面 3.png

Sec-News_安全文摘_后台管理页面 4.png

Sec-News_安全文摘_后台管理页面 5.png

Sec-News_安全文摘_后台管理页面 6.png

赞赏

喜欢这篇文章,扫码和我成为赞友!

评论

f0cu3 回复

以后就跟师兄混了。才发现是校友呐

te 回复

可以通过chrome控制台 timeline功能看下访问时,是哪一步花费的时间最长,连接到站点前还是后

phithon 回复

@te:谢谢,我看了,就是第一步的时间,静态文件全部是本地的走nginx,并不会经过python处理,对速度没影响。感觉要分析真正问题原因,还是需要后端的一些调试,可是问题在本地没法复现,远程调试起来太麻烦,就放弃了。

DeshuaiZ 回复

因为最后是靠换机器解决的,所以白重构了咯?

phithon 回复

@DeshuaiZ:嗯,就解决问题来说白重构了,不过把我自己忧虑的问题都改进了。

xdxd 回复

client-session server-session 这种概念有详细的描述么。最近考虑了下可能是类似的东西。http://xdxd.love/2016/01/07/%E6%97%A0%E7%8A%B6%E6%80%81%E5%8D%8F%E8%AE%AE%E4%B8%AD%E8%AE%A4%E8%AF%81%E7%8A%B6%E6%80%81%E4%BF%9D%E6%8C%81%E6%96%B9%E6%A1%88%E7%9A%84%E4%B8%80%E4%BA%9B%E6%80%9D%E8%80%83/

文雨 回复

加油做得更好

captcha