超哥 Python Web 腾讯云部署：flask+fabric+gunicorn+nginx+supervisor
文章目录
[隐藏]
- 前期准备
- Fabric
- Gunicorn部署
- Nginx
- Supervisor
- 自动化部署
- gunicorn配置文件
最近看了《Flask Web开发–基于Python的Web应用开发实战》，还有廖雪峰老师的Python教程，前者是基于Web框架flask进行开发，后者是自己搭建了一个Web框架。Web框架致力于如何生成HTML代码，而Web服务器用于处理和响应HTTP请求。Web框架和Web服务器之间的通信，需要一套双方都遵守的接口协议。WSGI协议就是用来统一这两者的接口的。
为了部署一个完整的环境，本文将使用flask作为Web框架，Gunicorn作为WSGI容器，Nginx作为Web服务器，同时使用Supervisor进行进程管理，并使用Fabric实现自动化部署。
前期准备
申请一个腾讯云服务器Ubuntu Server 16.04.1 LTS 64位：
账户：ubuntu 密码：********** 内网ip：172.16.0.17 外网ip：139.199.184.183 使用《Flask Web开发》源码：
$ mkdir web $ cd web ~/web$ git clone https://github.com/miguelgrinberg/flasky.git 设置并进入虚拟环境：
~/web$ cd flasky ~/web/flasky$ virtualenv venv ~/web/flasky$ source venv/bin/activate 安装对应的库：
(venv) ~/web/flasky$ cd requirements (venv) ~/flasky/requirements$ pip3 install -r common.txt (venv) ~/flasky/requirements$ pip3 install -r dev.txt (venv) ~/flasky/requirements$ pip3 install -r heroku.txt (venv) ~/flasky/requirements$ pip3 install -r prod.txt 创建数据库：
(venv) ~/flasky/requirements$ cd .. (venv) ~/flasky/$ python3 manage.py deploy Fabric
Fabric入门看这里https://www.jianshu.com/p/0be28f6c4607
新开一个终端，远程登陆服务器：
$ ssh [email protected] 在服务器端定义好部署结构：
[email protected] $ mkdir web [email protected] $ mkdir web/flasky [email protected] $ mkdir web/log 即：
- web/ Web App根目录
- flasky/ 存放python文件
- log/ 存放日志文件
我们使用Fabric将代码上传到服务器，首先，安装Fabric：
(venv) ~/web$ sudo apt-get install fabric 在web目录下创建fabfile.py(必须这个名字)，写入：
#！/usr/bin/python3 # -*- coding: utf-8 -*- import os, re from datetime import datetime # 导入Fabric API: from fabric.api import * # 服务器登录用户名: env.user = 'ubuntu' # sudo用户为root: env.sudo_user = 'root' # 服务器地址，可以有多个，依次部署: env.hosts = ['139.199.184.183'] _TAR_FILE = 'dist-flasky.tar.gz' def build(): includes = ['app', 'migrations', 'requirements', 'tests', 'venv', *.py', '*.sqlite'] excludes = ['.*', '*.pyc', '*.pyo'] local('rm -f dist/%s' % _TAR_FILE) with lcd(os.path.join(os.path.abspath('.'), 'flasky')): cmd = ['tar', '--dereference', '-czvf', '../dist/%s' % _TAR_FILE] cmd.extend(['--exclude='%s'' % ex for ex in excludes]) cmd.extend(includes) local(' '.join(cmd)) _REMOTE_TMP_TAR = '/tmp/%s' % _TAR_FILE _REMOTE_BASE_DIR = '/home/ubuntu/web/flasky' def deploy(): newdir = 'flask-%s' % datetime.now().strftime('%y-%m-%d_%H.%M.%S') # 删除已有的tar文件: run('rm -f %s' % _REMOTE_TMP_TAR) # 上传新的tar文件: put('dist/%s' % _TAR_FILE, _REMOTE_TMP_TAR) # 创建新目录: with cd(_REMOTE_BASE_DIR): sudo('mkdir %s' % newdir) # 解压到新目录: with cd('%s/%s' % (_REMOTE_BASE_DIR, newdir)): sudo('tar -xzvf %s' % _REMOTE_TMP_TAR) # 重置软链接: with cd(_REMOTE_BASE_DIR): sudo('rm -f flask') sudo('ln -s %s flask' % newdir) sudo('chown ubuntu:ubuntu flask') sudo('chown -R ubuntu:ubuntu %s' % newdir) # 重启Python服务和nginx服务器: #with settings(warn_only=True): # sudo('supervisorctl stop flask') # sudo('supervisorctl start flask') # sudo('/etc/init.d/nginx reload') 使用fab命令将代码打包：
(venv) ~/web$ mkdir dist (venv) ~/web$ fab build 将代码传上服务器：
(venv) ~/web$ fab deploy Gunicorn部署
gunicorn入门看这里https://www.jianshu.com/p/260f18aa5462
代码上传给服务器后，可以直接运行manage.py文件，就可以访问网站了。可是实际情景中需要处理高并发访问的情况，我们使用Gunicorn来解决这个问题。
在服务器上进入flask所在目录，激活虚拟环境，并安装gunicorn：
[email protected] ~/web/flasky/flask$ source venv/bin/activate (venv) [email protected] ~/web/flasky/flask$ sudo apt-get install gunicorn 使用gunicorn运行web应用(支持4个并发请求)：
(venv) [email protected] ~/web/flasky/flask$ gunicorn -w 4 -b 172.16.0.17:5000 manage:app 其中172.16.0.17是服务器内网ip，这样设置后就可以通过外网ip访问网站了。在浏览器地址栏中输入139.199.184.183：5000，就可以看到网站了。
Nginx
Nginx入门看这里
使用gunicorn的话，需要将端口暴露给外界，这不利于服务器的安全问题。Nginx是一个高性能的HTTP和反向代理服务器，通过配置一个代理服务器，可以实现反向代理的功能。所谓反向代理，是指一个请求，从互联网过来，先进入代理服务器，再由代理服务器转发给局域网的目标服务器。
先安装nginx：
(venv) [email protected] ~$ sudo apt-get install nginx 设置反向代理服务器：在服务器，进入目录/etc/nginx/sites-available/，在目录下的default文件写入一个server。
首先，先备份default文件：
$ cd /etc/nginx/sites-available/ $ sudo cp default default-backup 在default文件中写入server：
server { listen 80； root /home/ubuntu/web/flasky/flask/; location / { proxy_pass http://127.0.0.1:5000; proxy_set_header Host $host; proxy_set_header X-Forward-For $proxy_add_x_forwarded_for; } } 配置完成后，重启nginx：
$ sudo nginx -s reload 此时，该反向代理服务器就开始监听80端口。80端口是为HTTP开放的端口，浏览网页服务默认的端口号都是80 (8080端口跟80端口一样)。只要访问服务器，代理服务器就会将请求转发到127.0.0.1：5000.
回到目录/home/ubuntu/web/flasky/flask/下，再次使用gunicorn运行web app：
(venv) [email protected] ~/web/flasky/flask$ gunicorn -w 4 -b 127.0.0.1:5000 manage:app 用的ip地址是127.0.0.1
而外界要访问网站只需要在浏览器地址栏输入139.199.184.183，使用默认端口80。这样web app实际使用的5000就不用暴露了。
Supervisor
supervisor入门看这里https://www.jianshu.com/p/0226b7c59ae2
如果你需要进程一直执行，若该进程因各种原因中断，也会自动重启的话，supervisor是一个很好的选择。
supervisor管理进程，是通过fork/exec的方式将这些被管理的进程当作supervisor的子进程来启动，所以我们只需要将要管理进程的可执行文件的路径添加到supervisor的配置文件中就好了。此时被管理进程被视为supervisor的子进程，若该子进程异常终端，则父进程可以准确的获取子进程异常终端的信息，通过在配置文件中设置autostart=true，可以实现对异常中断的子进程的自动重启。
安装supervisor：
(venv) [email protected] ~$ sudo apt-get install supervisor 在目录/etc/supervisor/conf.d/下创建flask.conf，并加入：
；/etc/supervisor/conf.d/flask.conf [program:flask] command = /home/ubuntu/.local/bin/gunicorn -w 4 -b 127.0.0.1:5000 manage:app ；这里/home/ubuntu/.local/bin/是我服务器上gunicorn的安装目录 directory = /home/ubuntu/web/flasky/flask user = ubuntu startsecs = 3 autostart = true redirect_stderr = true stdout_logfile_maxbytes = 50MB stdout_logfile_backups = 10 stdout_logfile = /home/ubuntu/web/flasky/log/app.log 配置完后，进入目录/home/ubuntu/web/flasky/， 创建log目录：
(venv) [email protected] ~/web/flasky$ mkdir log 启动supervisor：
(venv) [email protected] /etc/supervisor$ sudo supervisord -c supervisor.conf 执行服务（运行app.py）：
(venv) [email protected] $ sudo supervisorctl start flask 此时，进程flask运行，执行command后边的语句，即/home/ubuntu/.local/bin/gunicorn -w 4 -b 127.0.0.1:5000 manage:app。
在浏览器地址栏输入139.199.184.183，使用默认端口80，即可访问网站。
如果supervisor遇到错误，可以在/var/log/supervisor/supervisord.log中查看日志；
如果app运行出现问题，可以在 /home/ubuntu/web/flasky/log/app.log中查看日志。
自动化部署
为了实现自动化部署，将上边fabfile.py文件的最后四个语句的注释取消，就能在将修改后的代码传上服务器后，用supervisor自动重载配置并重启flask进程。之后便可以直接访问网站。
因此，每次更改代码后，只需要执行以下两个语句，无需登陆服务器，便可以启动网站：
$ fab build $ fab deploy gunicorn配置文件
gunicorn的配置除了可以在命令行中设置，也可以使用配置文件实现更复杂的配置：
$ gunicorn -c gunicorn.py manage:app gunicorn.py文件如下：
# gunicorn.py import logging import logging.handlers from logging.handlers import WatchedFileHandler import os import multiprocessing bind = '127.0.0.1:5000' #绑定ip和端口号 backlog = 512 #监听队列 chdir = '/home/test/server/bin' #gunicorn要切换到的目的工作目录 timeout = 30 #超时 worker_class = 'gevent' #使用gevent模式，还可以使用sync 模式，默认的是sync模式 workers = multiprocessing.cpu_count() * 2 + 1 #进程数 threads = 2 #指定每个进程开启的线程数 loglevel = 'info' #日志级别，这个日志级别指的是错误日志的级别，而访问日志的级别无法设置 access_log_format = '%(t)s %(p)s %(h)s "%(r)s" %(s)s %(L)s %(b)s %(f)s" "%(a)s"' #设置gunicorn访问日志格式，错误日志无法设置 """ 其每个选项的含义如下 h remote address l '-' u currently '-', may be user name in future releases t date of the request r status line (e.g. ``GET / HTTP/1.1``) s status b response length or '-' f referer a user agent T request time in seconds D request time in microseconds L request time in decimal seconds p process ID {Header}i request header {Header}o response header """ accesslog = "/home/ubutnu/web/flasky/log/gunicorn_access.log" #访问日志文件 errorlog = "/home/ubutnu/web/flasky/log/gunicorn_error.log" #错误日志文件 在本地将gunicorn.py放在/home/ubutnu/web/flasky/flask/目录下，在服务器端将/etc/supervisor/conf.d/flask.conf中的command改为：
command = /home/ubuntu/.local/bin/gunicorn -c /home/ubutnu/web/flasky/flask/gunicorn.py manage:app 然后，在本地执行：
$ fab build $ fab deploy 便可以访问网站了。
原文出处：简书 -> https://www.jianshu.com/p/29467ce73972
