stock-job-web股票数据计算分析 web 系统

stock-job-web V1 是基于 Python的 pandas、tushare、bokeh、tornado、stockstats、ta-lib 等框架开发的全栈股票系统。

1）可以直接使用docker直接本地部署运行，整个项目在docker hub上压缩后200BM，本地占用500MB磁盘空间。

2）使用Docker解决了Python库安装问题，使用Mariadb（MySQL）存储数据。借助tushare抓取数据（老API，后续使用tushare pro开发）

3）使用corn做定时任务，每天进行数据抓取计算，每天18点开始进行数据计算，计算当日数据，使用300天数据进行计算，大约需要15分钟计算完毕。

4）股票数据接口防止被封，按天进行数据缓存，储存最近3天数据，每天定时清除，同时使用read_pickle to_pickle 的gzip压缩模式存储。

5）使用tornado开发web系统，支持股票数据，沪深300成份股，中证500成份股，龙虎榜数据，每日股票数据，每日大盘指数行情等

6）数据展示系统，是通用数据展示系统，配置字典模板之后，页面自动加载数据，并完成数据展示，后续自己开发的指标数据可以加入进去。

7）增加曲线数据分析，在查看股票中，可以直接跳转到东方财富页面查看相关信息，点击指标之后使用Bokeh将多达 17 个指标的数据绘图，进行图表展示。

每日股票指标数据计算17个指标如下（数据表 guess_indicators_daily）：

使用方法（依赖docker）

使用 mariadb 和 stock 两个镜像

mkdir -p /data/mariadb/data
docker pull pythonstock/pythonstock:latest
docker pull mariadb:latest

docker run --name mariadb -v /data/mariadb/data:/var/lib/mysql \
    -e MYSQL_ROOT_PASSWORD=mariadb -p 3306:3306 -d mariadb:latest

docker run -itd --link=mariadb --name stock  \
    -v /data/notebooks:/data/notebooks \
    -p 8888:8888 \
    -p 9999:9999 \
    pythonstock/pythonstock:latest

直接启动stock ，使用其他 mysql 数据库，需要配置变量方式：

docker run -itd --name stock  \
    -v /data/notebooks:/data/notebooks \
    -p 8888:8888 \
    -p 9999:9999 \
    -e MYSQL_HOST=127.0.0.1 \
    -e MYSQL_USER=root \
    -e MYSQL_PWD=mariadb \
    -e MYSQL_DB=stock_data \
    pythonstock/pythonstock:latest

进入镜像：

docker exec -it stock bash 
sh /data/stock/jobs/cron.daily/run_daily

说明，启动容器后，会调用。run_init.sh 进行数据初始化，同时第一次执行后台执行当日数据。 以后每日18点（只有18点左右才有今日的数据）进行股票数据抓取并计算。

本地访问端口

http://localhost:9999 股票系统

http://localhost:8888 jupyter

查看jupyter的密码：

docker exec -it stock bash 

查看登录 token 问题：

jupyter notebook list

# 就可以看到 token 了，然后可以登录了。

股票系统设计

相关博客资料： http://blog.csdn.net/freewebsys/article/category/7076584

股票数据抓取框架使用TuShare。 http://tushare.org/

数据分析清洗使用pandas，numpy。 http://pandas.pydata.org/

数据存储到磁盘上，使用Mysql数据库。存储股票数据。 https://pypi.python.org/pypi/mysqlclient

web框架使用tornado http://www.tornadoweb.org/en/stable/

tornado web系统 http://docs.pythontab.com/tornado/introduction-to-tornado/

scikit-learn 文档，中文文档 https://scikit-learn.org/stable/ https://github.com/apachecn/sklearn-doc-zh/

架构设计

全系使用python实现。因为都是python的类库，互相之间调用方便。 从数据抓取，数据处理，到数据展示数据运算都是python实现。

最终的数据都到前端展示出来。主要分为4个文件夹。

jobs 抓取数据并存储实现类。

libs 通用工具类。

web 前端展示框架。

supervisor 进程管理工具。

github地址：https://github.com/pythonstock/stock

博客资料： http://blog.csdn.net/freewebsys/article/category/7076584