Skip to content

Latest commit

 

History

History
19 lines (11 loc) · 1012 Bytes

设计文档.md

File metadata and controls

19 lines (11 loc) · 1012 Bytes

设计思路

koa提供服务器容器

puppeteer提供headless-chrome体验,克服动态页面并进行相关dom操作解析

redis提供缓存数据库,到容量自动生成csv文件

redis数据库以股票代码为key,数据结构选用hash,value为date-'最高价,最低价,开盘价,收盘价'这般组织形式,可以进行长久追踪并且更易生成有序的csv格式

运行环境

3台vps(vultr,同机房),一台神经网络训练服务器

关于分布式配置,目前的想法是三台vps,两写一读:写服务器为爬虫服务器,不另设服务;读服务器单独编写csv导出、前端页面转发,无爬虫服务;新开一台神经网络训练服务器将训练模型和神经网络挂载在上面,每日随机股票进行一次训练并生成模型,用户前端使用模型进行数据集测试生成预测结果

读服务器需安装nginx,git,redis,node 写服务器需安装git,redis,node 训练服务器需安装node和相关训练环境