设为首页收藏本站

宽客俱乐部——量化投资与对冲基金交流平台

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
接口技术和自动交易攻略集训营Python量化投资实战营(深圳-香港)
查看: 2457|回复: 1

量化投资之数据存储

[复制链接]
发表于 2017-6-6 12:19:35 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
量化交易软件和所有数据都可以试用:公司目前主要提供程序化交易平台和数据资讯服务,包括量化交易终端和实时行情,高频历史数据,财经库等,为您提供各种金融数据解决方案。还有定制化服务,如果大家有这方面的需求可以和我联系,无论是量化交易终端还是数据库,都可以试用。期待您的来电,联系电话15001016153,祝您工作顺心,投资顺利,合家欢乐!
现在越来越多的交易爱好者和私募参与到程序和交易和量化交易中来,在搭建自己的程序化交易平台的时候,必须涉及到一个问题:数据如存储?
有很多时候考虑到选择数据库的方式存储行情数据, 但我想问,你真的需要数据库来存储行情数据吗?
我们来看看百度百科对数据库的定义:
数据库是长期储存在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。
这种数据集合具有如下特点:尽可能不重复,以最优方式为某个特定组织的多种应用服务,其数据结构独立于使用它的应用程序,对数据的增、删、改、查由统一软件进行管理和控制。从发展的历史看,数据库是数据管理的高级阶段,它是由文件管理系统发展起来的。
定义中提到 :对数据的增、删、改、查由统一软件进行管理和控制。
那么这里提出2个问题:
(1)“增”可以理解,就是添加数据,但你确定需要 删、改、查 吗?
拿期货行情数据为例,通常我需要将实时行情存储,如果我开启一个策略,需要计算M10 周期最近100个周期的KDJ指标,那么我只要需要最近的100X10X60X2个TICK数据即可,我只需要按时间顺序读取最近的12万个TICK。
(2)如果是从数据库读取的话,需要通过select语句或存储过程等方式 获得记录集,并逐条取出,这个过程是非常耗时的
这个过程是非常耗时的,并且每条记录之间,按默认设置,数据库为了便于插入数据,往往在记录之间留有空白的存储空间,往往按默认设置,80%的空间是无用的,也就是说,本来你只需要1M的空间你,实际占了5M的硬盘空间。事实上,你可能并没有插入数据的请求。因为行情数据存储都是顺序的,按时间顺序写入之后,通常不需要再插入新的行情数据。
大多数情况, 对行情数据的存储是不需要 “删”、“改”的
对“查”来说,也并不是逐条取得,通常是取一个时间段的数据,并不是数据库方式的 “查”数据的方式。
而且由于数据库的IO较慢。有人说,可以用内存数据库啊,事实上内存数据库会占用大量的内存空间,而且他的快也只是和关系型数据库比。并不是最优的选择。
采用数据库存储行情数据方案,享不到数据库的好,却浪费了大量空间,降低了读取性能。
这个性能降低可能是比直接采用文件存储的几十倍的差距。
用文件存储是一个更好的选择,事实上很多知名的股票软件公司都采用文件存储行情数据的。
比如文件存储怎么做呢?
按一个规则制定:
比如rb1710的2017年6月5日的TICK行情数据,就存储在
…\data\20170605\TICK\rb1710.csv 目录的文件下
该文件将顺序存储当天的TICK数据。
当我需要读取最近3天数据的时候,就按先后分别读取
…\data\20170605\TICK\rb1710.csv
…\data\20170606\TICK\rb1710.csv
…\data\20170607\TICK\rb1710.csv
这3个文件即可, 每个文件逐行读取。
如果需要进一步节省硬盘存储空间,我可以将data文件夹设置为 压缩属性。
在没有设置压缩属性的情况下,采用文件方式存储数据大约占用硬盘空间是采用SQL Server默认设置的20%硬盘空间。
在设置了data文件夹的压缩属性的情况下,采用文件方式存储数据大约占用硬盘空间是采用SQL Server默认设置的4%硬盘空间。
更小的硬盘空间占用,不仅降低了读写数据IOPS的占用,而且提高了读取性能(大约比SQL SERVER快 几十倍,内存数据库差距会稍小,但代价是更大的内存占用),也降低了因为磁盘故障导致数据错误的可能。
Quicklib提供了期货文件存储方式的工具和API
期货全品种行情收集工具下载
http://www.quicklib.cn/download/Quicklib_DataCollect_Windows.rar
期货行情重播API作为回测客户端(对应本地的期货全品种行情收集工具作为服务器)


回复

使用道具 举报

发表于 2017-6-24 11:05:22 | 显示全部楼层
支持支持ttxw123.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|量化投资|对冲套利|高频|互联网接口|资产管理|宽客俱乐部 ( 沪ICP备16036585号   点击交谈

关注

GMT+8, 2017-8-22 09:34 , Processed in 0.278285 second(s), 24 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表