全約定履歴を1ヶ月分とった記録

FX_BTCJPY を sqlite3 に突っ込んだ。
1ヶ月分が取得できる。

DBサイズ:3.1GB
レコード数:30811478

そこそこのサイズ感だけど、まあ許容範囲。

 

ただしクエリが重い。

select count(id) from data; => 17sec

うーん

 

日で絞るとこれ。

 sqlite> select count(id) from data where date between '2019-06-25' and '2019-06-26';
251346
Run Time: real 46.358 user 8.890625 sys 7.046875

 

さらに、ruby で1日分を取得すると 72 秒かかった。さすがに重すぎる。大量のデータを扱いづらい Ruby の問題もある・・・?