- 2007-07-30 (月) 15:52
- 技術
詳しくはまだ言えないのですが、現在SEO遊びのためのサイトを鋭意製作中です。
その中で、時間差で生成されるデータ間の差分生成のためのテーブル設計について悩んでいます。
時間差で生成されるデータ間の差分生成とはどういうことかというと、例をあげると、１週間ごとにそのときの体重を記録し、１週間前の体重と比較し何Kg増減したかのデータを生成するというようなことです。あくまで例なので、実際にダイエットサイトとか作ってるわけじゃないです。(過去に案としてはありましたが。)
個人の体重管理のような用途なら、そのときそのときの体重データを保持するテーブルのみで、後は体重の差分などはリアルタイムで計算すればよいのですが、今回そういう場合と決定的に大きく違う点があって、一回の計測で発生するデータが多いんです。しかも、今回のコンセプトは全自動であり、一回作成したら何もしなくても動き続けるシステムを目標としています。
そういった中での問題と解決方法は次のことが挙げられると思います。
・容量的な問題(HDDの圧迫)
→過去データを自動的に削除する仕組みを実装
・速度的な問題(差分生成のコスト高)
→毎回リアルタイムで計算せずに、キャッシュ方式にする
・差分生成処理が途中で止まったときの問題(データが多いので影響するレコードも多い)
→途中から処理可能な仕組みにする
現在作ってるシステムの詳細を述べてないので、この問題点と解決方法を見てもピンと来ないと思いますが、とにかくこの問題点に対する解決方法をどう実装するか、具体的な処理のイメージとテーブル定義は出来上がってるのですが、なんか妙に複雑になってる気がしてなりません。
まぁ、これ以上はとにかく作ってみてから考えようと思います。
もちろん、完成したらここで紹介したいと思います。
その中で、時間差で生成されるデータ間の差分生成のためのテーブル設計について悩んでいます。
時間差で生成されるデータ間の差分生成とはどういうことかというと、例をあげると、１週間ごとにそのときの体重を記録し、１週間前の体重と比較し何Kg増減したかのデータを生成するというようなことです。あくまで例なので、実際にダイエットサイトとか作ってるわけじゃないです。(過去に案としてはありましたが。)
個人の体重管理のような用途なら、そのときそのときの体重データを保持するテーブルのみで、後は体重の差分などはリアルタイムで計算すればよいのですが、今回そういう場合と決定的に大きく違う点があって、一回の計測で発生するデータが多いんです。しかも、今回のコンセプトは全自動であり、一回作成したら何もしなくても動き続けるシステムを目標としています。
そういった中での問題と解決方法は次のことが挙げられると思います。
・容量的な問題(HDDの圧迫)
→過去データを自動的に削除する仕組みを実装
・速度的な問題(差分生成のコスト高)
→毎回リアルタイムで計算せずに、キャッシュ方式にする
・差分生成処理が途中で止まったときの問題(データが多いので影響するレコードも多い)
→途中から処理可能な仕組みにする
現在作ってるシステムの詳細を述べてないので、この問題点と解決方法を見てもピンと来ないと思いますが、とにかくこの問題点に対する解決方法をどう実装するか、具体的な処理のイメージとテーブル定義は出来上がってるのですが、なんか妙に複雑になってる気がしてなりません。
まぁ、これ以上はとにかく作ってみてから考えようと思います。
もちろん、完成したらここで紹介したいと思います。
- 次の記事: Google何か変わった！？
- 前の記事: named ｵｯﾆｰ succeeded
コメント:0
トラックバック:0
- トラックバック用URL
- http://peta.okechan.net/blog/archives/140/trackback
- リンク元
- 時間差で生成されるデータ間の差分生成のためのテーブル設計について ← 日曜研究室 [技術的な日常:あなたの幸せはここにある]