- 2009-04-21 (火) 11:40
- 日記
Twitter再開してからブログを書く気力がめっきり減った今日この頃です。
本当なら、AtomAPIを使ってアメブロに投稿するプログラムのソースを掲載して説明したいところですが、
ソースを表示するためのWordpressのプラグインが、色々テーマを切り替えた結果動かなくなってるっぽいので、
とりあえずは断念です。
(というか需要ないでしょ)
ということで雑記です。
wrong, rogue and log : 大規模インフラ個人運用:AWS+Hadoopの成功例
もう1年前くらいの記事です。
NY Timesが4TBのTIFF画像をPDFに変換するのに100個のAmazon EC2インスタンスを使ったということは風の噂で聞いてましたが、
リンク先には、EC2を使った場合と外注した場合のおおまかなコストが載ってます。
EC2を使った方が圧倒的に安いです。しかもプログラマ一人しか作業してないし。
ただ重箱の角になりますが、EC2のネットワーク使用料が考慮されてないっぽいです。
圧縮するだろうから4TBをそのまま転送することはないでしょうが、それを含めると単純計算でコストは2倍くらいになると思います。
それでも業者に外注するより圧倒的に安いことには変わりはないですけどね。
Amazon EC2が超激安価格を設定!もう日本のデータセンタはダメだろう。 | やむにやまれず
いつの間にw
AWSのこのスピード感がたまらんです。
ただ、個人的にはOn-Demand InstanceからReserved Instanceへの乗り換えが現状まだ面倒くさそうなのと、
自分の用途ではインスタンス使用料よりネットワーク使用料の方が圧倒的に高いので、とりあえずそのままにしておきます。
年間通して使ってるインスタンスの台数が多いとかなりいいですね。
Hadoop + Luceneで分散インデクシング – moratorium
MapReduceアルゴリズムは、以前CouchDBに触れたときになんとなく概要は理解したのですが、
どういうデータを、どういうMapでどうReduceするか、その結果が意味のある何かになるのか?
というところを考えるのが難しいですね。
技術を理解するのと、それをビジネスに生かす能力は別といった感じですか。
Amazonで閲覧中の商品に価格comから最低価格を取ってきて付加するGreasemonkeyスクリプト書いた – 5.1さらうどん
これはやられた!
やられたといっても、「そんなアイデアがあったのか!」というやられたではなくて、
先にリリースされた!という意味のやられたです。
しかしこちらで考えてたのは、システム的にはもっと能動的で、ユーザーはもっと受動的に見れるものなので完全に被る訳ではないですが。
もちろんGreasemonkeyスクリプトでもないです。
メモリ確保の基本と Foundation
Twitterの方にもちょこっと書いたと思うのですが、最近Objective-Cのallocをハックしようとしています。
インスタンスのメモリ割り当てに、特定のアドレスを使いたいからです。
特定のアドレスを使えると何が良いのかというと、あらかじめ確保しておいたメモリを割り当てれるからです。
さらにあらかじめ確保しておいたメモリを割り当てれると何が良いのかというと、オブジェクトの生成が頻繁に行われる場合に速度を稼げるからです。
まぁ、オブジェクトの生成だけじゃなく破棄も考慮しないといけないですけど。
本当なら、AtomAPIを使ってアメブロに投稿するプログラムのソースを掲載して説明したいところですが、
ソースを表示するためのWordpressのプラグインが、色々テーマを切り替えた結果動かなくなってるっぽいので、
とりあえずは断念です。
(というか需要ないでしょ)
ということで雑記です。
wrong, rogue and log : 大規模インフラ個人運用:AWS+Hadoopの成功例
もう1年前くらいの記事です。
NY Timesが4TBのTIFF画像をPDFに変換するのに100個のAmazon EC2インスタンスを使ったということは風の噂で聞いてましたが、
リンク先には、EC2を使った場合と外注した場合のおおまかなコストが載ってます。
EC2を使った方が圧倒的に安いです。しかもプログラマ一人しか作業してないし。
ただ重箱の角になりますが、EC2のネットワーク使用料が考慮されてないっぽいです。
圧縮するだろうから4TBをそのまま転送することはないでしょうが、それを含めると単純計算でコストは2倍くらいになると思います。
それでも業者に外注するより圧倒的に安いことには変わりはないですけどね。
Amazon EC2が超激安価格を設定!もう日本のデータセンタはダメだろう。 | やむにやまれず
いつの間にw
AWSのこのスピード感がたまらんです。
ただ、個人的にはOn-Demand InstanceからReserved Instanceへの乗り換えが現状まだ面倒くさそうなのと、
自分の用途ではインスタンス使用料よりネットワーク使用料の方が圧倒的に高いので、とりあえずそのままにしておきます。
年間通して使ってるインスタンスの台数が多いとかなりいいですね。
Hadoop + Luceneで分散インデクシング – moratorium
MapReduceアルゴリズムは、以前CouchDBに触れたときになんとなく概要は理解したのですが、
どういうデータを、どういうMapでどうReduceするか、その結果が意味のある何かになるのか?
というところを考えるのが難しいですね。
技術を理解するのと、それをビジネスに生かす能力は別といった感じですか。
Amazonで閲覧中の商品に価格comから最低価格を取ってきて付加するGreasemonkeyスクリプト書いた – 5.1さらうどん
これはやられた!
やられたといっても、「そんなアイデアがあったのか!」というやられたではなくて、
先にリリースされた!という意味のやられたです。
しかしこちらで考えてたのは、システム的にはもっと能動的で、ユーザーはもっと受動的に見れるものなので完全に被る訳ではないですが。
もちろんGreasemonkeyスクリプトでもないです。
メモリ確保の基本と Foundation
Twitterの方にもちょこっと書いたと思うのですが、最近Objective-Cのallocをハックしようとしています。
インスタンスのメモリ割り当てに、特定のアドレスを使いたいからです。
特定のアドレスを使えると何が良いのかというと、あらかじめ確保しておいたメモリを割り当てれるからです。
さらにあらかじめ確保しておいたメモリを割り当てれると何が良いのかというと、オブジェクトの生成が頻繁に行われる場合に速度を稼げるからです。
まぁ、オブジェクトの生成だけじゃなく破棄も考慮しないといけないですけど。
- 次の記事: iPhone SDK 3.0 beta 5でCodeSignエラーで実機にインストール出来なくなって困ったけど解決した
- 前の記事: CentOS5.2 x86_64 にApache2::Request(libapreq2)をインストールする方法
コメント:0
トラックバック:0
- トラックバック用URL
- http://peta.okechan.net/blog/archives/631/trackback
- リンク元
- 雑記 ← 日曜研究室 〜技術的な日常〜