Amazon EC2上のHadoopでMeCabを使えるようにしてみた…い

分散処理

最近すっかり"Webサービスを作ってみた"系の記事ばっかりでしたが、今回は久々にEC2上でのHadoopのお話。以前の記事でEC2上でHadoopを動かした時は、MeCabがデフォルトで入っていなかったので、事前に自宅サーバ上で分かち書きしたデータを使っていました。…

2010-04-04

Amazon Elastic MapReduceでHadoop Streamingする時にライブラリをrequireする方法

分散処理 PHP

ちょっと元データの件数が大量にある処理をしたいという要件があって、普通に逐次処理していくと恐ろしく時間が掛かるので、「こんな時こそHadoop!」って事で、久々にHadoopをいじくっていました。ただ、自宅サーバでやろうとすると、いくら分散処理できると…

2010-03-09

Hadoop Hack Nightに行ってきました

勉強会分散処理

米国Yahoo!のHadoopチームアーキテクトのOwen O'Malleyさん来日に合わせて、技術評論社・Yahoo! JAPAN主催で行われたHadoop Hack Nightというイベントに行ってきました。定員100名と結構大規模なイベントでしたが、申し込み開始からたった1日で申し込み多数…

2009-04-23

自律型クラウド管理ソフト Wakame がスゴそう

分散処理

以前参加した、Tokyo Cloud Developers Meetupで株式会社あくしゅの方がWakameというソフトについてプレゼンされていて、二次会でもお話を伺って、素直に「スゲー!」と思っておりました。そのWakameがついにリリースされたようですね。→http://www.ventureno…

2009-04-10

Tokyo Cloud Developers Meetupに行ってきました

分散処理勉強会

最近、分散処理とかクラウド辺りにアンテナを張っていたところ、偶然、Tokyo Cloud Developers Meetupというのが開催される事を知りまして、運良く参加枠に滑り込めたので行って参りました。*1途中、メモとかは取ってなかったので、全体の印象ぐらいでさらり…

2009-04-04

Amazon Elastic MapReduceでPHPも使えるか試してみた

分散処理

AmazonがEC2上でHadoopによるMapReduceを実行できるサービスを出してきたようですね。→Amazon EMR - Amazon Web Services →http://kzk9.net/blog/2009/04/reviewing_amazon_elastic_map_reduce.html前回の記事では、EC2上でHadoop用のインスタンスを自分で動…