以後不用自己再建 MapReduce cluster 了...
自從 Google 2004 年發表 MapReduce 的 paper 以後，世界上各個 MapReduce 的 project 就層出不窮。Hadoop、Disco... 多如繁星不勝枚舉，彷彿 Cloud computing 這個喊的震天價響的名詞少了MapReduce 就不叫 cloud 了。
Amazon 相當以 cloud computing 的先驅自豪，從早期最受歡迎的 S3、EC2，到後來的 SQS、SimpleDB、EBS 都相當實用。現在 Amazon 更把 MapReduce framework 搬上來了。不過可能動作太快，他的 Getting Started Guide 根本連結都還沒好... -_-
Pricing 的部份，因為它必須在 EC2 上整合，所以 cost 是計算 EC2 的 instance cost 加上 MapReduce 的 cost。划不划算？可能就要自己打打算盤了。
SimpleDB 的門檻又再降低了一些。
Amazon 今天公佈，SimpleDB 的 query，現在正式支援類似 SQL 的 SELECT 語法了。詳細的用法可以參考 Developer Guide 的文件。老實說，我不認為這有什麼巨大的影響，不過對於原本熟稔 MySQL / pgSQL 而卻步於類似 SimpleDB 或是 BigTable 之類的人，可能會降低一些他們轉換的心理負擔。
講了 Amazon webservices 這麼久 (一狗票 post 呢)，老實說我也不知道到底國內 web developer or Architect 用的人多不多。不過我敢很肯定的說，如果你們公司在網際網路業裡面，而沒有很好的理由不使用任何 Amazon webservices 的話....
You should probably fire your CTO.
之前 Amazon 已經在封測他們自己的 CDN 方案，現在正式公佈出來了：Amazon CloudFront。一如大家的預期，Amazon 在定價上把市面上幾乎所有的 CDN service 都打死了。定價依照地區別不同而有分別，但是整體來說都很便宜。另外，使用上幾乎沒有什麼妨礙。如果檔案原本就是透過 Amazon S3 在儲存，那麼使用 CDN 根本不費吹灰之力。
Amazon CloudFront 現在提供的 POS 數目還並不很多，但是對大部分喜歡使用 AWS 的中小網站來說，應該是綽綽有餘了。
不過，CloudFront 現在並沒有特別強調他們的 video flv streaming service (而這恰巧是許多 CDN 廠商都會強調的)。或許 CloudFront 現在比較適合拿來單純 serve image/js/css 吧？
剛剛收到信，發現 Amazon 也準備提供 CDN service 當作 aws 的一部分，而且已經進入 private beta testing 了...
又是一個準備打壞行情的新服務。不知道這個 CDN service 打算怎麼 charge？服務效果好不好？涵蓋的區域範圍有哪些？(看起來只有三大洲)
不過這樣搞下去的話，其他 CDN provider，除了 akamai 這種老牌子、以及 cachefly 這種便宜的不像話的廠商也許還撐的下去以外，其他的 CDN 廠商應該會倒光吧...
今天看到消息，Amazon EC2 已經開始提供兩個新的 instance type，給 CPU 需求量較大的人使用。新的 instance type 分別是：
我還滿好奇的，NetApp 怎麼還沒倒啊？
大家都知道，Amazon 提供的 webservices 搭配起來可以多強多猛。EC2 + S3 + SQS + SimpleDB 簡直就是無敵。但是問題在 EC2 的 instance 上面，沒有可靠的儲存裝置可以使用。S3 雖然很保險，可是操作 S3 沒有辦法像操作 filesystem 那樣方便，而 S3 的 latency 也不允許一層 FUSE 的介面操作。
上個月 Amazon 公佈說，將來會開始支援 persistence storage 了。你可以動態要求任意大小的單位容量 - 小從 1 GB 大到 1TB - 而且還不限制單位數目。也就是說你可以輕輕鬆鬆要好幾個 1TB 的儲存單位，放置你想放的東西。還支援 snapshot 備分到 S3 上面，達到更強固的備分效果。Amazon 的 Jeff Barr 也在他們官方的 blog 上面貼了一篇簡單教學，告訴你應該怎麼操作。
聽起來很棒對不對？真的是很棒。可惜現在 API 還沒有正式上線。這段時間如果覺得需要 persistent storage 的人，就只能自己硬幹了。... 可是我沒想到這年頭還真的有人這麼熱血！XD
今天在這邊看到一篇文章，是一篇完整的 howto，用 DRBD、LVM、Heartbeat 等元素組出來一套建構在 EC2 上面的「persistent storage」。雖然說是 persistent 但是畢竟不如 Amazon 官方製作的一般，可以完全獨立於 EC2 instance 以外。但是大部分功能都已經很齊備了，諸如 failover、redundancy、snapshot 等功能一應俱全。雖然建構起來頗費工夫，但是對於已經需要上線運作 (換句話說沒空等 Amazon 官方 release 的 solution)、又很擔心資料完整性的人，倒是很適合的。
話說回來，等到 Amazon EC2 官方版的 persistent storage 上線以後，還有多少人要買 NetApp？XD 這年頭買 NetApp，根本已經完全不符合成本效益了。
Amazon EC2 確實便宜大碗，但是之前最為人所詬病的，就是必須用 CNAME 或是 dyndns 的方式來指定 domain name。今天收到信，現在 Amazon 推新版的 EC2 API，終於提供了 static IP 的功能，還讓人可以自由選擇自己的 instance 要開在哪個機房的 cloud 中。
雖然機房位置可以選的並不多，static IP 也只提供一組，不過已經是不小的進步了。
詳細資訊可以看：
對 developer 來說，Amazon S3 解決了許多大量檔案儲存的問題。但是對一般 user 而言，如果只是要備份一些小東西，比較少有人特別寫 script 來專門做備份、monitor 自己有哪些檔案。今天亂翻資料的時候，倒是看到一個 S3fox 的好東西。
S3fox 是一個 firefox 的 extension，可以在 firefox 理面瀏覽自己的檔案、拖拉上傳，也可以替你建立子目錄、進行目錄的 sync 來做備份。(開子目錄是 Amazon S3 不支援的 API，我猜是 S3fox 模擬出來的虛擬目錄吧...)
對一般用戶來說，倒是滿好用的。
[Update 2008/03/02] 我還真是後知後覺，今天才知道 infiniteFTP 這種東西。看起來很好用啊...
大概是受不了大家狂抽猛送了 XD
話說第一次看到 Amazon Simple Queue Service 的時候，發現他的計價單位是以傳送的 queue message 來計算，而不是以 request 數量。當時的直覺反應就是：既然這樣誰還要管什麼 messaging 架構？如果有多種 system 之間需要溝通，直接往 SQS 塞就好，其他都不用煩惱。反正另一邊只管狂 poll，不斷查詢有沒有給自己的新訊息就可以了 XD 反正查詢不用錢嘛！
Amazon 大概是受害甚深，現在公佈要「調降」價格了：以前是每 1000 個 message 算 $0.01 美金，現在變成每 10000 個 request $0.01 美金。換句話說，如果還是用老方式狂 poll amazon 的機器的話，用新的方案就會比較貴；如果自己乖一點，有適當的 backoff 機制的話，新方案或許就會比較便宜。
新的價格也已經 announce 在 SQS 官方網頁上了。不過這個消息公佈到定價調整之間沒有什麼空檔，倒是稍嫌過分了點。至少也該讓惡搞的人有點時間改程式嘛。論語也教我們，「不教而殺謂之虐」啊。
假降價之名，其實是在告訴大家「別再操我們的機器了！不要亂搞我們的服務！」
這也算是典型的以價制量吧 :p
Amazon 快要一統江湖了。
剛剛一邊泡茶，一邊在 AWS 翻查 EC2 和 SQS 的資料的時候，突然發現旁邊的 webservices 多了一個以前沒看過的 Simple DB... 愣了一下，腦海裡響著：「前陣子才在想 Amazon AWS 系列獨缺 DB 一塊，怎麼這麼快就補上來了？」馬上點下去看，發現原來確實是今天剛出的 Orz 果然早起的鳥兒有蟲吃啊...
話說 SimpleDB 不像 RDBMS 一樣支援那麼強大的 Query 方式，提供的是基本的 =、!=、<、>、<=、>=、STARTS-WITH、AND、OR、NOT、交集和聯集等查詢條件。但是好處是你不再需要一個經驗豐富的 DBA 來替你處理 DB schema 和 indexing，也不用考慮 scalability 和 load balancing，這些全部交給 amazon 煩惱就好。對於資料關聯不複雜、處理 database 經驗不足的開發者來說是不小的誘因。
不過話說回來，這個 SimpleDB 目前還在 limited beta 階段，白老鼠有限，不曉得還有沒有什麼怪地雷還沒被踩過。另一方面來說，目前的版本還是有些限制：每個人只能開 100 個 domain (可以把 domain 想像成 table)，一個 domain 只能放 10G 的資料。然後每個 attribute (可以想像成 column) 最高只能 1024 bytes。最後，不論 10G 的限制有沒有達到，一個 domain 不能有超過 2500 萬個 attributes。
這對於真正希望 SimpleDB 替他解決 scalability 的人來說不是很好的消息。不過目前 SimpleDB 才剛推出，或許將來這些限制也會慢慢被降低。整體來說，SimpleDB 對於喜歡用 Berkeley DB 的 lightweight、不愛 MySQL 這種重量級大砲的人來說，倒是個很好的 solution。尤其 Berkeley DB 處理多台電腦 access 資料的 solution 不多，而且 SimpleDB 提供的功能遠比 Berkeley DB 強大。
看來，以後有志於 web startup 的人，根本不需要具備太多 scalability 的技巧。只要有一些 common sense，租一台 EC2，需要 storage 就用 S3，需要處理不同架構間的 IPC 就用 SQS，要存資料就放 SimpleDB... 你還需要些什麼？Amazon 根本就已經把 solution 都做好給你了。
不過，相對於 Amazon S3、Amazon EC2、Amazon SQS 的價廉物美來說，Amazon SimpleDB 的價格略嫌貴了一些，我想我應該會等他降價再來考慮看看吧。
[Update] 果然是 Limited beta，我想申請的時候居然跟我說：「The Limited Beta will be opened to the public in the next few weeks. We will contact you via e-mail when the beta program opens and a spot becomes available.」原來根本還沒開始賣啊？=_=
上次說到 6/23 在 Seattle 有個 Conference on Scalability，昨天發現這些影片早就已經上線了。對於跟我一樣沒有參加 conference 卻對主題內容有興趣的人來說，可真是方便啊...
我把影片跟各個 session 的順序整理一下，一來自己需要，二來有興趣的人也可以直接取用 :)
剛剛看到消息，Google 的 Conference on Scalability 目前開始接受報名了，這次 conference 地點在西岸的 Seattle，時間是 6/23。稍微看了一下 Keynote speaker，陣容頗不錯啊，個個大有來頭。講的主題也不少，關於
發表文章
所有留言
© Free Blogger Templates Autumn Leaves by Ourblogtemplates.com 2008
Back to TOP
