ビッグデータのお話・２ 非構造化データ

今週ラストのエントリーの本日も、ビッグデータのお話を続けましょう。



ビッグデータのタイプが通常のデータベースのような形で構造化されていなく、結局センサーデータで入ってきたようにバラバラな「非構造化データ」になりつつあります。

現在、既にビッグデータの約8割が非構造化データであるとも言われています。（ちなみに DTS ではこの「非構造化データ」の取り扱いをオントロジーを使用して意味付けして使用しています）















このままでは 2015年 には確実に80%以上のデータが不確かなものになると予想されています。ビッグデータの本当の状況は現在こんな感じです。

次にビッグデータの特徴をみてみましょう。ビッグデータの「3つのV」をご存知でしょうか？


Volume（ヴォリューム・量）

Variety（ヴァラエティ）

Velocity（速度）

そして、同じビッグデータでも、地域によってその需要項目、目的が異なります。例えば２本なら、業務コストの削減がやはりその大きな目的の一つとなっていますが、他のアジア諸国の場合、競争優位確保などが一番の目的になっている状況です。

来週もビッグデータのお話を続けます。ぜひ、おつきあいくださいませ。

それでは今週も DTS ブログをご愛読いただきましてありがとうございました。週明けは、早いものでもう12月。公私に渡り忙しくなる時ですので、お身体にはお気を付けくださいませ。良い週末を！

関連記事

ビッグデータのお話・１
http://blog.livedoor.jp/dts_1/

ビッグデータの本質
http://blog.livedoor.jp/dts_1/archives/1581400.html

ビッグデータか？　オントロジーか？
http://blog.livedoor.jp/dts_1/archives/1540190.html

ビッグデータのお話・１

さて今日のエントリーから少し、「ビッグデータ」のお話をしていきましょう。もちろん、DTS ですから「ちょっと違うビッグデータ」という感じになっていくと思います。


皆さん良くご存知の、ビッグデータのためのツール群。Hadoop 関連製品には MapReduce、HDFS、Hive、Pig、Mahout、Sqoop、HBase などがあります。（関係ありませんが、これらのツール群、マスコットを掲げていることも多くこれがなかなかにゆるキャラで可愛いかと）
















これらはすべて Tooi 類。Tool を使用して、Hadoop、そしてビッグデータを
やりましょうというのが一般的な流れです。さて、DTS の場合は、これらとオントロジー
を使用します。

次にビッグデータ分析の事例をみてみましょう。

情報漏えいの不正使用検知
交通渋滞をリアルタイムに予測
顧客履歴分析（レコメンデーション）
金融商品のリスク評価
電力・水道・ガスの需給制御
輸送の最適ルート算出
・・・

そして、ビッグデータを使用したビジネスの応用として・・・


●既存パッチの高速化

●ビッグデータの分析

などが挙げられます。例えば、この「既存パッチの高速化」といった場合、DTS の MCell 、高速の DTS などが使用されています。

明日は、「構造化されたデータと、非構造化データの混在」などについてお話しようと思います。

関連記事

ビッグデータの本質
http://blog.livedoor.jp/dts_1/archives/1581400.html

ビッグデータか？　オントロジーか？
http://blog.livedoor.jp/dts_1/archives/1540190.html

「SAYAKA（サヤカ）」の試食

週の真ん中水曜日は、恒例の「ちょっと寄り道」エントリーです！以前にもご紹介しております、パキスタンで作られた日本米、DTS ブランドの「SAYAKA」を試食してみました。


「SAYAKA」はコシヒカリを籾種にしたお米です。パキスタンで日本米？という感じですが、パキスタン米殻輸出国協会は、パキスタン・シンド州の米の生産が今年じゅうに20万〜50万トン増加することを予想。自然災害による被害がほぼ皆無での環境での米作りが可能であるとパキスタン議会でも公式発言されています。


















当然ですが見た目、まったく日本米です。


















もちろん無洗米ではないので、研ぎます。


















ふっくらと、まったく普段我々が食べている日本米のあの炊きあがる良い香り・・・


















いただきます！
味もまさしくのコシヒカリ。というか、おかずが無い！（苦笑）

















というわけで、「パキスタンで作らた、日本米」。美味しくいただきました。SAYAKAに関する追加情報が入手出来次第またこのブログで！

関連記事

SaYaKa
http://blog.livedoor.jp/dts_1/archives/1569150.html

パキスタン大使館でのミーティング

今日は、先日パキスタン大使館で開催されたミーティングへの出席のご報告のエントリーとさせていただきます。


今回ご招待いただきましたミーティングは、このブログでもお伝えしております「EXPO Pakistan 2013」の出席者が、参加の感想、改善点などを発表して今後の EXPO 開催、さらにはパキスタンの国全体の向上のために参考にしたいという趣旨でした。

MTGのスナップ
（向かって左から）DTS本社取締役（パキスタン支社・COO）のIrfan・
DTS CEO 高橋・パキスタンFarukh Amil大使・Dr.Talat Imtiaz　経済行使
















パキスタン大使自らが出席し、感想や要望などに耳を傾け、大使からの回答がその場で聞けるという、大変有意義なミーティングでした。
今年から大使が変わったのですが、過去数回の EXPO 出席の中で事前説明会や事後報告会が開かれたのは今年初めて。他の参加者からも発言がありましたが、パキスタン大使館のご協力に参加者全員感謝していました。

















今回は、ランチミーティングという形態での開催。それでは、DTS ブログ記者によるスナップミニミニレポート（？）を。

こちらが当日のメニュー。パキスタン名物料理が並びます。


























ナイフには、パキスタン国旗でお馴染みの月と星が。











































パキスタン ISEZ（国際経済特区）セミナーにて講演中のDr.Talat Imtiaz　経済行使
http://blog.livedoor.jp/dts_1/archives/1577555.html

浅草 酉の市

今週も DTS ブログを宜しくお願いいたします！



先週は DTS のこれからのコンピュータについてのお話が続きました。今週頭の今日のエントリーは久しぶりの・・・上野情報です！

DTS 東京本店のある上野。上野駅は、現在こういう感じで、浅草酉の市の大きな垂れ幕が。お馴染みの壁画（猪熊弦一郎）とのマッチングが、そろそろの年末気分も手伝い「これぞ和！」という感じを演出しています。


















今年の酉の市は3日・15日、そして・・・明後日27日（水曜日）が最終日（三の酉）です。とにかく浅草（DTS からもすぐです！）が盛り上がるのが酉の市。浅草では年末・年始、三社祭、サンバカーニバルなど有名どころの催事が多いですが、この酉の市も名物催事になっています。

そもそも酉の市とは？という方は（それは今日のブログ担当である私なのですが・・・）、ぜひこちらのサイトをぜひ。

http://www.otorisama.or.jp/yuisyo.html

こちらは浅草・酉の市オフィシャルサイト。リアルタイムな情報はこちらをお勧めです。

http://www.torinoichi.jp/


それでは今週も平日毎日更新の DTS ブログを宜しくお願いいたします！

今週も DTS ブログをご愛読いただきましてありがとうございました。

プライベートなクラウドがやっと普通に普及してきました。今までは「クラウドって言ってもみんな普通にやってるじゃないか」という人が多かったのが、徐々にサービスを移行してプライベートクラウドに移行しつつあります。


通常のエンタープライズも実際にロケートという形でデータセンター側に持ってくることが可能になり、VM（仮想環境）を使用したり、Windows、Linux な仮想化も含めてそれが当然の こととなったので MCell などの高速ストレージなどが必要になってきています。

以前（4年程前）、DTS 高橋が学会で発表した L4 キャッシュの論文があります。（VM ware のテスト結果なども含んでいます）

















DTS の学会での発表論文一覧のページ
http://www.dts-1.com/publication.php
















このあたりの論文などもアクセスが急激に増えている状況です。つまり、学会での論文レベルだったテクノロジーが、実際のツールとして普及してきたわけです。

今週も DTS ブログをご愛読いただきまして誠にありがとうございました。来週も様々な話題で平日毎日更新の DTS ブログをよろしくお願いいたします！良い週末を。

来週は、「ビックデータと Hadoop」についてのお話も予定しています。お楽しみに！

「ケータイは使うが、ネットは使わない」

今週はコンピュータ関連のエントリーが続きました。今日から次回エントリーでは、情報データのお話を。


昨日までのエントリーの方向性で、これから DTS は動いていく予定です。
ご存知のように、現在 IT はツールです。情報の基本は、ある動きをエントロピーでみるというのが、一般的な現在の情報工学です。ある値がエントロピーになって大きくなっていくという。情報が拡散していきますよ、という話です。

例えば今、基本的に何かをキレイに整理・整頓するということは、骨の折れる仕事です。何らかの力がかかります。情報工学もこれとまったく同様でずっと保持するということはものすごく力がかかるのです。

DTS CEO 高橋宏尚（工学博士）
















インターネットで考えると、今現在、日本でのインターネットアクセス率は約 82〜83% 程度と考えられていますが（米国、カナダ、オーストラリア、韓国、ヨーロッパのいくつかの国も同様です）、その他の国では「ケータイは持っているが、インターネットには繋がらない」国も多く存在しているのです。

例えば、お馴染みパキスタンではほぼ 100% に近い数字でケータイが使用されているにも関わらず（スマホも含め）、インターネットへのアクセス率は20%〜22%程度です。「ケータイは使うが、ネットは使わない」国民が圧倒的多数なわけです。

私たちが思っているように、ネットで情報を発信するというのは最近の話なのです。少し前にその役割の中心であったブロードキャストではなく、ネットの情報発信が当然のこととなっています。そして、その結果、現在は情報のカオス状態。先進国と発展途上国（これから経済的にも発展していく国々）の大きな違いは、情報コントロールということになっています。

明日、今週ラストのエントリーでは、クラウドを中心にしたお話を。


関連記事

インフォメーション・オブ・データ
http://blog.livedoor.jp/dts_1/archives/1591919.html

高速ストレージの需要が高くなっている理由
http://blog.livedoor.jp/dts_1/archives/1591585.html

オペランドのレイヤーコントロール - DTS
http://blog.livedoor.jp/dts_1/archives/1591732.html

インフォメーション・オブ・データ

昨日・一昨日のエントリーでは、「MCell が現在のコンテンツビジネスで再注目される理由」、そして「次の段階の DTS技術」についてお話してきました。


昨日は、オペランドがロケーションのコントロールはできないことをお話しました。今までは数値を数値として効率化するためのレイヤーコントロールでしたが（キャッシュ、タイムスタンプ・・・）。
2020年の Web3.0 （セマンテック Web）に向けて考えていかなければならないのは、「データではなく、インフォメーション・オブ・データ」。データ自身に意味があること。これが最も重要なこととなっていきます。

実際には情報というものには意味が必ずあります。文書であったり、数字であったり・・・通常の0から9までの10桁の話ではありません。意味を取り込んでいくといったことで、あるいは「意味のあるこのセンテンス」「意味のあるこのキャラクター・コンテンツ」に関して考えて開発していけば本質的に次のレベルの DTS レイヤーとなるのです。

ご存知のように現在、DTS ではオントロジー系ソフトウエアの開発、商品化が進行中です。オントロジーレイヤーコントロールであり、製品ではセキュリティ、URLカテゴライゼーション、ユーザープリファレンス、企業評価（経済学的な数学ではない、オントロジーを利用）・・・こういったものと、MCell のような効率化ハードウエア的なものを組み合わせることにより、次の「DTS III」といったものを開発しています。

お知らせ
明日(11月21日）に参加を予定しておりました「常陽ものづくり企業フォーラム」技術商談会は、弊社都合により不参加となりました。何卒ご了承くださいませ。

関連記事
高速ストレージの需要が高くなっている理由
http://blog.livedoor.jp/dts_1/archives/1591585.html

オペランドのレイヤーコントロール - DTS
http://blog.livedoor.jp/dts_1/archives/1591732.html

オペランドのレイヤーコントロール - DTS

昨日のエントリーでは、Violin や DTS の MCell のような高速ストレージが、なぜ今、再び注目を浴びているのかをお話いたしました。


我々 DTS の MCell は既に世界特許を取得済み。手前味噌ではございますが、みなさんご存知のように海外サイトでも注目いただき、Interop でも受賞させていただき、数々の国内法人様にもずっと導入いただいております。

この実績も認めていただき、米国やその他の企業様から多くのお問い合わせを頂戴している状況です。

DTS MCell（写真は MCell SSD）
http://www.dts-1.com/search.php?search=MCell
















そして、今日は DTS の「今の」テクノロジーのお話をほんの少し。
3年程前から次の段階に突入しています。特許前、学術論文手前の段階まで進行しています。この技術にはお馴染みオントロジーが必須です。

DTS の源のなるデータトランスミッションというのは、プログラムのオペコードではなく、オペランドを見ようとしているのです。オペコードというものは結局、（言語処理で言えば）命令です。命令の後に必ずデータ処理が発生します。このデータは、オペランドなのです。

オペランドはプログラム上は「そこ」に存在していますが、実際にはどこの位置にあるのかロケーションのコントロールが不可能です。そこをコントロールするためのレイヤーコントロールを書いたものが「DTS」なのです。

専門的な話になりましたが、明日もこの続きを。

オペコード
機械語の1個の命令の部分で、実行する操作 (operation) の種類を指定する部分、およびそのコード（符号）

オペランド
命令が処理すべき対象となるデータのこと

高速ストレージの需要が高くなっている理由

今週も DTS ブログをよろしくお願いいたします！さて、先週末に少しお知らせいたしました DTS の MCell。最近、米国などで再度話題となっているようです。


近日、DTS の M-Cellと、米国の最新機器（iSCSI※)のNASとの接続検査を行うことになっています。他にも、アジア圏でも M-Cell の需要が高くなっています。

この現象は、例えば、シリコンバレーには一時代前には半導体の企業等のハードウェアの企業が多かったわけです。現在はご存知のように Google 他のクラウドサービス企業、あるいはEV関連、エネルギー企業ばかりです。

そんな現在のシリコンバレーでは、クラウドとして標準に利用されているサーバ環境でのコンソリデーションで（サーバの仮想化は既に標準）使用されています。しかしながら、その下側のストレージの性能が遅く、結局は仮想化のスピードが遅くなり、今、高速ストレージ自体の需要が高くなっているのです。

方向性として、そのひとつのデータベース系はインラインメモリ（メモリ上に多くのサーバメモリをレイアウトして、そこにデータベースを RAM 化して・・・という我々が10年以上前にやっていたようなサーバが今、登場して一般的になっています）


DTS MCell
















もうひとつが、メモリに関してOSというものは実際のファイルシステム上のメモリ空間はある一定のタスクなどそれぞれに対してインスタンス※に割り振りできないので、結局メモリを多くします。ここで高速ストレージが必須になってくるわけです。

今になって（？）いくつかの SSD 開発の企業が再注目（株式上場、あるいは大手企業に買収、M&A・・・）されているのはこういった理由からです。

明日もこの続きを少しお話しましょう。


※iSCSI
ギガビット・イーサネットが一般化した現在、企業内で iSCSI を受け入れる環境は急速に整った。iSCSIベースのストレージエリアネットワーク (SAN) の構築は、ファイバーチャネルによる SAN よりも安価で検討に値するものとなっている。

※インスタンス
オブジェクト指向プログラミング。クラスを基にした実際の値としてのデータ


DTS MCell SSD
http://www.dts-1.com/products.php

DTS サーバ
http://www.dts-1.com/details.php?id=572

MCell 120GB
http://www.dts-1.com/details.php?id=576

その他 MCell 詳細
http://www.dts-1.com/search.php?search=MCell