Hatena::Groupnadesiko

雪乃☆雫のなでしこ日和

2017-03-12

呼んだら返事をするプログラム

| 17:41

 とりあえず、こうゆうこと。

#-----------------------------------------------------------
ダイアログIME=「IMEオン」
「◆コマンド◆
・ナコ様
・ナコ
・バイバイ」を表示

オン
  「ナコ様を呼ぶ」で尋ねる。
  それで返事。

*返事(Sで)
  もしそれが「ナコ様」ならば、「な~に?」と言う。
  違えばもしそれが「ナコ」ならば、「呼び捨てかよ!」と言う。
  違えばもしそれならば抜ける。
  違えばもしそれが「バイバイ」ならば、「バイバイ」と言う終わる。
  違えば、「僕は{それ}じゃないよ」と言う。
#-----------------------------------------------------------

 コレを、音声認識でやりたいってだけのこってす。

 プログラム的には、「尋ねる」で文字入力の代わりに、音声認識した単語で返事させればいいだけなので、難しいことなどいっこもなく。

 ただ、Juliusさんが、どーでもいい音までいちいち拾っては、あからさまに合わないものは無視してくれればいいのに、必ずリストの中のどれかに無理矢理割り当てて返してよこすんだよね。

 ことに一番短い「ナコ」に割り当ててしまう率が高く、すぐにナコさまが「呼び捨てかよ!」と怒ってくるとゆう困りもの;;;


 大人しく一人で家でパソっていて発生しがちな雑音は、テーブルにコーヒーカップなどを置く音、マウスがテーブルにぶつかった音、うさがシャカシャカとフローリングを掘る音!ヽ(`Д´)ノ ・・・など。

 人が身じろぎするような音には、それほど反応しないんですが、あと、結構ばしばしキーボードを叩いても、あまり反応しないんですが、上記の音については非常に良く反応しちゃいます。周波数?とかの関係???

 しかしまー、これらの人の声ではないノイズを面目にどーこーしようなんてコトはワタシの能力の範疇を軽々とえているので考えない!w


 「カタン」とか「コツン」というような音については、リストにいくつか適当な単音を登録しておいて、それを無視するのがいいみたい。「カサカサ」「シャカシャカ」などの連続した音については。果たしてどうなんだろう・・・

 とりあえず、50音プラス濁音、半濁音などを加えた単音で、どの音で認識されてくる率が高いかを実験してみたので、結果をはっぴょーします。

 、栄光の(?!)トップテンに輝いたのは・・・

 「っ」「ぷ」「う」「あ」「え」「ん」「ふ」「く」「ぶ」「ぱ」でしたぁ~。

 「っ」の音素列は「q」だし、「ん」は「N」。母音の「う」「あ」「え」がランクインするなど、より短い方がいいっぽいとゆうのは、まったくめだかさんに教えて頂いたとうりですね!

 しかし、「い」「お」を抑えての「ぷ」「ふ」「ぶ」のろい踏みも、なかなかじゃないですか?

 はJuliusさんを起動しっぱなしにして置いて、自然発生した音を認識させといてハッシュで集計したので、どんな音がどの音に? というのは不明なんですが、うさの立てる音は圧倒的に「っ」になる率が高くて、それが「っ」の順位を大幅に引き上げてる気がしますwww


 この実験結果を踏まえて、単語リストはこんな感じにしてみた。

#---nako_sama.jdic------------------------------------------
ナコ様	n a k o s a m a	
ナコ	n a k o	
バイバイ	b a i b a i	
くじらさん	k u j i r a s a N	
ペンちゃん	p e N ch a N	
ワニさん	w a n i s a N	
らいおん君	r a i o N k u N	
ノイズ	q
ノイズ	N
ノイズ	a
ノイズ	u
ノイズ	e
ノイズ	p u
ノイズ	f u
ノイズ	b u
ノイズ	k u
ノイズ	p a
フィラー	a:
フィラー	e:
フィラー	N N
フィラー	e: t o
フィラー	u: N t o
#-----------------------------------------------------------

 反応を見ながら増減の予定。

 「ノイズ」だの「フィラー」だのとゆうのは別になんでも良く、「※」でも「 」でもよかったんですが、には出来ないようだったのとコメントなどが付けられないので、取りあえず見て分かりやすいように。


 してプログラムはこんな感じ。

 JuliusようのTCPや音声認識結果を取得する関数は定型なので割愛。

 いちおう、「Julius音声認識時処理」だけ書き換えたらいいようにしたつもり・・・

#-----母艦設計----------------------------------------------
母艦の閉じた時は~Julius終了。
#-----GUI------------------------------------------------
会話エディタとはエディタの幅は200。
#-----Julius起動--------------------------------------------
もし、Julius起動バッチの存在はいならば、Julius起動バッチを起動違えば、「起動バッチがありません。」を言う終わる
Julius接続。
#-----メイン------------------------------------------------
「◆コマンド◆
・ナコ様
・ナコ
・バイバイ」を表示

*返事(Sで)
  もしそれが「ナコ様」ならば、「な~に?」と言う。
  違えばもしそれが「ナコ」ならば、「呼び捨てかよ!」と言う。
  違えばもしそれが「ノイズ」ならば抜ける。//「ノイズ」と言う。
  違えばもしそれが「フィラー」ならば抜ける。//「フィラー」と言う。
  違えばもしそれが「バイバイ」ならば、「バイバイ」と言う終わる。
  違えば、「僕は{それ}じゃないよ」と言う。
  会話エディタのテキストは。
#-----------------------------------------------------------
●Julius音声認識時処理(Aで)
  会話エディタのテキストはA。
  Aで返事。
  戻る。
#-----------------------------------------------------------

 これで一通りは「尋ねる」の場合と同じような感じで答えてくれるようになりました。

 時々、「ナコ」が「うーんと」に認識されて、フィラー扱いで無視されるっぽい; えー? 似てるかい??

 「うさこさん」などと言うと、ほぼ「ナコ様」と認識して、返事してくるwww

 これはもう、この孤立単語認識自体が、決まった単語をコマンドとしてどうこうするためのモノなんですから、リストに無いことは言うなって話なんです。

 でもまー、「うさこさん」にいちいち反応されてはめーわくなので、単語リストに「うさこさん u s a k o s a N」を追加

 リストに登録さえあれば、混同されることはない様子。

 よしよし♪♪♪


 ・・・でっ?

 それでどーするんだよっていうと、別にの先の展望はなかったり;;;

めだかめだか2017/03/12 22:24お久ぶりです。この前のお返事をしようと書いていたらいつの間にか寝てしまっていました(笑)
この前のお返事ですが、私が文章を読んでいなかったのであのような頓珍漢なお返事になっていましたwあの時も眠かったんです~・・・許してください(笑)

で、本題ですが、今回のこのプログラムですが、何か喋った後にも、操作をつけたりするのでしたら、条件分岐などを使っても面白い様に思いました。ただ、実用性は・・・w

僕の場合は、関数にしてわかりやすくしています。また、処理の内容や命令が多いため、整理しやすくと思いそうしてます^^

ただ、その時は関数内でGUI部品がつくれねぇ!ってなりまして、諦めてましたwちょっと前に知ったのに、手を付けず他のプログラムをポチポチかいておりますw

雪乃☆雫雪乃☆雫2017/03/13 08:22 めだかさん、おはよーございます。
 ワタシは、基本的には、実用的なモノは作らないのですよ~(爆)

 条件分岐ね~。そんなのもありましたね~~~(こらこら;)
 ワタシってば、どうもフロー制御の色々なパターンをうまく使いこなせてないんだよね。基本、「もし」と「回」で生きてるってゆうか;;;(最近になって急に「反復」の便利さを知ったんですよ(爆))
 もしもしもしもしと、見づらいプログラムでゴメンね><;

 そーいわれて振り返ると、過去にも条件分岐使えばいいのに(苦笑)ってヤツがいっぱいだ~。サイコロで胴元やナコ様が沢山喋ってるトコなんか特にね(@_@)
 もちろん、知らないってわけでは無くて、たまたま書いてる時にシナプスが繋がれば、実にさりげなく当然のよーに「条件分岐」を使って記述してる時もあるみたいなんだケドwww

 GUIを動的に作るヤツ、最初、絶対はまりますよね~!
 マニュアルとか見ても、ぜんぜんどこもそんなこと書いてないもねー・・・

めだかめだか2017/03/17 15:11こんにちはー お返事ありがとうございますー

作る作ると言っておきながらなかなか手をつけておらず、完成までしてないのが毎回のオチです(笑)

フロー制御に関しては、もしか回と反復だけで充分お腹いっぱいになりますよねw反復も代入とかで、ごっちゃになりますしw
もしでも、初めの方はそろうので、コードの見た目的には綺麗かもですね(笑)

よくありますーw何故かリフレインを使ったりとかしちゃいますw

初め探してた時に、動的???静的???関数???この構文で何がダメなの???ってなっちゃいましたよwそれようのページもないので、関数使っていそうなプログラムを見つけては、GUIを使うにはどうすりゃいいかをずっと考えてましたねー(笑)

雪乃☆雫雪乃☆雫2017/03/18 07:58GUIについては、もうちょっと突っ込んだ内容の、まとまった情報があるといいですよね~。
最初、絶対みんな不自由すると思う><;

ワタシもいろいろ完成しないで放置してる~。
けっこう飽きっぽいのさ~~~;;;

めだかめだか2017/03/19 22:18ですが、そういった点(GUI関連)では、Cなどへ移行した時に違和感なく組み立てが出来そうなので、いいですが、なでしこ自体プログラム初心者向けなので、そういうのはまだ難しいところですね・・・^^;

途中までいい感じ作っておきながら、他の事に着手しちゃってほったらかしですぅ~(笑)

トラックバック - http://nadesiko.g.hatena.ne.jp/snowdrops89/20170312

2017-03-03

単語リストを作る

| 23:39

 Juliusの文法認識キットでは、記述文法による小語彙の認識と、単語リストのみで実行できる孤立単語認識があります

 簡単なのは、もちろん単語リストの方です。

 記述文法の方は・・・文法自体は簡単っぽいんだけど、なんかコンパイルとかしなきゃないらしく・・・コンパイルするにはperlをインストールしなきゃないらしく・・・(*_*)


 単語リストの方は、簡単です。

 こんなの。

#-----------------------------------------------------------
ナコ様				n a k o s a m a
ワニさん			w a n i s a N
くじらさん			k u j i r a s a N
らいおん君			r a i o N k u N
ペンちゃん			p e N ch a N
#-----------------------------------------------------------

 基本ローマ字なんだけど、全部半角スペースで区切らなきゃならないから、手打ちは結構面倒。

 あと、「ん」は大文字の「N」だったり、長音は前のに続けて「:」だったりの法則があるみたいだけど、分かりやすい表みたいなのが無いなあと思っていたら、ひらがなで入れたら変換してくれるヤツがあって、しかもこれまたperl><

 perlは全く分かりませんが、しかし、いちおう中を覗いてみたところ、単に正規表現で順番に置換してるだけっぽい!

 それなら、なでしこさんで出来るね☆

 ・・・っと、作ってみたのがこちら。

#ひらがなをJuliusの音素列に変換
#-----------------------------------------------------------------------
変換辞書とは配列。変換辞書設定。
元ファイルはファイル選択。
//出力ファイルは元ファイルを「.voca」に拡張子変更出力ファイルは元ファイルを「.jdic」に拡張子変更。

元データは元ファイルを開く。
元データはそれの「{タブ}+」を「{タブ}」に正規表現置換。
元データはそれの「  +」を「{タブ}」に正規表現置換。
元データはそれTSV取得。
結果=。

元データで反復
  一時=対象¥1
  もし対象の1文字左部分=「#」または、対象の1文字左部分=「%」でなければ、
    変換辞書で反復
      一時は一時の(対象¥0)を(対象¥1)へ正規表現置換。
  結果は「{結果}{元データ¥(回数-1),0}{タブ}{一時}{改行}」
結果を出力ファイルに保存終わる。

#-----------------------------------------------------------------------
# ひらがな -> Julius 標準モデル用変換辞書(yomi2voca.plより抽出)
#-----------------------------------------------------------------------
*変換辞書設定
  変換辞書=「う゛ぁ," b a"{~}う゛ぃ," b i"{~}う゛ぇ," b e"{~}う゛ぉ," b o"{~}う゛ゅ," by u"
ぅ゛," b u"{~}あぁ," a a"{~}いぃ," i i"{~}いぇ," i e"{~}いゃ," y a"{~}うぅ," u:"{~}えぇ," e e"{~}おぉ," o:"
かぁ," k a:"{~}きぃ," k i:"{~}くぅ," k u:"{~}くゃ," ky a"{~}くゅ," ky u"{~}くょ," ky o"{~}けぇ," k e:"{~}こぉ," k o:"
がぁ," g a:"{~}ぎぃ," g i:"{~}ぐぅ," g u:"{~}ぐゃ," gy a"{~}ぐゅ," gy u"{~}ぐょ," gy o"{~}げぇ," g e:"{~}ごぉ," g o:"
さぁ," s a:"{~}しぃ," sh i:"{~}すぅ," s u:"{~}すゃ," sh a"{~}すゅ," sh u"{~}すょ," sh o"{~}せぇ," s e:"{~}ぉ," s o:"
ざぁ," z a:"{~}じぃ," j i:"{~}ずぅ," z u:"{~}ずゃ," zy a"{~}ずゅ," zy u"{~}ずょ," zy o"{~}ぜぇ," z e:"{~}ぞぉ," z o:"
たぁ," t a:"{~}ちぃ," ch i:"{~}つぁ," ts a"{~}つぃ," ts i"{~}つぅ," ts u:"{~}つゃ," ch a"{~}つゅ," ch u"{~}つょ," ch o"
つぇ," ts e"{~}つぉ," ts o"{~}てぇ," t e:"{~}とぉ," t o:"
だぁ," d a:"{~}ぢぃ," j i:"{~}づぅ," d u:"{~}づゃ," zy a"{~}づゅ," zy u"{~}づょ," zy o"{~}でぇ," d e:"{~}どぉ," d o:"
なぁ," n a:"{~}にぃ," n i:"{~}ぬぅ," n u:"{~}ぬゃ," ny a"{~}ぬゅ," ny u"{~}ぬょ," ny o"{~}ねぇ," n e:"{~}のぉ," n o:"
はぁ," h a:"{~}ひぃ," h i:"{~}ふぅ," f u:"{~}ふゃ," hy a"{~}ふゅ," hy u"{~}ふょ," hy o"{~}へぇ," h e:"{~}ほぉ," h o:"
ばぁ," b a:"{~}びぃ," b i:"{~}ぶぅ," b u:"{~}ふゃ," hy a"{~}ぶゅ," by u"{~}ふょ," hy o"{~}べぇ," b e:"{~}ぼぉ," b o:"
ぱぁ," p a:"{~}ぴぃ," p i:"{~}ぷぅ," p u:"{~}ぷゃ," py a"{~}ぷゅ," py u"{~}ぷょ," py o"{~}ぺぇ," p e:"{~}ぽぉ," p o:"
まぁ," m a:"{~}みぃ," m i:"{~}むぅ," m u:"{~}むゃ," my a"{~}むゅ," my u"{~}むょ," my o"{~}めぇ," m e:"{~}もぉ," m o:"
やぁ," y a:"{~}ゆぅ," y u:"{~}ゆゃ," y a:"{~}ゆゅ," y u:"{~}ゆょ," y o:"{~}よぉ," y o:"
らぁ," r a:"{~}りぃ," r i:"{~}るぅ," r u:"{~}るゃ," ry a"{~}るゅ," ry u"{~}るょ," ry o"{~}れぇ," r e:"{~}ろぉ," r o:"
わぁ," w a:"{~}をぉ," o:"{~}う゛," b u"{~}でぃ," d i"{~}でぇ," d e:"{~}でゃ," dy a"{~}でゅ," dy u"{~}でょ," dy o"
てぃ," t i"{~}てぇ," t e:"{~}てゃ," ty a"{~}てゅ," ty u"{~}てょ," ty o"{~}すぃ," s i"
ずぁ," z u a"{~}ずぃ," z i"{~}ずぅ," z u"{~}ずゃ," zy a"{~}ずゅ," zy u"{~}ずょ," zy o"{~}ずぇ," z e"{~}ずぉ," z o"
きゃ," ky a"{~}きゅ," ky u"{~}きょ," ky o"{~}しゃ," sh a"{~}しゅ," sh u"{~}しぇ," sh e"{~}しょ," sh o"
ちゃ," ch a"{~}ちゅ," ch u"{~}ちぇ," ch e"{~}ちょ," ch o"{~}とぅ," t u"{~}とゃ," ty a"{~}とゅ," ty u"{~}とょ," ty o"
どぁ," d o a"{~}どぅ," d u"{~}どゃ," dy a"{~}どゅ," dy u"{~}どょ," dy o"{~}どぉ," d o:"
にゃ," ny a"{~}にゅ," ny u"{~}にょ," ny o"{~}ひゃ," hy a"{~}ひゅ," hy u"{~}ひょ," hy o"
みゃ," my a"{~}みゅ," my u"{~}みょ," my o"{~}りゃ," ry a"{~}りゅ," ry u"{~}りょ," ry o"
ぎゃ," gy a"{~}ぎゅ," gy u"{~}ぎょ," gy o"{~}ぢぇ," j e"{~}ぢゃ," j a"{~}ぢゅ," j u"{~}ぢょ," j o"
じぇ," j e"{~}じゃ," j a"{~}じゅ," j u"{~}じょ," j o"{~}びゃ," by a"{~}びゅ," by u"{~}びょ," by o"
ぴゃ," py a"{~}ぴゅ," py u"{~}ぴょ," py o"{~}うぁ," u a"{~}うぃ," w i"{~}うぇ," w e"{~}うぉ," w o"
ふぁ," f a"{~}ふぃ," f i"{~}ふぅ," f u"{~}ふゃ," hy a"{~}ふゅ," hy u"{~}ふょ," hy o"{~}ふぇ," f e"{~}ふぉ," f o"
あ," a"{~}い," i"{~}う," u"{~}え," e"{~}お," o"{~}か," k a"{~}き," k i"{~}く," k u"{~}け," k e"{~}こ," k o"
さ," s a"{~}し," sh i"{~}す," s u"{~}せ," s e"{~}," s o"{~}た," t a"{~}ち," ch i"{~}つ," ts u"{~}て," t e"{~}と," t o"
な," n a"{~}に," n i"{~}ぬ," n u"{~}ね," n e"{~}の," n o"{~}は," h a"{~}ひ," h i"{~}ふ," f u"{~}へ," h e"{~}ほ," h o"
ま," m a"{~}み," m i"{~}む," m u"{~}め," m e"{~}も," m o"{~}ら," r a"{~}り," r i"{~}る," r u"{~}れ," r e"{~}ろ," r o"
が," g a"{~}ぎ," g i"{~}ぐ," g u"{~}げ," g e"{~}ご," g o"{~}ざ," z a"{~}じ," j i"{~}ず," z u"{~}ぜ," z e"{~}ぞ," z o"
だ," d a"{~}ぢ," j i"{~}づ," z u"{~}で," d e"{~}ど," d o"{~}ば," b a"{~}び," b i"{~}ぶ," b u"{~}べ," b e"{~}ぼ," b o"
ぱ," p a"{~}ぴ," p i"{~}ぷ," p u"{~}ぺ," p e"{~}ぽ," p o"{~}や," y a"{~}ゆ," y u"{~}よ," y o"
わ," w a"{~}ゐ," i"{~}ゑ," e"{~}を," o"{~}ん," N"{~}っ," q"{~}ー,":"
ぁ," a"{~}ぃ," i"{~}ぅ," u"{~}ぇ," e"{~}ぉ," o"{~}ゎ," w a"{~}ぉ," o"{~}"^ ([a-z])","$1"{~}"\:+",":"」をCSV取得。
#-----------------------------------------------------------------------

 perlがまるっきりいっこも分かんないので移植とは言えませんけど、肝心なのは変換辞書の部分で、これはJuliusに付属している「yomi2voca.pl」から機械的に抜きました。

 たぶんこれを上から順番に、どんどこ置換してってるだけだと思うんだよね~。

 いちおう、うまくいってると思うんだけど・・・

 なんだか、記述文法のvocaファイルでは、「%」がカテゴリのヘッダ、「#」がコメント行となっているようで、のまま出力するようにしてますが、単語リストの場合には、余計なモノは一切入れたらダメみたいです。


 ふりがなではなくて、「読み」なので、「こんにちは」「お姉さん」などは、「こんにちは」「おねえさん」ではなく、「こんにちわ」「おねーさん」みたく、実際の発声に近づけて入れるのがいいみたい。

(「yomi2voca.pl」の中には「助詞の「は」「へ」「を」→「w a」「e」「o」は変換後に手動で直すこと.」・・・て注釈がはいってるんだけど、「を」はちゃんと変換出来ることになっているし、下の「は」「へ」も、ひらがなの段階で、「わ」「え」に直しておくのがイイと思う)


 で、こんなふうに変換して、

#---nako.txt------------------------------------------------
こんにちは			こんにちわ
バイバイ			ばいばい
ナコ				なこ
お姉さん			おねーさん
#-----------------------------------------------------------
 ↓   ↓   ↓
#---nako.jdic-----------------------------------------------
こんにちは	k o N n i ch i w a
バイバイ	b a i b a i
ナコ	n a k o
お姉さん	o n e: s a N
#-----------------------------------------------------------

 「-w nako.jdic(単語リストファイル名)」のオプションを付けて起動します。

 単語リストの拡張子は、別になんでもいいみたい。

 限られた単語の中から判断するので、非常に認識率はいいですが、どんな音を拾っても、近いものに無理矢理割り付けるので困ったもんだというところ;

 カタッというような雑音や、文法認識キットのサンプルにもあったような、「えっと」だの「あのー」だのという言葉を認識させておいて、最終的には無視する・・・的な感じですかね。

めだかめだか2017/03/06 01:33お久しぶりです。
最近、久々にゲームにハマってしまってなんにも出来てないめだかです(笑

横から失礼しますが、雑音の方は、言葉とは違って音が1つだったと思います。
音が1つって言うのが、日本語の場合、「ごど」だと、g o・d o ですが、音の場合、同じ「ごど」でも、godoとなっていたと思います。
なので、音の数でいけたはず...です...!
(ものすーごく曖昧な記憶です...なので、信憑性0です(笑))

また、雑音の前後の余白での判別や、定型句に登録されていない(使用率が低い)から、雑音と処理する。みたいなのが出来ると思います。
後は、音の高さで判別するぐらいしか思いつかないです~...

もっと難しい方法を使うとしたら、音の厚さが~...反射が~...とか意味不明な領域にいっちゃうので、当方お手上げです(既に無理です^^;

「あのー」や「えー」や「えっと」などは、定型句登録しておき、その単語で認識された場合、削除などでいいと思います。

ただ、それらの処理がなでしこで可能かと言われると、難しいものがあります...めっぽう音や動画には弱いなでしこちゃんなのでねぇ...(笑

雪乃☆雫雪乃☆雫2017/03/07 16:13めだかさん、こんにちは。ありがとうございます☆
あぁ~、ワタシもゲームにはまれば、月単位で帰ってこなくなりますよw
もっとも、長いゲームにはまる気力と体力がもう無いですが;

 えーっと、なでしこさん側でやっているのは、ゆりうすさんが返してよこす文字列をどうこうしてるだけなんで、むしろなでしこさんの得意分野かもしんない。
 音声認識部分は、完全にゆりうすさんに丸投げで、ゆりうすさんのリファレンス自体が全く理解不能で、ワタシなんぞには意味不明な領域ばっかです><;
 この単語リストを使った認識は、Juliusの機能の中でも一番簡便な物で、もう完全に単なる「単語リスト」で、ノイズの概念はなく、余白などの設定も無いし、とにかくどんな音を拾っても、リスト内のどれかに無理矢理割り当てて返してよこすんですよwww

 で、おっしゃってる「雑音だと音が一つ」とゆうことと、同じコトなのかどうか・・・
 擬音語で言うと「カタッ」とか「ガタン」と言うところだけど、実際の音はそうではないですよねぇ。一種の破裂音?的な。
 この手の音については、リストにいくつか適当な単音を登録しておいて、それを無視するのがいいみたい。(Juliusの音素列は、「ごど」ならどうしたって「g o d o」でなくてはならず「godo」などとすると、ゆりうすさん自体が起動しなくなっちゃうヽ(;´Д`)ノ)
 原始的だけど、今、五十音の単語リストを作って、どんな音がどの音素列に割り当てられてくる率が高いか試してみてる~。
 集計して、多いヤツをいくつか登録してやる予定~。

トラックバック - http://nadesiko.g.hatena.ne.jp/snowdrops89/20170303

2017-02-21

文法認識キットは、落とし穴だったよ!?

| 21:56

 ディクテーションは、思った以上に使い物にならない感じ。

 知ってる言葉については、こっちの工夫次第では、なかなかな成績になってきたんですケド・・・何しろ知らない(と思われる)言葉が多すぎる~;

 まあ、6万語なんていうとすごい感じですけど、もちろん、しろーとの個人にとっては膨大にちがいないんですけど、広辞苑の収録語数が24万語とゆうことを考えたら、ぜんぜんたいした語彙じゃないもね~。

 なんかもー、しゅーいんぎいん…とかしゃべり続けるのも、疲れたしねー;;;

 ・・・ところで、急に気付いたけど、元の例文は、「衆院議員は,具体的にどう考えているのか」だったのに、何故かワタシはずっと「なにを考えているのか」って言い続けてた!

 ワタシの日本語認識能力も、ダメダメっぽいorz

 理系じゃないのはモチロンだけど、文系ですらない、ただのおバカさんだからね><


 ・・・とゆうわけで(?!)

 ディクテーションには見切りを付けて、文法認識キットを使ってみることにした。

 こちらも、必要の実行ファイルは全部入っているので、ダウンロードしてくればこれだけで取りあえず動くんだけど・・・

 サンプルが色々入っていたので色々遊んでいたんだけど・・・なんだか「音声入力開始待ち」がうまくいってない~。

 ちゃんと「PAUSE」はJuliusに送信出来てはいるみたいなんだけど、「音声入力中」になった途端、PAUSE中にしゃべってた内容が、音声認識結果に上がってきてしまう。

 エンジン、一時停止されてないじゃん! みたいな;;;(クライアントへの送信だけが一時停止になってる的な?)

 確認してみたケド、ディクテーションキットの時は、ちゃんとうまく働いている。

 ディクテーションキットの時は問題ないんだから、こっちのプログラムの問題じゃない気がするんだけどね~・・・っとjconfの内容眺めてみたりしたけど、これまたよくわかんにゃい(*_*)


 んなこんなで、ーとーうだうだとはまりまくっていたんだけど、の途中、こっちに同梱されてるJulius本体はどうやら最新版じゃないっぽい? ってことに気が付いた。

 これは、最新版にし替えちゃった方がいいんですかね~?? っと、ソレはさすがに関係ないだろうと思いながらし替えてみたところ、なんと、いきなり問題が解消!

 なんてこった;;;

 ディクテーションキットの方は、ちゃんと最新版が同梱されていたんですよ。

 やられた~><(別に、誰も、何もやってない!)

 折角、バージョン情報を取得出来るように作ってたんだから、もっと早く気づけよ・・・っという話;;;

トラックバック - http://nadesiko.g.hatena.ne.jp/snowdrops89/20170221

2017-02-17

認識結果の取得を修正

| 14:12

 うぇいくさまより教えを頂き、修正。

 「1のメッセージ送信ごとに,データの終端として,"." のみの行が送信される.」ってゆうのは、受信が始まったら「.」だけの行が出るまでは、データをためとけってコトだったんだね。

 ねっとわーく的なことに関する知識が皆無なもので、んなこととはしらなんだ;

 ってゆうより、頭が基本的にプログラム的じゃ無いから、一行とか、単語やタグをひとかたまりのものとして見てしまう概念から、抜けられないのさ~。しくしくしく。


 でもまあ、考え方としては、「<RECOGOUT>」タグがあったら「</RECOGOUT>」が出るまで、「認識ブロック」にログをためて、タグを完成させていたのと同じコトだろう。

 元のコードを生かす形で、あんまりスマートじゃないケド、

・受信が始まったら「{改行}.{改行}」が出るまで、「認識ブロック」を作る。

・一行だけのステータスやバージョンの情報も、「認識ブロック」が完成してから取得するように変更。

・「<RECOGOUT>」タグがあったら、音声認識結果を取得。

 正規表現だから「.」は「\.」にしなきゃダメだとか、なでしこ上の実験では{改行}が使えたんだけど、TCPでは「\n」じゃなきゃダメだったとか色々あったけど、わりとすんなり・・・?

 こうなった。

#-----------------------------------------------------------
●Jログ取得(Aから)
  Jログは「{Jログ}{A}」
  認識ブロックは「{認識ブロック}{A}」
  もし、Aを「\n\.\n」で正規表現マッチでなければ、
    認識ブロックからJログ切り出し。

●Jログ切り出し(Aから)
  認識ブロックは。
  JステータスはAの「SYSINFO」から「PROCESS」をタグ属性取得。
  JバージョンはAの「ENGINEINFO」から「VERSION」をタグ属性取得。
  AでJuliusログ取得時処理。

  もし、Aを「<RECOGOUT>」で正規表現マッチでなければ、
    AからJ認識結果抽出。

●J認識結果抽出(Aから)
  J認識結果は。
  Aの「WHYPO」から「WORD」をタグ属性取得。
  それ反復
    もし対象が「<s>」または対象が「</s>」ならば対象。
    J認識結果は「{J認識結果}{対象}」
  J認識結果でJulius音声認識時処理。
#-----------------------------------------------------------

 さて、どうかなあ?

 一応、のところ、問題なく動いています。

 もっとも、前の状態でも、ちょっと実験したレベルでは特に問題なく動いてたんで、沢山使ってみないと分からないかな?

トラックバック - http://nadesiko.g.hatena.ne.jp/snowdrops89/20170217

2017-02-15

音声認識結果を抽出するよ!

| 15:09

 認識結果を切り出すのは、思ったよりは、簡単じゃ無かった(涙)

「クライアントがパーズしやすくするため, 1のメッセージ送信ごとに,データの終端として,"." のみの行が送信される.」

 ・・・て書いてあったから、そうなんだろうと、のつもりでやっていたら、どうもうまく出来ない

 おっかしいなあと思って、一受信ごと確認してみたら、他のタグは基本一行づつだからいいんだけど、複数行にわたる「<RECOGOUT></RECOGOUT>」タグは、どうも途中で結構途切れてた。

 送信時はそうでも、受信時には分割して受信してるってコトだろうね。

 しかも、一行づつとかゆう、分かりやすいブロックでは無くて、結構ヘンなところでバサッと分割されてしまうっぽい。

 認識結果が長いと分割されるというわけでも無いみたいで、わりと初っ端の文頭無音の辺りで一旦切れることが多いみたいなんだけど、位置は一定では無い。


 とりあえず、受信したモノの中に「<RECOGOUT>」があったら認識ブロックとしてログを取得し始めて、「</RECOGOUT>」があったら終了で、1ブロックの「<RECOGOUT></RECOGOUT>」タグを完成させてから、こからログを切り出すようにしてみたんだけど・・・

 もしも、「<RECOGOUT>」タグ自体が分断されたりすると、これもうまく働かないって話になってしまうけど・・・さすがにそれないかな? かな?

 取りあえず、のところはコレでうまくいってるような・・・???

# 認識結果を抽出。ログと比較。
#-----------------------------------------------------------
!「nakonet.nako」を取り込む。

#-----設定--------------------------------------------------
Julius起動バッチとは文字列=「run-win-gmm-module.bat」
接続待時とは整数=10
#-----宣言--------------------------------------------------
再試行とは整数=0
Jログとは文字列。
J認識結果とは文字列。
Jステータスとは文字列。
Jバージョンとは文字列。
認識ブロックとは文字列。

音声入力フラグ=オフ。
#-----------------------------------------------------------

#-----母艦設計----------------------------------------------
母艦のクライアント幅は1200。
母艦のクライアント高さは600。
母艦中央移動
オフ母艦の最大化ボタン有効変更。
母艦の閉じた時は~Julius終了
#-----------------------------------------------------------

#-----GUI------------------------------------------------
取得ログとはTエディタの幅は600。のレイアウトは「左」
音声認識とはTエディタの幅は600。のレイアウトは「右」

#---TCP-----
JクライアントとはTCPクライアント。
Jクライアントについて
  ホストは「127.0.0.1」  # 「127.0.0.1」はローカル。
  ポートは10500。  # モジュールモードではJuliusがサーバーとなり、ポート番号10500で接続を待ちます。
  接続した時は~
    再試行=接続待時。
    Julius接続完了時処理。
  受信した時は~
    Jクライアントで受信。
    それからJログ切り出し。
  エラー時は~
    Jクライアントで切断。
    もし、再試行<接続待時ならば、
      1秒待つ。再試行=再試行+1
      Julius接続。
    違えば、
      Jクライアントのエラーメッセージ言う。
      終わる。
#-----------------------------------------------------------
上バーとはパネル。
上バーについて
  レイアウトは「上」。高さは25。
  スタイルは「枠なし」。
  クリックした時は~
    「Julius情報」を「ステータス{~}バージョン{~}インスタンス情報{~}文法情報」でボタン選択。
    もしそれが「ステータス」ならば、Juliusステータス。
    違えばもしそれが「バージョン」ならば、Juliusバージョン。
    違えばもしそれが「インスタンス情報」ならば、Juliusインスタンス情報。
    違えばもしそれが「文法情報」ならば、Julius文法情報。

音声入力ボタンとは画像ボタン。
音声入力ボタンについて
  親部品は上バー。フラットはオン。テキストは「」
  位置は「0,0」。幅は150。高さは25。
  マウス入った時は~フラットはオフ。
  マウス出た時は~フラットはオン。
  クリックした時は~
    もし、音声入力フラグ=オフならば、音声入力中。
    違えば、音声入力開始待ち。

説明ラベルとはラベルの親部品は上バーの位置は「160,6」。
#-----------------------------------------------------------
音声入力開始待ち。
*音声入力開始待ち
  音声入力フラグ=オフ。
  Julius一時停止。
  音声入力ボタンの0,0をウィンドウ色塗る。
  文字色赤色文字サイズは14。
  音声入力ボタンの5,2へ「●」を文字描画。
  文字色黒色文字サイズは10。
  音声入力ボタンの30,5へ「音声入力開始」を文字表示。
  説明ラベルのテキストは「←ボタンを押すと音声認識を開始します。」

*音声入力中
  音声入力フラグ=オン。
  Julius再開。
  音声入力ボタンの0,0をウィンドウ色塗る。
  文字色青色文字サイズは14。
  音声入力ボタンの5,2へ「■」を文字描画。
  文字色黒色文字サイズは10。
  音声入力ボタンの30,5へ「音声入力停止」を文字表示。
  説明ラベルのテキストは「音声認識中・・・」
#-----------------------------------------------------------

#-----メイン------------------------------------------------
#バッチファイルを選択して起動。
「*.bat」のファイル選択して起動もしそれならば終わる。

#Julius起動バッチを起動。
//もし、Julius起動バッチの存在はいならば、Julius起動バッチを起動。
//違えば、「起動バッチがありません。」を言う終わる

//母艦最前面。
Julius接続。
#-----------------------------------------------------------

#-----Julius関数--------------------------------------------
●Julius起動(BATで)
  BATを起動。
  Julius接続。

●Julius接続
  Julius接続中処理
  Jクライアントで接続。

●Julius終了
  プロセス列挙反復
    対象を「julius」で正規表現マッチ。
    もしそれでなければ、対象プロセス強制終了。
#-----------------------------------------------------------
# エンジンを一時停止する.受信時点で入力待ちだったときは即座に停止する.
# 認識を実行中の場合,入力が終わり認識が終了してから停止する.
●Julius一時停止
  「PAUSE{\n}」をJクライアントで送信。

# エンジンを一時停止する.入力待ち・認識実行中にかかわらず,即時停止する.
●Julius即時停止
  「TERMINATE{\n}」をJクライアントで送信。

# 一時停止状態から復帰してエンジン動作を再開する
●Julius再開
  「RESUME{\n}」をJクライアントで送信。

# エンジンが現在動作中であるかどうかを返す
●Juliusステータス
  「STATUS{\n}」をJクライアントで送信。

# Julius のバージョンを返す
●Juliusバージョン
  「VERSION{\n}」をJクライアントで送信。

# すべての認識処理インスタンスの情報を出力する…いんすたんすってなんすか;
●Juliusインスタンス情報
  「LISTPROCESS{\n}」をJクライアントで送信。

# エンジンが現在持つ文法情報を返す
●Julius文法情報
  「GRAMINFO{\n}」をJクライアントで送信。
#-----------------------------------------------------------
●Jログ切り出し(Aから)
  Jログは「{Jログ}{A}」
  JステータスはAの「SYSINFO」から「PROCESS」をタグ属性取得。
  JバージョンはAの「ENGINEINFO」から「VERSION」をタグ属性取得。
  AでJuliusログ取得時処理。

  もし、Aを「<RECOGOUT>」で正規表現マッチでなければ、
    取得フラグ=オン。
  もし、取得フラグ=オンならば、
    認識ブロックは「{認識ブロック}{A}」
  もし、Aを「</RECOGOUT>」で正規表現マッチでなければ、
    取得フラグ=オフ。
    認識ブロックからJ認識結果抽出。
    認識ブロックは。

●J認識結果抽出({参照渡し 配列=?}Aから)
  No=0。J認識結果は。
  Aの要素数
    A\Noを「<WHYPO WORD=」で正規表現マッチ。
    もしそれでなければ、
      A\Noの「WHYPO」から「WORD」をタグ属性取得。
      もしそれが「<s>」またはそれが「</s>」ならばそれ。
      J認識結果は「{J認識結果}{それ}」
    No=No+1
  J認識結果はJ認識結果を改行区切る。
  J認識結果はJ認識結果を配列結合。
  J認識結果でJulius音声認識時処理。
#-----------------------------------------------------------
●Julius接続中処理
  取得ログは「{取得ログ}接続中...」。
  戻る。

●Julius接続完了時処理
  Julius即時停止。
  取得ログは「接続完了!{改行}音声入力を開始出来ます。{改行}」
  戻る。

●Juliusログ取得時処理(Aで)
  取得ログは「{取得ログ}{A}」。
  もし、Jステータス=でなければ、「STATUS:{Jステータス}」を言う。
  もし、Jバージョン=でなければ、「VERSION:{Jバージョン}」を言う。
  戻る。

●Julius音声認識時処理(Aで)
  音声認識は「{音声認識}{A}{改行}」。
  戻る。
#-----------------------------------------------------------

 あと、Juliusがクライアントから受け取れるメッセージを送れるようにしてみた。

 なんかよく分かんないから、引数の無いヤツだけ・・・

 欲しいのは、PAUSEとRESUMEだけだったけど、Juliusのバージョンが確認出来るっていうのも、ちょっといいよね。

 他のこともようく学べば、文法ファイルの追加や変更なんかが、再起動しなくてもクライアント側から操作できるような気がするので、後使えそうなんだけど・・・


 それと、プログラム終了とともに、Juliusも一緒に終了させたいんだけど、「DIE(Julius を強制終了する)」を送信するのは、確かに音声認識は強制終了されるっぽいんだけど、コマンドプロンプトの画面はもとより、タスクの中のJulius.exeものまま残ってしまっているから、意味ない感じなんだよね~。

 取りあえず、プロセス強制終了で終わらせちゃってるケド;


 他にひらめいた事としては、ぜんぜん関係ないけど、「ボタン選択」のダイアログって、ボタンが縦に並ぶ時と横に並ぶ時とあるんですよね~。

 こっちの意図に反して勝手に!

 一体なんなんだと思ってたけど、どうやら母艦?の幅に合わせて、横長すぎる場合は縦に並ぶよう、自動調整されてるっぽいですね。

 どうしても縦に並べたい! など見た目にこだわる場合には、やっぱり自前でフォームを用意するしかないんだろうね。

 どーでもいいことだけど、クイズの昔のナゾが解明したので、一応書いとく(爆)

うぇいくうぇいく2017/02/15 23:37TCPの世界では、ただのバイトの羅列なので、順序は(TCPなので)保障されますが、区切りという概念はありません。通信の開始から終了まで、連なります。

なので、受信したものを、だだーーっと、バッファ(文字列変数とか)にどんどん追加していって、自分のアプリケーションで処理を行えるというデータまでをため込んだら、その分を切り出して処理する という部分が必ず必要です。
ちゃんと切り出す前は、ただのバイト列のため、「文字コードに従って、1文字がばらけたりしない」ということもないです。そのため、使用する関数に注意が必要です。
(なでしこの文字列操作関数は、文字列がShiftJISじゃないとうまく処理できないものも結構あります)

雪乃☆雫雪乃☆雫2017/02/16 16:27 うぇいくさま、ありがとうございます☆
 なななんとー!><
 ・・・て、ふつうに日本語の状態でデータが飛び交っているわけないですもねー;
 よく考えたら、そりゃそうだというところなのですが、ばいとが・・・ばいなりが・・・なんて話は、頭がこんがらかってしまうのですよ;;;
 とっ、とにかく、全部取得してつながるまでは「<RECOGOUT>」タグどころの話ではなく、2バイト文字なんか化けてしまうかも知れないんですね。
 ああぁ~、ソレでピリオドだ!
 なんか今、ようやく意味が分かりました!!
 もっぺんやり直しです。
 ほんとうに、いつもありがとうございます!

トラックバック - http://nadesiko.g.hatena.ne.jp/snowdrops89/20170215