2019年2月20日

REALITYメモ:2019-07-21更新

REALITYメモ:2019-07-21 もうすぐ一周年(?)なので更新。

同じ質問をされた際に毎回ニュアンスが変わってしまってもよくないので、精度を高める目的でメモを書いておきます。
(リアルタイムに口頭で考えながら喋ってると、表現として違う感じになってしまう揺れはありうると思うので。)

公式見解という体ではないので実際のサービスがどうなるのかは少し違ったり、変わってしまうことはあると思いますが、中の人として少なくとも自分はこうやっています・こう考えています、という内容です。

【FAQ(内容が古くなったら順次見直します)】
Q. 手足もトラッキングしたい
A.
・機械学習系など、いくらかできる子が世間ではいたりするので、順番に試したい
・マシンパワーの観点でさらにデバイスをいじめることになってしまいがちだが、「いろいろ未来のことをチャレンジするチーム」みたいなのがあって、やるとかやらないとかそういう話が一応ある
・ジェスチャ操作からの固定モーション再生とか、タッチ座標に対するIKで手が追従していくとかの方が使いやすく先にできるのでは、みたいなことを思っている

Q. ボイチェンしたい
・低遅延・高品質を狙うとマシンパワーの観点でいろいろ大変、ローカルは単純なプライバシー保護エフェクト級なら、みたいな気配
・「転声こえうらない(β)」がリリースされました、こちらはGREE VR Studio Labチームですが、もちろん将来的にはREALITYでネットワーク上でやれればいいね、という話はしている
・あとはオンラインソリューションは負荷観点では現実味があるがBGM等課題はある、無理にできていないことを「誰でも美少女声!」みたいにゴリ押しするのはよくないと個人では思っている
・既存のソリューションをお使いいただければわかる通り中の人の相性と努力が必要なあたりも決して低くない山
・そもそもステレオとかUSB Audioとか音まわりについてイマイチな点をなんとかしたい

Q. アバターパーツ◯◯ほしい
A.
・企画やアート側に対してお伝えはできるが、単純なアセットボリュームについては(僕に期待をもって)聞かれても(力になれなさそう観点で)ちょっと申し訳なく思っていたりする
・僕個人としては特殊なコスプレ服よりは着れる人の多そうな、スタイリッシュな私服の充足をがんばってほしいと思っている
・着せ替えシステムの3Dパーツは、ふつうに3Dモデリングをするよりシステマティックな観点で違うところを気にしないといけないため、なんだかんだ言ってそのあたりでアートチームはめっさ苦労しており、エンジニアとしてはもう少しどうにかしないといけなかったりする
・エンジニアとして便利にしてる速度より新たな仕組みのパーツが増える速度の方がはやくてやっぱりワタワタしている。なおクローゼットまわりやパーツの選択の安定性については完全に僕がぽんこつなせいなので申し訳ない、どうにかがんばる。

Q. コラボしたい
A.
・音声コラボ機能のBetaとしてAndroid限定でホストになれる形で先にリリースした、iOSは鋭意開発中なのでもう少しおまちください
・力技で繋いでるアーキテクチャ上の問題もあり、ネットワークの不安定な3人以上では厳しいケースがあるなど今後まだまだブラッシュアップさせていく必要はあるはず

Q. アーカイブしたい
A.
・「あまり優先度が上げられてなくてごめんなさい」話その1。
・FES2の際にWeb URL込みのshareとブラウザ画面でのチャット重畳表示を実装に対応して、個人でアレコレする分には少々やりやすくなったせいか、若干声が小さくなった印象はある(あきらめられてしまったか)

Q. 画質・音質・ギガ消費
A.
・「あまり優先度が(略」話その2。
・HLS遅延については、「公式:歌が途中できれたりしないように、遅延してでも配信が安定すべき」と「視聴:ユーザネットワーク環境差はしょうがないとして、コミュニケーションがしやすいように、低遅延であるべき」で、そもそも傾向が違ったのもあったりして順番にチャレンジ中。こっそりマシになったりするかも。
・根本的なギガ消費をどうにかする音声+モーション配信(IRIAMやナカノヒトライブはこちら)ももちろんやるべき選択肢にはあがっている。(が、最近コラボやゲーム配信が機能として増えたので複雑度が増している)

Q. iPad(略
A.
・ 「あまり優先度が(略」話その3。
・僕はiPad Proの新しい子がせっかくTrueDepth搭載なのでそちらを優先したいと思っているが、需要に対する考えがそれぞれ人によって違う気配
・ReplayKitの切り取り範囲がもっと融通が効けば問題ないのに・・・とAppleのせいにして逃げ切りたいと思っている

Q. 配信・アバター機能の安定性が悪い
・iOSの「マイクが正常に動作していません(略」については、内部的にはマイクキャプチャも画面キャプチャも両方止まっていて、単に音声に異常があった際の検出の方が先に出ている。「再起動をすると直る」ケースと、「数分間待つと直る」ケースがあって、どちらかを区別する方法がないため、結果「さしあたり再起動してみてその後ダメだったら数分待つ」が現状ユーザが可能な対応になってしまっている。特定のiOSバージョン"以降"で確率が跳ね上がるのを確認できてるのでiOSのアプデにより修正されたりしないか期待しているが、そもそもキャプチャの仕方を根本から変えないと解決しない気配があってあまりきちんと対応が進められてなくて大変申し訳ない。「アプリ再起動しても直らない」時点でOS側が流石にアレやろ、と言いたいけど言ってもとくに何かが改善するわけではない。つらい。ReplayKit(v1, アプリ内キャプチャ)はマジオススメしない。
・Androidで特定機種で「真っ黒画しか送れない」現象があって、これはハードウェアエンコードがなぜかコケる機種があることがわかっていて、エラー発生時にソフトウェアエンコードに切り替える処理を入れることで回避できるケースがある。これもOSの標準APIがすっこけるのはカンベンして欲しいが、「動画のエンコード」処理としてディスプレイ解像度(画面録画)かカメラ解像度(ビデオ撮影)以外の改造度で元気に動くことをテストしているのが稀というのも気持ちはわかる。気持ちはわかるがやっぱりカンベンしてほしい。

【登場人物】

<ようてん>
このメモを書いたひと。主にREALITYの3Dキャラクター組み立て部分を担当しているソフトウェアエンジニア。最近は1年前に勢いで自分で埋めた地雷をよく踏んでいる。
<DJ RIO>
社長。チャックをしめられるのでセーフなのかは若干疑わしいと思っているし、水着は完全にずるい。
<いそまな>
いそら真実。まみではなくてまなみ。ほぼ毎日顔をあわせる本当に同僚なのだが、職種を明かしてないので業務上のネタが喋れない。「いそまなに逆らったらまずいですか?」と聞くとたぶん社員の9割からYESが帰ってくると思う。
<S>
同期入社の頼れるエンジニア。主な守備範囲はiOSマンだけどだいたいなんでもできる。まれによく酒で記憶をなくしていたが最近落ち着いた。
<F>
AvatarのAndroid対応でfirebase ML Kitなどをまとめて倒しきったり、AssetBundleがなぜか動くようになってたりする実績のあるつよつよエンジニア。働き方のフリーダム度に定評があり、時々火を吹いて下々の人を怖がらせて帰っていくので僕はドラゴンと呼んでいる。
<A>
Unity 3Dまわりやってみたいですマンとして増えた若者。ギフトとライブまわりを全部おしつけた。信頼のおけるミク廃。
<A>
アバターとかライブ・ギフトとかAvatarアプリ側が主な守備範囲のプランナー。僕以上のREALITYヘビーユーザで頼もしい。はじめはもっといい人だと思っていたが性格が豪胆でずる賢いことが分かっている。
<K>
いそまなのプロデューサーだったが、いそまなはだいぶ(勝手に)飛び立って最近はプロデュースはとくにしていないようにみえる。元々視聴専用アプリとしてのREALITYと公式配信側を見ていたが、アプリ側の仕事に戻ってきたプランナー。苦労体質のためいつも大変そうにしている。
<Saka-niki>
KMNZ他のプロデューサー。この並びではTwitterアカウントもあって露出も多く、たまにREALITYで配信もしているので詳細はそちらを参照。
<N>
マグロナちゃんの借金取り。VTuberの生放送を24時間追いかけている。忙しくなってだいぶ諦めた僕とは違うできる美少女。

【REALITY/WFLE用語】
<視聴アプリ/配信アプリ>
REALITYでは視聴専用のREALITYというアプリと、Avatarで配信が可能なREALITY Avatarという2つのアプリに別れていたが、REALITYアプリに統合されてくっついた。
<公式配信/一般(アバター)配信>
REALITYでは公式配信者が行う配信を公式配信、REALITY Avatarアプリを使った配信を一般配信、またはアバター配信と呼んでいたが、"一般"という単語もわけがわからないし今はREALITYアプリの通常の配信があって、それとは別に公式配信枠があるという形に落ち着いた。
ギフトのお知らせなど、歴史的にどっちがどっちを差してるのかややこしいのは残っている。
<EN>
エンジニアのこと。ようてんはプラットフォーム事業部というところに所属しているエンジニアで、他職種としてプランナー(企画)とかアートとかがいる。
公式配信を運用しているスタジオやプロダクションサイドとか、RK Musicなどをドライブしているとこなどいろんな人がいっぱいわいわいしている。