2019年2月20日

REALITYメモ:2/20更新

同じ質問をされた際に毎回ニュアンスが変わってしまってもよくないので、精度を高める目的でメモを書いておきます。
(リアルタイムに口頭で考えながら喋ってると、表現として違う感じになってしまう揺れはありうると思うので。)

公式見解という体ではないので実際のサービスがどうなるのかは少し違ったり、変わってしまうことはあると思いますが、中の人として少なくとも自分はこうやっています・こう考えています、という内容です。

【FAQ(内容が古くなったら順次見直します)】
Q. 手足もトラッキングしたい
A.
・機械学習系など、いくらかできる子が世間ではいたりするので、順番に試したい
・マシンパワーの観点でさらにデバイスをいじめることになってしまいそうなため、個人的には機種限とか絞った環境でのお試し版としてチャレンジしたい(が余裕はない)
・ジェスチャ操作からの固定モーション再生とか、タッチ座標に対するIKで手が追従していくとかの方が使いやすく先にできるのでは、みたいなことを思っている

Q. ボイチェンしたい
A.
・低遅延・高品質を狙うとマシンパワーの観点でいろいろ大変、ローカルは単純なプライバシー保護エフェクト級なら、みたいな気配
・R&D的なやつで進めているのでなんらかの形でそのうち試せるようになるはず
・既存のソリューションをお使いいただければわかる通り中の人の相性と努力が必要なあたりも決して低くない山
・あとステレオとかUSB Audioとかそもそもの音まわりについてイマイチな点をなんとかしたい

Q. アバターパーツ◯◯ほしい
A.
・企画やアート側に対してお伝えはできるが、単純なアセットボリュームについては(僕に期待をもって)聞かれても(力になれなさそう観点で)ちょっと申し訳なく思っていたりする
・僕個人としては特殊なコスプレ服よりは着れる人の多そうな、スタイリッシュな私服の充足をがんばってほしいと思っている
・着せ替えシステムの3Dパーツは、ふつうに3Dモデリングをするよりシステマティックな観点で違うところを気にしないといけないため、なんだかんだ言ってそのあたりでアートチームはめっさ苦労しており、エンジニアとしてはもう少しどうにかしないといけなかったりする

Q. コラボしたい
A. 「コラボ機能」として松竹梅いろいろなレベルの実現が考えられるけど、梅側から松側まで順番にがんばる予定があるので気長に待ってほしい

Q. アーカイブほしい
A. 「あまり優先度が上げられてなくてごめんなさい」話その1。チャットの再現や保存有無の選択、色々必要なことがあるけど、先にブラウザ視聴にチャット重畳するとかそのあたりかなと思っている

Q. 画質・音質・ギガ消費
A. 「あまり優先度が(略」話その2。
・HLS遅延については、「公式:歌が途中できれたりしないように、遅延してでも配信が安定すべき」と「視聴:ユーザネットワーク環境差はしょうがないとして、コミュニケーションがしやすいように、低遅延であるべき」で、そもそも傾向が違ったのもあったりして順番に対応中。こっそりマシになったりするかも。
・画質・音質については「送信側の選択」→「中継(サーバ)・受信側の選択」のように順番に対応していく必要がある認識。今はどちらもあまり賢くない。
・根本的なギガ消費をどうにかする音声+モーション配信ももちろんやりたいぐぬぬ。

Q. iPad(略
A. 「あまり優先度が(略」話その3。
・僕はiPad Proの新しい子がせっかくTrueDepth搭載なのでそちらを優先したいと思っているが、需要に対する考えがそれぞれ人によって違う気配
・ReplayKitの切り取り範囲がもっと融通が効けば問題ないのに・・・とAppleのせいにして逃げ切りたいと思っている

【登場人物】
説明しておくと便利そうな人から順番に書いていきます。

<ようてん>
このメモを書いたひと。主にREALITY Avatarの3Dキャラクター組み立て部分を担当しているソフトウェアエンジニア。
<DJ RIO>
社長。チャックをしめられるのでセーフなのかは若干疑わしいと思っている。
<いそまな>
いそら真実。まみではなくてまなみ。初対面から只者じゃないキャラだったけどデビュー後に拍車がかかっている。
<S>
同期入社の頼れるエンジニア。主な守備範囲はiOSマンだけどだいたいなんでもできる。まれによく酒で記憶をなくす。
<F>
AvatarのAndroid対応でfirebase ML Kitなどをまとめて倒しきったつよつよエンジニア。働き方のフリーダム度に定評がある。
<A>
Avatar、一般配信側の比較的えらいひと。僕以上のREALITYヘビーユーザで頼もしい。はじめはもっといい人だと思っていたが性格が豪胆でずる賢いことが分かっている。
<K>
いそまなのプロデューサー。公式配信側の比較的えらいひと。苦労体質のためいつも大変そうにしている。

【REALITY/WFLE用語】
<視聴アプリ/配信アプリ>
REALITYでは視聴専用のREALITYというアプリと、Avatarで配信が可能なREALITY Avatarという2つのアプリに別れている。
片方だけを利用していて、もう一方をご存知ないというユーザを見かけるとくやしい。
<公式配信/一般(Avatar)配信>
REALITYでは公式配信者が行う配信を公式配信、REALITY Avatarアプリを使った配信を一般配信、またはAvatar配信と呼ぶ。
そもそもSNSアカウントのように公式と非公式という感じでもないので「公式」って日本語としてもう別物になってそうだなみたいなことを今思った。
<EN>
エンジニアのこと。ようてんはプラットフォーム事業部というところに所属しているエンジニアで、他職種としてプランナー(企画)とかアートとかがいる。
公式配信を運用しているスタジオやプロダクションサイドとか、RK Musicなどをドライブしているとこなどいろんな人がいっぱいわいわいしている。