Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

Co-founder and CER of Preferred Networks (PFN). CEO of PFCC. CEO of PFE. Interested in AI, science, and business. hillbig.github.io Japan Tokyo Joined January 2008
  • Tweets
    5K
  • Followers
    30K
  • Following
    619
  • Likes
    539
hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

5 days ago

They propose to train LLM (M2) on the compressed text by another NN (M1). They found that this works only when the coding state and M1 state are initialized at the window's boundary. Thus, M2 can decode (understand) the compressed text during the training. arxiv.org/abs/2404.03626…

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

5 days ago

NN(M1)で予測した確率分布に従い算術圧縮したテキスト上でLLM(M2)を学習。圧縮後サイズが一定となるように分割、M1でと圧縮器の状態を初期化した場合に、M2はM1による圧縮/復元過程を推定でき学習可能となる。SentencePieceに勝てていないが将来有望arxiv.org/abs/2404.03626…

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

6 days ago

FlowMap takes video and uses optical flow and a point cloud tracker to estimate camera poses/intrinsic and dense depth by gradient descent, achieving COLMAP quality. A depth model is fitted for each scene, while the others are the differentiable results. arxiv.org/abs/2404.15259

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

6 days ago

FlowMapはビデオと既存のOptical Flow、点群トラッカーを入力としカメラ姿勢、内部パラメータ、フレーム毎の密な深度推定を求める。シーン毎に深度モデルを学習、他は入力と深度の微分可能な計算結果で表され全体が微分可能。長年デファクトのCOLMAPに精度、速度で匹敵する。arxiv.org/abs/2404.15259

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

a week ago

Dual Propagation is non-BP learning based on the contrastive Hebbian rule, where each neuron has a state pair, positively/negatively nudged from which the activation and the errors are obtained (other formulations are proposed in arxiv.org/pdf/2402.08573) arxiv.org/abs/2302.01228

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

a week ago

Dual Propagationは対比ヘブ則を使った学習で、ニューロン毎に目標に近づけた場合と遠ざけた場合の二つの状態ペアを持ち、この平均で順方向、差で逆方向の誤差を表す。層ごとに解析的に解けるのでBP並に高速かつ局所的に更新できる（様々な定式化もarxiv.org/pdf/2402.08573）arxiv.org/abs/2302.01228

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

a week ago

Many non-BP methods, such as equilibrium propagation, require symmetric weights. They showed that asymmetric weights can be used for learning as long as the norm of the asymmetric part of the Jacobian is suppressed by using Hutchinson estimation openreview.net/forum?id=kUveo…

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

a week ago

均衡伝搬法など多くの非BP手法は重みが対称であることを求め、専用HWによる実現性や脳内実現可能性で問題だった。非対称重みを使った場合のバイアスはJacobianの非対称成分のノルムで表せると証明し、非対称重みでもHutchinson推定で求めたノルムさえ抑えれば学習可能と示す openreview.net/forum?id=kUveo…

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

a week ago

5/8（水）の生成AIカンファレンスでLLMの最前線の話と今後の展望についてお話させていただきます。興味のある方はぜひご参加ください

gen_ai_conf Profile Picture

【5/8現地参加残りわずか！】生成AI Conf実行委員会 @gen_ai_conf

a week ago

5/8（水）の生成AIカンファレンスでLLMの最前線の話と今後の展望についてお話させていただきます。興味のある方はぜひご参加ください

Daisuke Okanohara / 岡野原 大輔 retweeted
matlantis_pfcc Profile Picture

Matlantis™ @matlantis_pfcc

2 weeks ago

AGC株式会社様の#Matlantis活用事例を公開しました。 材料研究開発を担う研究者お三方にどのように#Matlantisを活用されているのか?また取り組み等についてお話しいただきました。 詳細はこちら　matlantis.com/ja/case-study/… #computationalchemistry #materialsscience #materialsinformatics #MI

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

2 weeks ago

Multi-head MoE splits each token into subtokens and applies MoE to each subtokens (linear projections are inserted before and after). This increases the utility of experts and achieves better performance than the original MoE. arxiv.org/abs/2404.15045

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

2 weeks ago

マルチヘッドMoEはトークン毎に線形写像した後、h（2~6）個のヘッドに分割し、それぞれでMoEを適用した後、結合し線形写像で元に戻す。トークンあたりのエキスパート使用数をh倍に増やし、元のMoEと比べて多面的にエキスパートを使え、同じパラメータ数でMoEより性能が良い。arxiv.org/abs/2404.15045

Daisuke Okanohara / 岡野原 大輔 retweeted
matlantis_pfcc Profile Picture

Matlantis™ @matlantis_pfcc

2 weeks ago

#Matlantis ウェビナー（無料）を開催いたします。 ご参加お待ちしてます。 日時：2024年5月30日（木）16:00-17:30 タイトル：Matlantisの進化と新機能LightPFPのご紹介 詳しくはこちら↓ matlantis.com/ja/news/webina… #computationalchemistry #materialsscience #materialsinformatics #MI

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

2 weeks ago

Phi-3 3B, 7B is trained on textbook-like high-quality data generated by LLM. (trained on general data to acquire reasoning, then on high-quality to acquire knowledge). It can be run on a smartphone while achieving comparable MMLU scores as GPT-3.5. arxiv.org/abs/2404.14219 I've…

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

2 weeks ago

Phi-3 3B, 7BはLLMを使って学習データをフィルタリングしたり教科書のようなデータを生成し作られた高品質な学習データで学習（一般のデータで学習し推論能力獲得した後高品質なデータを知識を導入）。スマホで動かせ、10倍近く大きいGPT-3.5などのMMLUスコアなどに匹敵する。arxiv.org/abs/2404.14219…

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

2 weeks ago

DPO actually solves token-level inverse Q learning, estimates the optimal advantage function, and solves the token-level credit assignment problem. It can identify the token that led to the outcome of a dialogue, and justify the likelihood-based search. arxiv.org/abs/2404.12358

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

2 weeks ago

LLMのアライメントであるDPOは実はトークン単位の逆Q学習を実現し、最適なアドバンテージ関数を推定し、トークン単位の信用割当問題を解いている。例えばある対話の結果につながった原因のトークンを特定できたり、尤度最大化のビーム探索はそのまま収益最大化とみなせる arxiv.org/abs/2404.12358

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

3 weeks ago

Llama3 8/70B trains on 15T tokens w/ 16k GPUs, achieving the highest performance on this scale. The architecture is the same as before. Multimodal and multi-language will be supported in the future. 400B+ model in training is on par with the top LLMs. ai.meta.com/blog/meta-llam…

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

3 weeks ago

Llama3 8B 70Bは15兆トークン, 16k GPUを使い学習。同サイズのモデルでは最高性能。苦手だったプログラムはかなり改善。アーキテクチャは従来とほぼ同様、安全機構を備える。long-context、マルチモーダル、複数言語は将来リリース。学習中の400B+モデルは現トップLLMに並ぶ ai.meta.com/blog/meta-llam…

hillbig Profile Picture

Daisuke Okanohara / 岡野原 大輔 @hillbig

3 weeks ago

They re-analyzed the graph of the "Chinchilla scaling law" and found that the estimated rules do not fit the data, and their derived scaling law can fit well. Not sure if this problem arises from the figure-creation process or an analysis method. arxiv.org/abs/2404.10102

Trends for United States

Good Monday
23,9 B posts
#MondayMotivation
16,3 B posts
Wordle 1,052 X
1.226 posts
#InoueNery
105 B posts
Rafah
654 B posts
Tom Brady
63,3 B posts
#MondayMorning
2.303 posts
#Helldivers2
37,4 B posts
$BANDS
1.557 posts
#TeacherAppreciationWeek
3.202 posts
The Heart Part 6
178 B posts
Miya
26,7 B posts
MAJOR ORDER COMPLETED
1.107 posts
FOR DEMOCRACY
54,4 B posts
Prince Archie
7.669 posts
Ben Affleck
4.560 posts
FOR SUPER EARTH
2.295 posts
Millie Bobby Brown
71,4 B posts
Gronk
6.042 posts
Nikki Glaser
3.501 posts

You might like

DeepLearningに関する勉強会（輪読、実装会）。 東京大学松尾豊研究室、Deep Learning JPのメンバーが中心に運営しています。DeepLearningのニュースや論文・実装などをツイートします。
DLHacks
@DL_Hacks
23K Followers
【研究メンバー募集中】CV分野の今を映し、トレンドを創り出す挑戦。論文サマリ作成・研究テーマ設定・実装・論文投稿、凡ゆる知識を共有。2024目標「トップ会議40+本投稿」（30%達成;12/40）主宰: 片岡裕雄 @HirokatuKataoka
cvpaper.challenge | A..
@CVpaperChalleng
8K Followers
東京大学で人工知能の研究をしてます。工学系研究科 人工物工学研究センター／技術経営戦略学専攻 専攻長・教授。日本ディープラーニング協会理事長。ソフトバンクグループ社外取締役。新しい資本主義実現会議構成員。AI戦略会議座長。デジタル市場競争会議構成員。専門は人工知能／深層学習。人工知能は人間を超えるかなど。
松尾 豊
@ymatsuo
63K Followers
ダイキン工業（株）テクノロジー・イノベーションセンター技師長 / LeapMind社外取締役 / 元Preferred Networks / 元IBM東京基礎研 / Tweets are my own.
Shohei Hido 比戸将..
@sla
11K Followers
Preferred Networks, Inc. の研究開発情報を投稿します。 #PFN
PFN Tech
@preferred_jp
14K Followers
統計・機械学習・AIのブログ書いてます。主にベイズ学習をいじって遊んでいます。 「ベイズ推論による機械学習入門」「ベイズ深層学習」著者 確率モデル、深層学習、強化学習、データサイエンス、人工知能、汁なし担々麺、ねこ ※講演・執筆依頼等ありましたらDMください
須山敦志 Suyama A..
@sammy_suyama
25K Followers
Preferred Networks（#PFN）の日本語公式アカウントです。 - English Account: @PreferredNet - Tech Account: @preferred_jp
Preferred Networks
@PreferredNetJP
19K Followers
Research Scientist @SakanaAILabs
Takuya Akiba
@iwiwi
20K Followers
NTT人間情報研究所 上席特別研究員．人工知能全般，特に，自然言語処理，Vision-and-Languageに興味があります．大規模言語モデルに関するプロジェクトの統括をしています．
Kyosuke Nishida
@kyoun
5K Followers
All change is not growth, as all movement is not forward. Ellen Glasgow
piqcy
@icoxfog417
19K Followers
Preferred Networks, VP of retail。流通、小売、物流。自然言語処理、機械学習、言語とロボット。『深層学習による自然言語処理』。物流ロボット、お片付けロボット、対話ロボット、Chainer, CuPy, Jubatus。Pentax K1 M-II、卓球、料理、自転車
Yuya Unno
@unnonouno
14K Followers
特任准教授 at 国立情報学研究所 テクニカルディレクター at Cierpa&Co. 客員助教 at NAIST 機械翻訳とかLLMとかをやっています。
Odashi
@odashi_t
19K Followers
Ph.D candidate, the university if Tokyo ← Tech Lead for the Computer Vision team at ExaWizards Inc. ← Manufacturing Engineer
akira
@AkiraTOSEI
7K Followers
AI研究者 / 博士（工学，東京大学）, Ph. D. / 元・東京大学 松尾研究室 / 新たな挑戦に向けて準備中！/ 強化学習，マルチエージェント，生成AI，LLM，ゲームAI / 著書：『生成AIで世界はこう変わる』『G検定公式テキスト』『AI白書』 / 翻訳書：『強化学習』/ 石川県金沢市出身
今井翔太 / Shota ..
@ImAI_Eruel
47K Followers
AI、アジャイル、ITビジネス系の情報を発信 ー Qiita：https://t.co/iIdoVJ5Oe5… 自己紹介：https://t.co/pEQzjuLVY1… 発信専用no follow
小川雄太郎
@ogawa_yutaro_22
9K Followers