マイクロソフトDeepSpeed @MSFTDeepSpeedJP
深層学習を最適化するライブラリ@microsoft DeepSpeed の情報を日本語で発信する公式アカウントです。 大規模な分散学習や推論を高速かつ簡単に実施できます。 このアカウントでは、DeepSpeedの新機能や論文などの最新情報を紹介していきます。英語Twitterアカウント: @MSFTDeepSpeed deepspeed.ai Joined March 2023-
Tweets67
-
Followers1K
-
Following38
-
Likes40
Phi-3モデルが公開されました！同じ規模のモデルと比較して、格段に高い性能を示しています。 学習にはもちろんDeepSpeedが使われています！
Phi-3モデルが公開されました！同じ規模のモデルと比較して、格段に高い性能を示しています。 学習にはもちろんDeepSpeedが使われています！
We are hiring for the new lab at Tokyo: jobs.careers.microsoft.com/global/en/job/…
[Announcement] MSRの拠点を日本／東京に開設いたします.....！ news.microsoft.com/ja-jp/2024/04/…
【国内 AI ・クラウド基盤増強に 4,400 億円を投資】 弊社は AI・クラウド基盤の増強、人材育成、セキュリティ強化への注力を発表します。 300 万人にリスキリングの機会を提供し、弊社として日本初の研究拠点も新設。 サイバーセキュリティ分野で日本政府と連携強化します。 msft.it/6011cfu4B
日本Microsoft社を訪れ、Microsoft…
DeepSpeedが使われているとのことです！ > モデルの開発にはMicrosoft Corporationによって研究開発された深層学習フレームワーク「DeepSpeed」を採用し、その強みである高い並列分散処理能力を発揮するためのLLM学習ノウハウとAzure上のGPUサーバー群が日本マイクロソフトから提供されています。
DeepSpeedが使われているとのことです！ > モデルの開発にはMicrosoft Corporationによって研究開発された深層学習フレームワーク「DeepSpeed」を採用し、その強みである高い並列分散処理能力を発揮するためのLLM学習ノウハウとAzure上のGPUサーバー群が日本マイクロソフトから提供されています。
［itmedia.co.jp］「Transformer」後継と期待される「RetNet」活用 PKSHAが日英対応の独自LLMを開発 日本MSも協力 itmedia.co.jp/aiplus/article…
【note】DeepSpeedの紹介 ※こちらの記事は、2021年7月26日にRetrieva TECH BLOGにて掲載された記事を再掲載したものとなります。 note.com/retrieva/n/nc0…
#DeepSpeed チームは、シドニー大学 @Sydney_Uni と共同で、FP6での推論の技術を開発しました！ FP16のモデルを与えるだけで、以下を実現できます。 🚀 1.5倍高速なLLM推論 🚀 革新的な(4+2)ビットでの計算 🚀 品質を保ったまま量子化 リンク: github.com/microsoft/Deep…
#DeepSpeed チームは、シドニー大学 @Sydney_Uni と共同で、FP6での推論の技術を開発しました！ FP16のモデルを与えるだけで、以下を実現できます。 🚀 1.5倍高速なLLM推論 🚀 革新的な(4+2)ビットでの計算 🚀 品質を保ったまま量子化 リンク: github.com/microsoft/Deep…
#DeepSpeed joins forces with @Sydney_Uni to unveil an exciting tech #FP6. Just supply your FP16 models, and we deliver: 🚀 1.5x performance boost for #LLMs serving on #GPUs 🚀 Innovative (4+2)-bit system design 🚀 Quality-preserving quantization link: github.com/microsoft/Deep…
v1.1 チューニング済みモデル・データ公開 llm-jp.nii.ac.jp/blog/2024/02/0…
Finally I'm being told MSFT allocated more engineering positions on the @MSFTDeepSpeed team. As a long time Deepspeed user for the first few years I had to fix many bugs myself since the team was so small, and finally the time has come where I can just report them and the…
Are you a #DeepSpeed user, fan, contributor, and/or advocate? Are you interested in meeting people behind @MSFTDeepSpeed tech? Are you interested in #AI? If yes, come and meet the team at our first in-person meetup in the Seattle area! Register here: developer.microsoft.com/reactor/events…
Microsoftの業績拡大が加速、生成AIのいち早い商用化で「第3の創業期」に。 nikkei.com/article/DGXZQO… 過去1年間の株価上昇率は65%に達し、時価総額はアップルに続き、初めて3兆ドルを突破。就任10年を迎えるナデラCEOの構造改革が実を結んでいます。
#DeepSpeed-FastGen で新たに Mixtral, Phi2, Falcon, Qwen が利用可能になりました！ その他、多くのアップデートが含まれます。 - 既存ソフトウェアより2.5倍高速 - SplitFuse / トークンサンプリングの最適化 - REST APIのサポート等の多くの新機能 github.com/microsoft/Deep… #DeepSpeeed #AI
#DeepSpeed-FastGen で新たに Mixtral, Phi2, Falcon, Qwen が利用可能になりました！ その他、多くのアップデートが含まれます。 - 既存ソフトウェアより2.5倍高速 - SplitFuse / トークンサンプリングの最適化 - REST APIのサポート等の多くの新機能 github.com/microsoft/Deep… #DeepSpeeed #AI https://t.co/3L75r5MJFr
🚀 Excited to announce our paper "ZeRO++: Extremely Efficient Collective Communication for Large Model Training" has been accepted at #ICLR2024! 🔍 ZeRO++ significantly reduces communication volume by 4x, achieving up to 3.3x speedup. microsoft.com/en-us/research… #DeepSpeed #AI
A small new feature added to zero-offload, feel free to try it out.
A small new feature added to zero-offload, feel free to try it out.
🚀 Announcing DeepSpeed ZeRO-Offload++ -6x Higher Training Throughput via Collaborative CPU/GPU Twin-Flow 🔥 -Systematic optimizations at no data precision loss -Performance gain maintains for both single and multi-node cases github.com/microsoft/Deep…
Introducing DeepSpeed-FastGen 🚀 Serve LLMs and generative AI models with - 2.3x higher throughput - 2x lower average latency - 4x lower tail latency w. Dynamic SplitFuse batching Auto TP, load balancing w. perfect linear scaling, plus easy-to-use API github.com/microsoft/Deep…
ぬる @nullnullan
109 Followers 2K Following
タカケン ／ Circ.. @TakaKen_TypeR
1K Followers 4K Following 新規事業開発に取り組んでいる方、起業家の方と繋がりたい／生産技術→研究開発→新規事業開発／サーキュラーデザイン／A-CSM®︎／愛車はCivic TypeRとCBR600RR／ハードウェア開発・サービスデザインにスクラムを／SONY 製品好き／発言は全て個人の見解です。
佐藤 @kusato
181 Followers 446 Following 情報理論を使ったデータマイニングと、それを用いたマーケティング視点のインサイト抽出手法の開発をしています。専門はソーシャルメディア分析、データマイニング、CRM、情報理論、熱統計学あたり。ヤクルトファン。
いけだちん @ikedachin
442 Followers 776 Following オリジナルブランドは「凡才印」の池駄賃。どこまでいっても凡人。元はサイクリストを目指してた人。 フィドルを弾いてれば満足な人。アフター５こそ我が人生な人。 #irish #fiddle #AI #deeplearning #CDLE #ロードレース #Python
あ @lilkoke_hobby
0 Followers 113 Following
onotchi @onotchi09
0 Followers 33 Following
Natsue Shiromoto @NatsueShir4995
53 Followers 568 Following 23歳、身長156cm 旅行、グルメ、キャンプ、友達作りが好きです 同じ目標を持った人はいますか？良かったらフォローお願いします
hiro @hiro_15055491
1 Followers 27 Following
ゆうなぎ @yuunagi
2K Followers 5K Following
Yudai Yamamoto @_yy616
456 Followers 326 Following LLM周りのエンジニア / NTTCom ← Cybozu / like: SF, 登山, タレブ
すももも @su4989_
8 Followers 127 Following
Gamingood @pqpqpqpqpqop
0 Followers 220 Following
オッドアイズ @kkee33051625
390 Followers 2K Following うまくやれてると思ってるサラリーマン。 シュッ! https://t.co/nVrSchQXtz ＃住宅ローン ＃投資 ＃米国株 #chatGPT
いく🔖 @iku_hashida
40 Followers 96 Following 大学生（いきもの系） ﾉﾝﾊﾞｲ・Aエゴ（Aロマ） ポケモンエメラルドバージョンと、Splatoonのジェットスイーパーというブキに命を救われました
行政書士 武 .. @ilcJCPZrtizdtpo
2K Followers 5K Following SUNABACO/EB2で修行中！大部分は日常生活と修行Tweet！稀に業務の呟き！/#SUNABACO EB2 13期FE2期WP10期/#2級整備士/#arms_gym/#行政書士/#申取/#日簿2/#宅建士/#法学修士修了/#日経225/#常在戦場/#私のいいねRTは必ずしも賛同を表しません×出会副業
so_genai @SGenai66313
2 Followers 6 Following 経産省とNEDOの生成AIの開発力強化のためのプロジェクト「GENIAC」採択／東京大学松尾・岩澤研究室の500億パラメータ大規模言語モデル開発プロジェクトの開発チームメンバーです。開発のための情報収集や知見の発信が主のアカウントです。よろしくお願いします。
michael @michael_sys
161 Followers 616 Following
Takashi Bando @ban1127
205 Followers 659 Following Startup founder / Researcher in AI, Machine Learning, Robotics, etc. / Mountain View, California
Shinichi Takaŷanagi�.. @_stakaya
5K Followers 503 Following 博士(統計科学). Lead AI Engineer @BCG . 徳島大学デザイン型AI教育センター客員准教授・情報処理学会 ビッグデータ研究グループ幹事・株式会社ホクソエムの妖精を兼任. 著訳/監修書: 評価指標入門, データ分析失敗事例集, 施策デザインのための機械学習入門, 効果検証入門, 前処理大全 等
りんしゅう @rinsyu_works
277 Followers 608 Following
KKK @azkmjm
14 Followers 42 Following
sasa @blueberry_sasa
30 Followers 217 Following 札幌のITエンジニア Cloudインフラ構築・運用/データサイエンス/SaaSアプリ開発/アジャイル開発/マネジメント(PM、管理)/ITアーキテクト/火消し ・個人的な興味 サイエンス/アート/哲学/AIとALife/文学/岩盤浴/スキー
Yasuo Yamasaki @yasuoyamasaki
268 Followers 1K Following
ykon550 @ykon550
139 Followers 299 Following 研究開発職←ソフトウェアエンジニア。TypeScript, Node.JSが好きでしたがPython使うことが多くなりました。コーヒーとビールが好き。
モグライオン @geetM087Gu6vfeL
2 Followers 33 Following 渋谷にて、端から端まで研修中。 登山タブンデキル。 好きな動物はライオンとシャチ。 ポールとサムの大ファン。
Wspring198 @iforce999
208 Followers 2K Following
とや @_dtoya
10 Followers 93 Following
ぽこにゃん @pokonyan108
18 Followers 114 Following
yk @kyn_popopopon
20 Followers 277 Following
Ryo IGARASHI @rigarash
686 Followers 2K Following Project Researcher at @omron_sinicx, connecting computational condensed matter physics, high performance computing, and machine learning. Ph.D. from UTokyo.
hhjhath @harryjt93
10 Followers 1K Following
L @viv_vivid_viv
515 Followers 4K Following 深層学習研究してる院生(M2) 企業研究所でLLM研究開発経験あり 最近の対象はNLPやLLM 画像にも興味あり 原神、崩壊スターレイル、美味しい料理、えっちな漫画も愛してます ⚠️R18⚠️
マイクロソフト.. @msraurjp
3K Followers 566 Following Microsoft Research Accelerator, Japan： MSRにご興味のある方、インターン希望の方、Researcher希望の方、お気軽にご連絡ください。 【中の人：https://t.co/V8dTASC0js】
国立情報学研究.. @jouhouken
19K Followers 2K Following 国立情報学研究所は、情報学を専門とする国内唯一の学術総合研究所です。ネットワーク、ソフトウェア、コンテンツなどの情報関連分野の新しい理論・方法論から応用展開までの研究開発を総合的に推進しています。 National Institute of Informatics, JAPAN
LLM勉強会（LLM-jp.. @llm_jp
1K Followers 0 Following LLM勉強会（LLM-jp）の公式アカウントです。 LLM勉強会では、自然言語処理および計算機システムの研究者が集まり大規模言語モデルの研究開発について定期的に情報共有を行っています。お問い合わせはウェブサイトの連絡先よりお願いします。
Toshinori Sato @overlast
6K Followers 2K Following ソフトバンク株式会社のデジタル社会基盤整備室のシニアテクノロジーエグゼクティブ。AI関連の戦略立案を担当。元LINEのNLPチームのMgr。東工大奥村研出身。自然言語処理と検索が専門。mecab-ipadic-neologdとNEologdの開発再開してます。近々https://t.co/0yPtHCLVNFを開始。
Microsoft Research @MSFTResearch
553K Followers 2K Following We advance science and technology to benefit humanity. https://t.co/kz0nARXbwT Register for Microsoft Research Forum on June 4 ⬇️ Get our newsletter
J. Kuroda @Isa_rentacs
2K Followers 1K Following Applied Scientist@AMZN, ex-MSFT。Student Pilot。NLPとかやっています。ベルギービールが好きです。大きめの🐶を飼っています。 麻布06/UEC07/UT(CS2011)/ISTP
Toshiaki Nakazawa @Tzawa
2K Followers 372 Following 東大とかShareFairとかに所属 https://t.co/54g5UcxBR9 https://t.co/prsFdO7iAG…
Daisuke Kawahara @daisukekawahar1
493 Followers 226 Following Researcher in Natural Language Processing. https://t.co/Z2aa2lhCrv
Shohei Nagata🌗| AI.. @shohei_aio
2K Followers 1K Following Cloud Solution Architect - AI @Microsoft データ分析基盤やAzure AIの導入・活用支援/ #AzureML #OpenAI🧙/ 元Barista見習い @Starbucks / OpenAI, LLM, RAG
Hirosato Gamo | AI Cl.. @hiro_gamo
8K Followers 424 Following @Microsoft AI Cloud Solution Architect / Azure OpenAI Champ / Microsoft Evangelist / データ基盤開発やデータサイエンティストを経験し、現在はGPTなどAI技術支援やLLM開発の執筆・登壇に従事。Posts on my own.
GIGAZINE(ギガジン.. @gigazine
624K Followers 14 Following ニュースサイト「GIGAZINE」（ギガジン）公式アカウント。最新ニュースを速報中。365日年中無休で更新しています。誤字脱字指摘や記事ネタの連絡はGIGAZINEページ一番下にあるメールフォームへのリンクから送ってくれると助かります。
ITmedia NEWS @itmedia_news
345K Followers 11K Following ITニュースサイト「ITmedia NEWS」です。ニュースをめぐるあれやこれやを編集部からお届けします。記事更新情報は自社開発botが、編集部からのお知らせなどは手動で投稿しています。
Rio Yokota @rioyokota
380 Followers 240 Following Professor, Tokyo Institute of Technology Research interests: HPC+ML
彷徨っている情.. @tsuchm
1K Followers 398 Following 情報系の教員です。職務に関係するつぶやきが多いですが、全ての発言は個人的なものであり、所属組織はもちろんのこと、本人の公式見解、現実世界とも関係ありません。不要なツイート（特にリプライやRT）は消しています。
Yoshinari Fujinuma @akkikiki
971 Followers 1K Following Applied Scientist@AWS AI Labs; CS PhD @CUBoulder; Tweets are my own; Substack: https://t.co/Mq5oR2vaGN Lived: 🇹🇭🇯🇵🇫🇷🇺🇸 Tweets: JA/EN
Taka YAYOI / 弥生 �.. @taka_aki
637 Followers 286 Following 4/12にApache Spark徹底入門を出版しました！ https://t.co/ZOs9PL7Lr6 Databricksで働いてます。料理、酒、本、音楽、ジョギング、モノづくりをこよなく愛する人間のつもり。Qiitaで記事書いてます。
たぐろまる / JK1.. @xecus
3K Followers 4K Following TMCIT@W→TMU@EE編入→ABEJA。1994生まれの元高専生。現在エンジニアリングマネージャー。技術で人や社会に貢献することを考えています。昔は医療機器や宇宙開発(CubeSat)にも携わってました。最近は六脚ロボットを自作しています
レトリバ @retrieva_jp
736 Followers 319 Following 株式会社レトリバ(Retrieva, Inc.)の公式アカウントです。レトリバの発表や取り組みなどをご紹介します∪・ω・∪ Retrieva OFFICIAL note：https://t.co/T7BLSbi0Z5 Retrieva TECH BLOG：https://t.co/vFYrNvOiOz
スーパーコンピ.. @Fugaku_hpci
4K Followers 27 Following スーパーコンピュータ「富岳」の公式アカウントです。 「富岳」を含むHPCIの利用案内、公募情報、研究成果、プレスリリース、イベントや講習会情報等について発信します。 運営：一般財団法人高度情報科学技術研究機構（RIST） 詳しい情報はWebサイトをご覧ください。
Ledge.ai | AIトレ�.. @ledgeai
15K Followers 1K Following 国内最大級のAI（人工知能）関連メディア「https://t.co/yIoMifiwrK」の公式アカウントです。AIなど最新テクノロジーのニュース、活用事例、学習コンテンツ、開発に関わる情報を発信します。会員登録はこちら（https://t.co/mpJeJOpIrG）から。
人工知能・機械.. @A_I_News
63K Followers 241 Following AI、機械学習、自然言語処理、Deep Learning、画像認識、Computer Vision などに関するニュースや有益な情報をツイート。論文・学習資料、ChatGPTの事例なども紹介。掲載のご申請はこちら: https://t.co/hNF68CqiDy
【公式】AINOW / �.. @AINOW_ai
6K Followers 3K Following ■AI専門メディア【AINOW】の新着記事をお知らせ📩AI関連のイベントや企業の取材、役立つコラムまで幅広く発信します📲■【AI.Accelerator】では日本初のアクセラレーションプログラムとして、60社以上のAIスタートアップ支援をしています📈■編集長→【@ozaken_AI】
Satoshi Matsuoka @ProfMatsuoka
24K Followers 954 Following 理研計算科学研究センター長 Director RIKEN R-CCS, 東工大特定教授 Prof. Tokyo Tech. ACM/ISC/JSSST/IPSJ Fellows, IEEE Fernbach(2014)&Cray(2022) Awards, 令4紫綬褒章 Purple Ribbon Medal 2022
Ikuya Yamada @ikuyamada
2K Followers 493 Following Chief scientist @StudioOusia working on NLP. Visiting scientist @RIKEN_AIP. Tweets in English & 日本語. LUKE, Wikipedia2Vec. Books: 大規模言語モデル入門, ディープラーニングによる自然言語処理.
ハラリハット @Haruto_QU
148 Followers 182 Following AI(画像処理、音声分析、自然言語処理)/ generative AI/ PyTorch, Django, JS, Unity C# / 九大医学部情報研
Kyo @kyo_takano
2K Followers 0 Following Scaling neural nets for language modeling & search... 🧩 State-of-the-art Rubik's Cube AI: https://t.co/dPcNpZsio3 ⚖️ Scaling law research toolkit: https://t.co/b9Y1f1Y7ml
エイ @Near_Mou
354 Followers 664 Following 他愛ないこと言って、そーなんだと返す日常で。君も居れば僕みたいのも居る、そんな音楽を目指しています。3人組音楽ユニット「ニアマウ」のボカロP・Mix担当、作詞作曲編曲Mix、動画作成、プログラミング、Ph.D.、Sandbox Landオーナー、オーストリア在住経験
Shaden Smith @shaden_smith
266 Followers 605 Following Technical Staff at @MicrosoftAI. Prev. @InflectionAI, @MSFTDeepSpeed, and @Intel. Into horror, herpetology, and high performance computing. he/him
Ammar Ahmad Awan @ammar_awan
266 Followers 484 Following DeepSpeed-er @Microsoft, @MSFTDeepSpeed, Father, PhD, Wanna-be Professor, Technology Enthusiast.
Jeff Rasley @jeffra45
671 Followers 926 Following @SnowflakeDB AI Research Team. @MSFTDeepSpeed co-founder, @BrownCSDept PhD, @uwcse alum
Conglong Li @conglongli
127 Followers 59 Following Senior Researcher @Microsoft DeepSpeed team, working on deep learning systems. @SCSatCMU PhD, @RiceCompSci BS+MS. Views are my own. English/Chinese/Japanese.
DeepSpeed @MSFTDeepSpeed
3K Followers 88 Following Official account for @Microsoft DeepSpeed, a library that enables unprecedented scale and speed for deep learning training + inference. 日本語 : @MSFTDeepSpeedJP
Microsoft @Microsoft
13.8M Followers 2K Following We're on a mission to empower every person and every organization on the planet to achieve more. Support: @MicrosoftHelpsWe are hiring for the new lab at Tokyo: jobs.careers.microsoft.com/global/en/job/…
[Announcement] MSRの拠点を日本／東京に開設いたします.....！ news.microsoft.com/ja-jp/2024/04/…
【国内 AI ・クラウド基盤増強に 4,400 億円を投資】 弊社は AI・クラウド基盤の増強、人材育成、セキュリティ強化への注力を発表します。 300 万人にリスキリングの機会を提供し、弊社として日本初の研究拠点も新設。 サイバーセキュリティ分野で日本政府と連携強化します。 msft.it/6011cfu4B
横田研のQiさんも共著です。これからが楽しみですね。
Sakana AIの最初の研究成果である、進化的計算による基盤モデル構築に関する論文を公開しました。多様な既存モデルを自動的に融合し優れた基盤モデルを構築するための方法を提案すると共に、それにより試作したモデルを公開しました。 ブログ sakana.ai/evolutionary-m… 論文 arxiv.org/abs/2403.13187…
🚀 Excited to announce our paper "ZeRO++: Extremely Efficient Collective Communication for Large Model Training" has been accepted at #ICLR2024! 🔍 ZeRO++ significantly reduces communication volume by 4x, achieving up to 3.3x speedup. microsoft.com/en-us/research… #DeepSpeed #AI
AMD is proud to partner with Microsoft Research in enabling #AI system technology to accelerate research and solve challenges in science, from drug discovery to renewable energy. Announcing the @MSFTResearch DeepSpeed4Science Initiative: bit.ly/3PMv3Q7
割とまじめに色々論文読んで実装して、自作フレームワーク用の深層学習コンパイラつくってみた 教授っちへ がんばったので単位ください (※ 画像はめちゃくちゃ上手く行く例です)
PyTorch 2.0からcompileが追加されたせいで自分の中で今深層学習コンパイラがかなり熱くて、arxiv.org/abs/2002.03794 とかをセコセコ読んでたんだけど、大学で少人数の開発実習みたいな授業が取れたので、プログラミング言語専門の教授っちに逐一聞きながらこの辺やって行けそうで楽しみ！
DeepSpeed v0.10.0 release! Includes our ZeRO++ release, H100 support, and many bug fixes/updates. Special thanks to our wonderful community of contributors! ZeRO++ paper: arxiv.org/pdf/2306.10209… ZeRO++ blog: microsoft.com/en-us/research… v0.10.0 details: github.com/microsoft/Deep…
A new system of communication optimization strategies built on top of ZeRO offers unmatched efficiency for large model training, regardless of batch size limitations or cross-device bandwidth constraints. msft.it/6014gqGkw
ｵｰﾌﾟﾝｿｰｽ畑5年ぐらい経つけれど結構思いもよらぬところで自分を知って感謝してくれてる人がいるもんなんだね。ユーザーでもcore devでも。
Deep Speed ! 名前かっこよ。
我々が研究開発しているDeepSpeedについて、主要技術を日本語で説明した資料を公開しました。GPT3やChatGPTのような生成型AIのための大規模言語モデルを含む、様々な深層学習の訓練や推論に容易に適用でき、モデルの大規模化、高速化、コスト削減を可能にします。deepspeed.ai/assets/files/D…
スピード感
我々が研究開発しているDeepSpeedについて、主要技術を日本語で説明した資料を公開しました。GPT3やChatGPTのような生成型AIのための大規模言語モデルを含む、様々な深層学習の訓練や推論に容易に適用でき、モデルの大規模化、高速化、コスト削減を可能にします。deepspeed.ai/assets/files/D…
DeepSpeedの概要を紹介する資料を一般公開しました！ DeepSpeedの多岐に渡る技術を網羅的に紹介する公開資料は、これまではおそらく英語でも存在しておらず、幅広く概観することが難しかったと思います。 今回まとめて日本語で読めますので、ご興味ある方はぜひご覧ください。
我々が研究開発しているDeepSpeedについて、主要技術を日本語で説明した資料を公開しました。GPT3やChatGPTのような生成型AIのための大規模言語モデルを含む、様々な深層学習の訓練や推論に容易に適用でき、モデルの大規模化、高速化、コスト削減を可能にします。deepspeed.ai/assets/files/D…
MS発オープンソースの深層学習の高速学習フレームワーク。特に宣伝しなくとも精度が上位にくるLLMでは大概使われているようですが、日本語解説を公開してくれてます。 Guidance、LightGBM、DeepSpeed、Semantic Kearnelと最近はマイクロソフトもOSS気合入ってますね。
我々が研究開発しているDeepSpeedについて、主要技術を日本語で説明した資料を公開しました。GPT3やChatGPTのような生成型AIのための大規模言語モデルを含む、様々な深層学習の訓練や推論に容易に適用でき、モデルの大規模化、高速化、コスト削減を可能にします。deepspeed.ai/assets/files/D…
Microsoft内部でもめちゃくちゃ使われていて、深層学習の並列分散処理の事実上標準フレームワークといっても過言ではない！
我々が研究開発しているDeepSpeedについて、主要技術を日本語で説明した資料を公開しました。GPT3やChatGPTのような生成型AIのための大規模言語モデルを含む、様々な深層学習の訓練や推論に容易に適用でき、モデルの大規模化、高速化、コスト削減を可能にします。deepspeed.ai/assets/files/D…
ChatGPTのようなLLM/生成AIを開発するためのフレームワークに関する貴重な日本語資料が公開されてます！！
我々が研究開発しているDeepSpeedについて、主要技術を日本語で説明した資料を公開しました。GPT3やChatGPTのような生成型AIのための大規模言語モデルを含む、様々な深層学習の訓練や推論に容易に適用でき、モデルの大規模化、高速化、コスト削減を可能にします。deepspeed.ai/assets/files/D…
GPTに他の言語モデルが追いつけないのは、学習方法に相当ノウハウがあるのでは…とは前から思ってて(RLHFかは分からないけど)、トレーニングAPI公開されないのも実はチューニングが凄い大変だからなのかなと思ってた。 これで大型モデルのfine tuning解禁が早まると嬉しい。 msn.com/ja-jp/news/tec…
ChatGPTのようなモデルを高速生成するツール、Microsoftが開発 「既存技術の15倍以上」うたう itmedia.co.jp/news/articles/…
ChatGPTなどに使われる大規模言語モデルを従来のシステムよりも15倍高速・低コストで学習できる「DeepSpeed-Chat」をMicrosoftが公開 gigazine.net/news/20230413-…
Trends for United States
You might like
