107. LLMをゼロから作るということ w/ Takahiro Omi
Update: 2023-11-14
Description
ストックマークの近江さんをゲストに、大規模言語モデルをゼロから作る方法、学習のデータセット、モデルアーキテクチャ、学習環境への取り組みなどについて語っていただきました。
話したネタ
- どのような大規模言語モデルと作ったのか？特徴は何か？
- データセットに何を使ったのか？
- 日本語と英語とのバランスは？
- 最終的なToken数は？
- 事前学習モデルを作りたいとして、何から考えるのか？
- ノイズのクリーニングと、その方法
- 今回活用したモデルアーキテクチャ(Llama)
- 前回のアーキテクチャは GPT-NeoX
- 今回の学習環境は？
- AWS Trainum 32コア x 16ノード
- 学習にかかった時間は？
- 学習時に大変だったこと・上手くいかなかったことは？
- 学習中のチェックポイントとは何か？
- なぜ、Token生成が速いのか？
- 手元でLLMを動かすときの一番のネックは？
- bit数を落とすFineTuning
- Tokenizerとは何か？
- 日本語の単語区切りはどのように考えるのか？
- 今回のLLM作成のTokenizerは何を使ったのか？
- ビジネスドメインでのLLM評価
- ストックマーク株式会社のRecruitページ
See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.
Comments
Top Podcasts
The Best New Comedy Podcast Right Now – June 2024The Best News Podcast Right Now – June 2024The Best New Business Podcast Right Now – June 2024The Best New Sports Podcast Right Now – June 2024The Best New True Crime Podcast Right Now – June 2024The Best New Joe Rogan Experience Podcast Right Now – June 20The Best New Dan Bongino Show Podcast Right Now – June 20The Best New Mark Levin Podcast – June 2024
In Channel
Download from Google Play
Download from App Store
United States00:00
00:00
1.0x
