73.言語モデルは中間部分を見ていない?「Lost in the Middle」とテキストデータのaugmentation?「GReaT」の話
Update: 2023-08-20
Description
感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます!
匿名でのお便りもgoogle formにてお待ちしております!
—
目次
- 00:27 ~:Lost in the Middle: How Language Models Use Long Contexts
- 12:43 ~:Language Models are Realistic Tabular Data Generators
show notes
- 辻さんが紹介している論文:Lost in the Middle: How Language Models Use Long Contexts
- 関連する情報が入力コンテキストの先頭または末尾にある場合に性能が最も高くなることが多く、
- 長いコンテキストの途中で関連する情報にアクセスしなければならない場合に性能が著しく低下することがわかった
- さらに、入力コンテキストが長くなるにつれて、明示的に長いコンテキストを持つモデルであっても性能が大幅に低下する
- 金さんが紹介している論文:Language Models are Realistic Tabular Data Generators
- ICLR 2023 posterにて選定された
- 実際にKaggleのPraygroundコンペ用のデータに使われている
- GReaTのPythonパッケージ
Comments
Top Podcasts
The Best New Comedy Podcast Right Now – June 2024The Best News Podcast Right Now – June 2024The Best New Business Podcast Right Now – June 2024The Best New Sports Podcast Right Now – June 2024The Best New True Crime Podcast Right Now – June 2024The Best New Joe Rogan Experience Podcast Right Now – June 20The Best New Dan Bongino Show Podcast Right Now – June 20The Best New Mark Levin Podcast – June 2024
In Channel