DiscoverAI Engineering Now#4: ~Embedding first, Chunking Later~ Jina AIが提唱したLate Chunkingについて学ぶ
#4: ~Embedding first, Chunking Later~ Jina AIが提唱したLate Chunkingについて学ぶ

#4: ~Embedding first, Chunking Later~ Jina AIが提唱したLate Chunkingについて学ぶ

Update: 2024-10-07
Share

Description

今回はJina AIが提唱したLate Chunkingがテーマです。


Jina AIはEmbedding model、Reranker、Semantic chunking等のAPIを公開しているRAGに取り組む上では注目の企業です。


そんなJina AIが提唱したチャンキング手法であるLate Chunkingについて話しました。




ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠こちら⁠⁠⁠⁠




Shownotes:


Jina.ai


⁠Late Chunking in Long-Context Embedding Models⁠


⁠Late Chunking: Balancing Precision and Cost in Long Context Retrieval | Weaviate⁠


Training Text Embeddings with Jina AI


What is ColBERT and Late Interaction and Why They Matter in Search?


https://x.com/s_tat1204/status/1837932815931134138




出演者:


seya(⁠⁠⁠@sekikazu01⁠⁠⁠)


kagaya(⁠⁠⁠@ry0_kaga⁠⁠⁠)

Comments 
00:00
00:00
x

0.5x

0.8x

1.0x

1.25x

1.5x

2.0x

3.0x

Sleep Timer

Off

End of Episode

5 Minutes

10 Minutes

15 Minutes

30 Minutes

45 Minutes

60 Minutes

120 Minutes

#4: ~Embedding first, Chunking Later~ Jina AIが提唱したLate Chunkingについて学ぶ

#4: ~Embedding first, Chunking Later~ Jina AIが提唱したLate Chunkingについて学ぶ

AI Engineering Now