DiscoverAI Engineering Now#8: Who Validate the Validator? - 継続的な評価をアップデートする仕組み -
#8: Who Validate the Validator? - 継続的な評価をアップデートする仕組み -

#8: Who Validate the Validator? - 継続的な評価をアップデートする仕組み -

Update: 2024-11-04
Share

Description

継続的にLLMアプリケーションの評価基準や自動評価をアップデートする仕組みであるEvalGenについて書かれた論文「Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences」について話しました。




ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠⁠⁠⁠⁠こちら⁠⁠⁠⁠⁠⁠⁠




Shownotes:


https://arxiv.org/abs/2404.12272


https://www.sh-reya.com/blog/ai-engineering-flywheel/


https://www.chainforge.ai/


https://github.com/wandb/evalForge/tree/main


https://blog.langchain.dev/aligning-llm-as-a-judge-with-human-preferences/



出演者:


seya(⁠⁠⁠⁠⁠⁠⁠@sekikazu01⁠⁠⁠⁠⁠⁠⁠)


kagaya(⁠⁠⁠⁠⁠⁠⁠@ry0_kaga⁠⁠⁠⁠⁠⁠⁠)

Comments 
00:00
00:00
x

0.5x

0.8x

1.0x

1.25x

1.5x

2.0x

3.0x

Sleep Timer

Off

End of Episode

5 Minutes

10 Minutes

15 Minutes

30 Minutes

45 Minutes

60 Minutes

120 Minutes

#8: Who Validate the Validator? - 継続的な評価をアップデートする仕組み -

#8: Who Validate the Validator? - 継続的な評価をアップデートする仕組み -

AI Engineering Now