23/07/07 20:48:04.47 nPHRFLqj.net
@ImAI_Eruel
トークン長の長さは話題になるところですが,実際にLLMに入力する長いプロンプト(コンテキスト)では,先頭か最後の方に重要な情報が含めたほうがいいという研究
URLﾘﾝｸ(arxiv.org)
実験でも,位置の違いで相当な精度差
使い慣れた人は直感的に把握してそうな知見が改めて研究でしっかり示された感
URLﾘﾝｸ(pbs.twimg.com)
23/07/07 20:48:04.47 nPHRFLqj.net
@ImAI_Eruel
トークン長の長さは話題になるところですが,実際にLLMに入力する長いプロンプト(コンテキスト)では,先頭か最後の方に重要な情報が含めたほうがいいという研究
URLﾘﾝｸ(arxiv.org)
実験でも,位置の違いで相当な精度差
使い慣れた人は直感的に把握してそうな知見が改めて研究でしっかり示された感
URLﾘﾝｸ(pbs.twimg.com)