23/06/17 02:01:56.54 gp78K8td.net
@johnjnay
LLM Passes MIT Math & Computer Science
-4,550 questions from the 30 MIT Math & CS courses required for a degree
-New benchmark likely not in any training data
On test set excluding image Qs, w/ prompt engineering:
-GPT-3.5 solves 33%
-GPT-4 solves 100%
URLﾘﾝｸ(arxiv.org) URLﾘﾝｸ(pbs.twimg.com)
GPT-4で100%取ったのはプロンプトエンジニアリングを駆使したようだけど、それにしてもすごい