\begin{table*}[htp]
\resizebox{\textwidth}{!}{
\begin{tabular}{lrrrrrrrrrrr}
\toprule
Model/adapter & Mean win rate & NarrativeQA - Observed inference time (s) & NaturalQuestions (open-book) - Observed inference time (s) & NaturalQuestions (closed-book) - Observed inference time (s) & OpenbookQA - Observed inference time (s) & MMLU - Observed inference time (s) & MATH - Observed inference time (s) & GSM8K - Observed inference time (s) & LegalBench - Observed inference time (s) & MedQA - Observed inference time (s) & WMT 2014 - Observed inference time (s) \\
\midrule
Falcon (40B) & 0.12666666666666668 & 4.985411514362819 & 3.184468511581421 & 2.848947753429413 & 1.268236391544342 & 1.4308063889804639 & 11.413689562224084 & 12.967224577903748 & 1.730808089747147 & 2.202825612149703 & 3.0981059579736714 \\
Falcon (7B) & 0.5266666666666666 & 1.1411562691272144 & 1.0090243232250213 & 0.8758702797889709 & 0.4118037748336792 & 0.47453500427279555 & 6.987098801445013 & 6.940216990470886 & 0.6278266410596228 & 0.7352914724861889 & 1.6038075838932468 \\
Llama 2 (13B) & 0.8566666666666667 & 0.7950913200915699 & 0.5793666501045227 & 0.3839698841571808 & 0.34700755834579466 & 0.37437369656144526 & 1.5161172209789922 & 1.7367573575973512 & 0.43780977145306127 & 0.4588449499005115 & 0.6911807014709866 \\
Llama 2 (70B) & 0.5333333333333333 & 1.8709671289148464 & 1.277897496700287 & 0.8177921280860901 & 0.6557973260879517 & 0.5013968416013215 & 2.4432508421434598 & 3.737159442663193 & 0.7591354159811778 & 0.9713700282170806 & 1.0736038563633745 \\
Llama 2 (7B) & 0.8033333333333333 & 0.8524049973823655 & 0.584290323972702 & 0.47909903168678286 & 0.3927152595520019 & 0.33028721380233766 & 2.6600816047289086 & 1.95984334897995 & 0.4277655324222306 & 0.46650436763497993 & 0.697166075241057 \\
LLaMA (65B) & 0.09666666666666666 & 2.9087761751362975 & 1.3611893365383148 & 4.703710767745972 & 4.490233006477356 & 3.925460591943641 & 20.790176352238564 & 12.338884568691254 & 3.9735240905509466 & 4.983887912264875 & 3.6028029962680237 \\
Mistral v0.1 (7B) & 0.92 & 0.7051956902087574 & 0.49417281556129455 & 0.46181689071655274 & 0.32474704647064206 & 0.2914179778851961 & 1.159214100149656 & 1.6323128745555877 & 0.35307050709631943 & 0.3478535307093596 & 0.5605853292576617 \\
Mixtral (8x7B 32K seqlen) & 0.8166666666666667 & 0.649569604766201 & 0.507013471364975 & 0.5133386459350586 & 0.3542211503982544 & 0.3604579553102192 & 1.527861329055259 & 3.2728567245006563 & 0.40995627823211056 & 0.35297762423338996 & 1.2021687407719377 \\
Yi (34B) & 0.39666666666666667 & 2.368284817816506 & 1.8157690076828004 & 1.4578230485916137 & 0.8229070715904235 & 0.6972272023485417 & 3.809198633421 & 4.886563032150269 & 0.8004560962069804 & 1.064007310696672 & 1.4042062711970469 \\
Yi (6B) & 0.7933333333333333 & 1.4038719868995775 & 0.9108293209075927 & 0.4127621691226959 & 0.3535394024848938 & 0.3391338364283244 & 1.8371926514375443 & 1.8781680135726928 & 0.5528668178286933 & 0.4053303655051806 & 0.6257070175426044 \\
Jurassic-2 Jumbo (178B) & 0.29333333333333333 & 1.8203622415032186 & 1.4479399914741515 & 5.3321147253513335 & 0.9981746392250062 & 0.8103257050430566 & 9.135811412885502 & 5.176425676584244 & 1.2737073742826783 & 1.5350148075854566 & 1.4411698855373092 \\
Jurassic-2 Grande (17B) & 0.5566666666666666 & 1.1790085772393455 & 1.4618877012729645 & 0.630548656463623 & 0.519375147819519 & 0.6205235414421348 & 4.862255273244342 & 5.417125414848328 & 0.7122931517101486 & 0.9142626611660299 & 0.7586197336965614 \\
Luminous Base (13B) & 0.42333333333333334 & 1.05044368958809 & 1.328731627702713 & 0.8020290625095368 & 0.6669360423088073 & 0.6324507230122884 & 9.203530075671766 & 16.42652773284912 & 0.7533007583490331 & 0.7258754989972882 & 4.692985351748752 \\
Luminous Extended (30B) & 0.32666666666666666 & 1.4667296523779212 & 1.777582576751709 & 0.9799906523227692 & 0.6750410146713257 & 0.7183412402554562 & 9.364456500699777 & 22.685439155817033 & 0.8581969152200717 & 0.8947408758622277 & 5.33597646673717 \\
Luminous Supreme (70B) & 0.19 & 2.9511526873413945 & 2.656584274530411 & 1.2722365505695343 & 0.778845920085907 & 0.9073754794472141 & 16.873623512856078 & 48.241569149971006 & 1.1561943690304337 & 1.325726029887114 & 11.052006985892152 \\
Anthropic Claude v1.3 & 0.13 & 6.113923052666893 & 3.5226667501174913 & 2.0589215233325957 & 3.375496371269226 & 1.4820951028288456 & 6.10879439056091 & 6.653211696863174 & 3.536136101917547 & 3.3901417141643244 & 2.232213549153336 \\
Anthropic Claude Instant 1.2 & 0.65 & 1.490500447447871 & 0.9746438981543135 & 0.6736472499370575 & 0.596853446483612 & 0.613885824571576 & 1.4029501960147133 & 1.474282945394516 & 0.9110085331512334 & 0.7633721221749399 & 0.7717107724915095 \\
Anthropic Claude 2.0 & 0.21666666666666667 & 4.8114360809326175 & 2.9841483016268606 & 1.1486653406620027 & 1.5584912838935852 & 1.7282055348597072 & 6.211058685420826 & 4.857238686800003 & 2.782158235233088 & 2.2539968865055213 & 1.9951115173159082 \\
Anthropic Claude 2.1 & 0.10333333333333333 & 5.376147254755799 & 4.16052336707216 & 1.753281570672989 & 1.8090401072502136 & 2.370939975420634 & 9.671810739168015 & 7.7061755385398865 & 3.2225898594048035 & 2.482170646754695 & 2.7559348208894425 \\
Cohere Command & 0.3333333333333333 & 1.783306110408944 & 1.8040301027297974 & 0.9856750283241272 & 1.0440752515792846 & 1.0797608851633573 & 5.762416239357385 & 4.127378141641617 & 1.1646721122881132 & 1.2344102347584416 & 2.8937741082134893 \\
Cohere Command Light & 0.6033333333333333 & 0.8961316760157195 & 1.0799305574893951 & 0.6957695767879486 & 0.7049956932067871 & 0.7494988910942747 & 2.374249639604042 & 1.7514978868961335 & 0.7831334660572837 & 0.895831539901066 & 0.7965989762712353 \\
PaLM-2 (Bison) & 0.62 & 1.030712524602111 & 0.987217092037201 & 0.754590849161148 & 0.7879144654273987 & 1.1122005350882547 & 1.6140828338918989 & 1.4403084371089936 & 0.7366328867537384 & 0.7348999071784806 & 0.8753595397700126 \\
PaLM-2 (Unicorn) & 0.27 & 3.283053755424392 & 2.564493465423584 & 1.5603588831424713 & 0.9994440112113953 & 1.2620431824148748 & 4.636334307701402 & 5.4373185629844665 & 1.4374773445647835 & 1.1783231205305096 & 1.801295139912888 \\
Mistral medium & 0.15666666666666668 & 1.9863921740116217 & 3.478124670982361 & 10.14243145942688 & 1.4842240285873414 & 2.5472180949721133 & 5.625007400388592 & 7.4441749858856205 & 1.8164039144515989 & 1.4576943119366963 & 4.367943337063457 \\
GPT-3.5 (text-davinci-003) & 0.67 & 1.812959625351597 & 1.1872664585113526 & 0.9963206455707551 & 0.20436767482757567 & 0.2000334782098469 & 4.333955165715466 & 5.199419307470322 & 0.2594051892596125 & 0.22811962975185388 & 0.800053899013968 \\
GPT-3.5 (text-davinci-002) & 0.7933333333333333 & 1.2258358747186795 & 0.8863302536010742 & 0.6834516413211823 & 0.1743956871032715 & 0.17730724048614502 & 5.188020693120383 & 3.762208682537079 & 0.2229105462585103 & 0.20554606720183052 & 0.4672719452194591 \\
GPT-3.5 Turbo (0613) & 1.0 & 0.3810261323418416 & 0.30532183837890625 & 0.22069251775741577 & 0.17227248001098633 & 0.1750619323630082 & 0.8128212395123947 & 0.8983073465824127 & 0.20213919553681423 & 0.19374941736755977 & 0.39351808213963385 \\
GPT-4 Turbo (1106 preview) & 0.5433333333333333 & 1.068114177945634 & 0.8667134034633637 & 1.1312835423946381 & 0.5122070140838623 & 0.4471675806380155 & 12.704059314714486 & 5.738402992963791 & 0.6033123332286346 & 0.3924491192190121 & 2.1004491326059744 \\
GPT-4 (0613) & 0.6933333333333334 & 0.9758186582108619 & 0.9083020164966583 & 0.5116857671737671 & 0.40061268854141235 & 0.39080846048656265 & 3.4718795228507955 & 4.947624314308166 & 0.5582764348578453 & 0.4136932588239787 & 1.5797039644192494 \\
Palmyra X V2 (33B) & 0.6733333333333333 & 1.2016644296511798 & 0.9688332653045655 & 0.6202523970603943 & 0.4200127201080322 & 0.5321985618859008 & 2.0883775065675723 & 2.543274956703186 & 0.7313747247589137 & 0.6051040529967776 & 0.904815991352295 \\
Palmyra X V3 (72B) & 0.38333333333333336 & 2.848917615245765 & 2.31904000210762 & 2.3729000978469847 & 0.6074039902687073 & 0.656667516515966 & 4.258683228698372 & 5.069576686620712 & 1.1595191393847304 & 0.9268994279220611 & 1.4063038200537652 \\
\bottomrule
\end{tabular}}
\caption{Results for efficiency (core_scenarios)}
\label{fig:efficiency (core_scenarios)}
\end{table*}