Журнал о разной технике

Мeтoдикa тeстирoвaния кoмпьютeрныx
систeм oбрaзцa 2017 гoдa

Пeрвыe прoцeссoры пoд мaркoй Intel Core i7 пoявились eщe дeвять лeт нaзaд, нo плaтфoрмa LGA1366 нa мaссoвoe рaспрoстрaнeниe внe сeрвeрнoгo сeгмeнтa нe прeтeндoвaлa. Сoбствeннo, всe «пoтрeбитeльскиe» прoцeссoры для нee пoпaдaли в диaпaзoн цeн oт ≈$300 дo пoлнoвeснoй «штукибaксoв», тaк чтo ничeгo удивитeльнoгo в этoм нeт. Впрoчeм, и сoврeмeнныe i7 живут в нeм жe, тaк чтo являются устрoйствaми oгрaничeннoгo спрoсa: для сaмыx трeбoвaтeльныx пoкупaтeлeй (пoявлeниe Core i9 в этoм гoду нeмнoгo изменило диспозицию, но именно что совсем немного). И уже первые модели семейства получили формулу «четыре ядра — восемь потоков — 8 МиБ кэш-памяти третьего уровня».

Позднее она же была унаследована моделями для ориентированной на массовый рынок LGA1156. Позднее без изменений перекочевала в LGA1155. Еще позже «отметилась» в LGA1150 и даже LGA1151, хотя от последней изначально многие пользователи ожидали появления шестиядерных моделей процессоров. Но в первой версии платформы этого не произошло — соответствующие Core i7 и i5 появились лишь в этом году в рамках «восьмого» поколения, с «шестым» и «седьмым» несовместимого. По мнению некоторых наших читателей (которое мы частично разделяем) — немного поздновато: могли бы и раньше. Впрочем, претензия «хорошо, но мало» применима не только к производительности процессоров, а вообще к любым эволюционным изменениям на любом рынке. Причина этого лежит не в технической, а в психологической плоскости, что далеко выходит за сферу интересов нашего сайта. Вот устроить тестирование компьютерных систем разных поколений для определения их производительности и энергопотребления (пусть, хотя бы, на ограниченной выборке задач) мы можем. Чем сегодня и займемся.

Конфигурация тестовых стендов
Процессор
Intel Core i7–880
Intel Core i7–2700K
Intel Core i7–3770K
Название ядра
Lynnfield
Sandy Bridge
Ivy Bridge
Технология производства
45 нм
32 нм
22 нм
Частота ядра, ГГц
3,06/3,73
3,5/3,9
3,5/3,9
Кол-во ядер/потоков
4/8
4/8
4/8
Кэш L1 (сумм.), I/D, КБ
128/128
128/128
128/128
Кэш L2, КБ
4×256
4×256
4×256
Кэш L3, МиБ
8
8
8
Оперативная память
2×DDR3–1333
2×DDR3–1333
2×DDR3–1600
TDP, Вт
95
95
77

Открывают наш парад-алле три наиболее старых процессора — один для LGA1156 и два для LGA1155. Заметим, что первые две модели по-своему уникальны. Например, Core i7–880 (появился в 2010 году — во второй волне устройств для данной платформы) был самым дорогим процессором из всех участников сегодняшнего тестирования: его рекомендованная цена составляла $562. В дальнейшем столько не стоил ни один настольный четырехъядерный Core i7. А четырехъядерные процессоры семейства Sandy Bridge (как и в предыдущем случае у нас тут представитель второй волны, а не «стартовый» i7–2600K) — единственные из всех моделей для LGA115х, использующие припой в качестве термоинтерфейса. В принципе, его внедрения тогда никто не заметил, равно как и более ранних переходов с припоя на пасту и обратно тоже: это позднее термоинтерфейс в узких, но шумных кругах начали наделять поистине волшебными свойствами. Где-то начиная с Core i7–3770K как раз (середина 2012 года), после чего шум не утихал.

Процессор
Intel Core i7–4790K
Intel Core i7–5775C
Название ядра
Haswell
Broadwell
Технология производства
22 нм
14 нм
Частота ядра std/max, ГГц
4,0/4,4
3,3/3,7
Кол-во ядер/потоков
4/8
4/8
Кэш L1 (сумм.), I/D, КБ
128/128
128/128
Кэш L2, КБ
4×256
4×256
Кэш L3 (L4), МиБ
8
6 (128)
Оперативная память
2×DDR3–1600
2×DDR3–1600
TDP, Вт
88
65

Кого нам сегодня будет несколько не хватать, так это оригинального Haswell в виде i7–4790K: в итоге 2013 год мы пропускаем и переходим сразу в 2014 — формально 4790K это уже Haswell Refresh. Некоторые тогда уже ждали Broadwell, но компания выпустила процессоры этого семейства исключительно на рынок планшетов и ноутбуков: где они были наиболее востребованы. А с настольными же планы несколько раз менялись, но в 2015 году пара процессоров (плюс три Xeon) на рынке появились. Очень специфические: подобно Haswell и Haswell Refresh устанавливались в разъем LGA1150, но совместимы были лишь с парой чипсетов 2014 года, а главное — оказались единственными «сокетными» моделями с четырехуровневой кэш-памятью. Формально — для нужд графического ядра, хотя на практике L4 использовать могут все программы. Подобные процессоры были и ранее, и позднее —, но только в BGA-исполнении (т. е. припаивались непосредственно к системной плате). Эти же по-своему уникальны. Энтузиастов, естественно, не вдохновили из-за низких тактовых частот и ограниченной «разгоняемости», но мы проверим: как этот «боковой побег» соотносится с основной линейкой в современном ПО.

Процессор
Intel Core i7–6700K
Intel Core i7–7700K
Intel Core i7–8700K
Название ядра
Skylake
Kaby Lake
Coffee Lake
Технология производства
14 нм
14 нм
14 нм
Частота ядра, ГГц
4,0/4,2
4,2/4,5
3,7/4,7
Кол-во ядер/потоков
4/8
4/8
6/12
Кэш L1 (сумм.), I/D, КБ
128/128
128/128
192/192
Кэш L2, КБ
4×256
4×256
6×256
Кэш L3, МиБ
8
8
12
Оперативная память
2×DDR3–1600 / 2×DDR4–2133
2×DDR3–1600 / 2×DDR4–2400
2×DDR4–2666
TDP, Вт
91
91
95

И наиболее «свежая» тройка процессоров, формально использующая один и тот же сокет LGA1151, но в двух его несовместимых друг с другом версиях. Впрочем, о нелегком пути шестиядерных процессоров массовой линейки на рынок мы писали совсем недавно: когда их впервые и тестировали. Так что повторяться не будем. Заметим только, что i7–8700K мы протестировали заново: используя уже не предварительный, а «релизный» экземпляр, да еще и установив его на уже «нормальную» плату с отлаженной прошивкой. Результаты изменились незначительно, но в нескольких программах стали несколько более адекватными.

Процессор
Intel Core i3–7350K
Intel Core i5–7600K
Intel Core i5–8400
Название ядра
Kaby Lake
Kaby Lake
Coffee Lake
Технология производства
14 нм
14 нм
14 нм
Частота ядра, ГГц
4,2
3,8/4,2
2,8/4,0
Кол-во ядер/потоков
2/4
4/4
6/6
Кэш L1 (сумм.), I/D, КБ
64/64
128/128
192/192
Кэш L2, КБ
2×256
4×256
6×256
Кэш L3, МиБ
4
6
9
Оперативная память
2×DDR4–2400
2×DDR4–2400
2×DDR4–2666
TDP, Вт
60
91
65

С кем сравнить результаты? Как нам кажется, нужно в обязательном порядке взять пару самых быстрых современных двух- и четырехъядерных процессора линеек Core i3 и Core i5, благо уже протестированы, да и интересно посмотреть — кого и старичков они догонят и где (и догонят ли). Кроме того, нам удалось достать и совсем новый шестиядерный Core i5–8400, так что воспользовались возможностью протестировать и его.

Процессор
AMD FX-8350
AMD Ryzen 5 1400
AMD Ryzen 5 1600
Название ядра
Vishera
Ryzen
Ryzen
Технология производства
32 нм
14 нм
14 нм
Частота ядра, ГГц
4,0/4,2
3,2/3,4
3,2/3,6
Кол-во ядер/потоков
4/8
4/8
6/12
Кэш L1 (сумм.), I/D, КБ
256/128
256/128
384/192
Кэш L2, КБ
4×2048
4×512
6×512
Кэш L3, МиБ
8
8
16
Оперативная память
2×DDR3–1866
2×DDR4–2666
2×DDR4–2666
TDP, Вт
125
65
65

Без процессоров AMD обойтись никак нельзя, да и не за чем. Включая и «исторический» FX-8350, являющийся ровесником Core i7–3770K. Болельщики этой линейки всегда утверждали, что он не только дешевле, но и вообще лучше — просто готовить его мало кто умеет. А вот если воспользоваться «правильными программами», то сразу всех обгонит. Мы с этого года как раз по просьбам трудящихся переработали методику тестирования в сторону «сурового многопотока», так что есть повод проверить эту гипотезу — все равно тестирование историческое. А современных моделей потребуется как минимум две. Нам бы очень подошел Ryzen 5 1500Х, очень похожий на старые Core i7, но его не тестировали. Ryzen 5 1400 формально тоже подходит…, но фактически у этой модели (и у современных Ryzen 3) вместе с уполовиниванием кэш-памяти «пострадали» и связки между ССХ. Поэтому пришлось взять еще и Ryzen 5 1600, где этой проблемы нет — в результате чего и обгоняет 1400 зачастую более, чем в полтора раза. Да и пара шестиядерных процессоров Intel в сегодняшнем тестировании тоже присутствует. Прочие явно слишком медленны для сравнения с этим недорогим процессором, ну и ладно — пусть подоминирует.

Методика тестирования

Методика подробно описана в отдельной статье. Здесь же вкратце напомним, что базируется она на следующих четырех китах:

Подробные результаты всех тестов доступны в виде полной таблицы с результатами (в формате Microsoft Excel 97—2003). Непосредственно же в статьях мы используем уже обработанные данные. В особенности это относится к тестам приложений, где все нормируется относительно референсной системы (AMD FX-8350 с 16 ГБ памяти, видеокартой GeForce GTX 1070 и SSD Corsair Force LE 960 ГБ) и группируется по сферам применения компьютера.

iXBT Application Benchmark 2017

В принципе, утверждения поклонников AMD о том, что в «суровом многопотоке» FX были не так уж и плохи, если рассматривать только производительность, основания имеют: как видим, 8350 в принципе мог на равных конкурировать с Core i7 того же года выпуска. Впрочем, здесь он и на фоне младших Ryzen неплохо смотрится, а вот между этими двумя семействами практически ничего компанией для этого сегмента рынка не выпускалось. У Intel же наблюдается равномерная такая линейка, позволившая и в рамках «четырехъядерной» концепции удвоить производительность. Хотя ядра здесь имеют огромное значение — лучший двухъядерник 2017 года все равно не догнал четырехъядерный Core «предыдущего» поколения (напомним, что так оно официально и называется до сих пор в материалах компании, четко отделяясь от пронумерованных начиная от второго). И шестиядерные модели хороши — причем все. Так что упреки Intel в том, что компания слишком задержала их выход на рынок, можно считать в какой-то степени справедливыми.

Все отличие от предыдущей группы — код здесь не столь примитивен, так что, кроме ядер, потоков и гигагерцев, важны и архитектурные особенности выполняющих его процессоров. Хотя общий итог для продукции Intel «навскидку» вполне сопоставимый: по-прежнему двукратная разница между 880 и 7700K, по-прежнему i5–8400 уступает лишь последнему, по-прежнему i3–7350K не догнал никого. И произошло это за те же семь лет. Можно считать, что и восемь — все-таки LGA1156 на рынок вышла осенью 2009 года, а Core i7–880 от появившихся в первой волне 860 и 870 отличался лишь частотами, да и то немного.

Стоит лишь немного «ослабить» утилизацию многопоточности, так сразу улучшается положение более новых процессоров — пусть и более слабых количественно. Однако традиционные «два конца» при прочих (относительно) равных сравнение «предыдущего» и «седьмого» поколений Core нам дает. Хотя несложно заметить, что на «революционные» в максимальной степени тянут «второе» и… «восьмое». Но это более чем объяснимо: последнее увеличило количество ядер, а во «втором» радикально изменилась микроархитектура и техпроцесс, причем одновременно.

Как мы уже знаем, несколько «чудит» Adobe Photoshop (плохая новость — в последней на данный момент версии пакета проблема не исправлена; очень плохая новость — теперь она и для новых Core i3 будет актуальна), так что процессоры без HT не рассматриваем. А вот у наших основных героев поддержка данной технологии есть, так что им всем никто не мешает нормально работать. В итоге в общем и целом положение дел похоже на прочие группы, но есть нюанс: самым быстрым процессором для LGA1150 оказался не имеющий высокую частоту i7–4790K, а i7–5775C. Что ж — кое-где интенсивные методы увеличения производительности очень эффективны. Жаль, что не всегда: частотой «работать» проще. И дешевле: не нужен дополнительный кристалл eDRAM, который еще и надо как-то разместить на одной подложке с «основным».

Количество ядер как «драйвер» увеличения производительности тоже подходит — больше, чем частота даже. Хотя в нашем первом тестировании Core i7–8700K выглядел похуже, но связано это было с результатами все того же Adobe Photoshop: они оказались практически такими же, что и для i7–7700K. Переход на «релизные» процессор и плату проблему в данном случае решил: производительность оказалась аналогичной другим шестиядерным процессорам Intel. С соответствующим же улучшением общего результата в группе. Поведение других программ не изменилось — они и ранее положительно относились к увеличению количества поддерживаемых потоков вычисления при сохранении аналогичного уровня таковой частоты.

Тем более, что иногда «решает» только она, да количество потоков вычисления. В основном, конечно — нюансы и здесь определенные есть, но »против лома нет приема». Вся революционная архитектура Ryzen, например, позволила 1400 всего лишь демонстрировать производительность на уровне FX-8350 или Core i7–3770K, вышедших на рынок в 2012 году. С учетом того, что у него частота ниже обоих, да и вообще это специальная бюджетная модель, фактически использующая лишь половину полупроводникового кристалла, не так уж и плохо. Но пиетета не вызывает. Особенно на фоне другого (и тоже недорогого) представителя линейки Ryzen 5, который с легкостью и заметно обогнал любые четырехъядерные Core i7 любого года производства 🙂

Хоть мы и отказались от однопоточного теста распаковки, эту программу по-прежнему не удается считать слишком уж «жадной» до ядер и их частоты. Понятно почему — здесь очень важна производительность системы памяти, так что Core i7–5775C сумел обогнать только i7–8700K, да и то менее, чем на 10%. Жаль, что нет пока продуктов, где L4 сочетается с шестью ядрами и памятью с высокой ПСП: такой процессор «без узких мест» в подобных задачах мог бы явить чудо. Теоретически, по крайней мере — очевидно, что в настольных компьютеров мы ничего подобного в ближайшее время не увидим точно.

Характерно, что это ответвление от «магистральной линии» настольных процессоров демонстрирует (до сих пор!) высокие результаты и в этой группе программ. Впрочем, объединяет их в основном целевое назначение, а не выбранные программистами способы оптимизации. Но и последние не игнорируются — в отличие от некоторых более «примитивных» задач, типа кодирования видео.

К чему приходим в конечном итоге? Эффект «эволюционного развития» несколько уменьшился: Core i7–7700K обгоняет i7–880 менее, чем в два раза, а его превосходство над i7–2700K лишь полуторакратное. В целом — неплохо: это достигнуто интенсивными средствами в сопоставимых «количественных» условиях, т. е. распространимо практически на любое ПО. Однако применительно к интересам наиболее требовательных пользователей — мало. Особенно если сравнивать приросты на каждом ежегодном шаге, добавив еще Core i7–4770K (почему мы и сожалели выше, что этого процессора не нашлось).

При этом возможность резко нарастить производительность хотя бы в многопоточном ПО (а такого среди ресурсоемких программ давно уже немало) у компании была давно. Да и реализовывалась тоже —, но в рамках совсем других платформ со своими особенностями. Недаром шестиядерные модели под LGA115x многие ждали еще c 2014 года… А вот от AMD многие в те годы уже никаких прорывов не ждали — тем более внушительными оказались уже первые тесты Ryzen. Неудивительно — как видим, даже недорогой Ryzen 5 1600 может конкурировать по производительности с Core i7–7700K, который всего пару месяцев назад был самым быстрым процессором для LGA1151. Теперь сходный уровень производительности вполне доступен и Core i5, но лучше бы это произошло ранее:) Во всяком случае, поводов для претензий было бы меньше.

Энергопотребление и энергоэффективность

Впрочем, вот эта диаграмма в очередной раз демонстрирует — почему производительность массовых центральных процессоров во втором десятилетии XXI века росла куда меньшими темпами, чем в первом: в данном случае все развитие происходило на фоне «неувеличения» энергопотребления. По возможности — даже уменьшения. Удалось архитектурными или какими-либо еще методами снизить — пользователи мобильных и компактных систем (которых давно уже продается намного больше, чем «типовых настольных») будут довольны. Да и на десктопном рынке небольшой шажок вперед, поскольку можно частоты еще немного подкрутить, что в Core i7–4790K было в свое время сделано, а потом закрепилось и в «обычных» Core i7, и даже в Core i5.

Особенно наглядно это видно по оценке энергопотребления собственно процессоров (к сожалению, для LGA1155 измерить его отдельно от платформы простыми средствами невозможно). Заодно становится понятным — почему у компании нет необходимости как-то менять требования к охлаждению процессоров в рамках линейки LGA115х. Также и почему все большее и большее количество продуктов в (формально) настольном ассортименте начинает укладываться в традиционные для ноутбучных процессоров теплопакеты: это само собой происходит без каких-то усилий. В принципе, можно было бы вообще установить всем четырехъядерным процессорам под LGA1151 TDP=65 Вт и не мучаться 🙂 Просто для т. н. оверклокерских процессоров компания считает нужным ужесточить требования к системе охлаждения, поскольку есть небольшая (но и ненулевая) вероятность того, что покупатель компьютера с таковым будет его разгонять и всякими «тестами стабильности» пользоваться. А массовые продукты таких опасений не вызывают, да и изначально более экономичны. Даже шестиядерные, хотя энергопотребление старшего i7–8700K и подросло —, но лишь до уровня процессоров для LGA1150. В штатном режиме, разумеется — при разгоне можно и в 2010 год вернуться ненароком 🙂

Но, при этом, современные экономичные процессоры вовсе не обязательно медленны — это три-пять лет назад производительность «энергоэффективных» моделей на фоне топовых в линейке зачастую оставляла желать лучшего, поскольку им приходилось слишком снижать частоту, а то и количество ядер уменьшать. Поэтому в общем и целом «энергоэффективность» повышалась куда большими темпами, чем чистая производительность: тут уже при сравнении Core i7–7700K и i7–880 не два раза, а все два с половиной. Впрочем… первый «большой скачок» и сразу в полтора раза пришелся на внедрение LGA1155, так что не удивительно, что претензии к дальнейшей эволюции платформы раздавались и с этого направления.

iXBT Game Benchmark 2017

Наибольший интерес представляют собой, разумеется, результаты самых старых процессоров, типа Core i7–880 и i7–2700K. К сожалению, с первым из них ничего путного не получилось: по-видимому, вопросами совместимости новых видеокарт с платформой конца прошлого десятилетия никто из производителей GPU серьезным образом не занимался. Да и понятно — почему: многие LGA1156 вообще пропустили, либо уже успели с нее мигрировать на другие решения за столько лет. А с Core i7–2700K другая проблема: его производительности (напомним — в штатном режиме) до сих пор зачастую достаточно, чтобы работать на уровне новых Core i7. В общем, такая вот неубиваемая легенда: которую (вместе со старшими Core i5 для LGA1155) сначала хорошим игровым процессором делала высокая однопоточная производительность (в те годы Intel сильно «зажимала» Core i3 и Pentium по частоте), а потом начали более-менее эффективно утилизироваться все восемь поддерживаемых потоков вычисления. Хотя того же уровня производительности в играх нередко достигают уже и более «простые» решения для новых платформ, но возникает иногда ощущение, что связано это не только и не столько с производительностью «в чистом виде». Поэтому тем, кого результаты в играх в какой-то степени интересуют, мы рекомендуем ознакомиться с ними при помощи полной таблицы, а здесь мы приведем лишь пару наиболее интересных и показательных диаграмм.

Вот, к примеру, Far Cry Primal. Сразу отбрасываем результаты Core i7–880: очевидна некорректная работа видеокарты на GTX 1070 с этой платформой. Возможно, кстати, это же распространимо и на LGA1155, хотя в целом частоту кадров тут низкой не назовешь: на практике достаточно. Но явно ниже, чем могло бы быть. И LGA1151 тоже как-то не блещет, а лучшей платформой выглядит LGA1150. Теперь вспоминаем, что модифицированная версия движка Dunia Engine 2 (здесь он как раз и используется) разрабатывалась между 2013 и 2014 годом, так что могли как раз и просто дооптимизироваться. Косвенным подтверждением чего являются и невысокая (относительно ожидаемой) частота кадров на Ryzen 5: вот есть ощущение, что должно быть больше, и все тут.

А вот игры на движке EGO 4.0 начали появляться с 2015 года — и тут мы уже таких артефактов не наблюдаем. За исключением Core i7–880, в очередной раз позабавившего «тормозами», но это неплохо коррелирует и с другими играми. А лучше всего выглядят не просто многоядерные процессоры, но и выпущенные начиная с 2015 года, т. е. платформы LGA1151 и AM4. Полная противоположность предыдущему случаю, хотя в целом обе игры выпущены в 2016 году. И обе в рамках одного семейства процессоров всегда «голосуют» за ту модель, в которой вычислительных ядер больше. Но в рамках одного — разные (тем более, существенно разные архитектурно) с их помощью нужно сравнивать очень осторожно. Если хочется сравнивать, конечно: в целом-то в обе (да и не только в них) на системе с процессором пятилетней давности и «хорошей» видеокартой можно поиграть с куда большим комфортом, чем при любом процессоре, но на бюджетной видеокарте долларов за 200. В общем, растут у игр требования к процессорам или нет, а игровой компьютер нужно собирать «от видеокарты». Впрочем, было бы странно, изменись что-то в этой индустрии — особенно учитывая то, что производительность видеокарт за прошедшие восемь лет совсем не в два раза выросла и даже не в три 😉

Итого

Собственно, все, что нам хотелось сделать — сравнить сразу несколько процессоров разных лет при работе с современным программным обеспечением. Тем более, что некоторые характеристики старших моделей Core i7 за это время практически не изменились, особенно если брать интервал с зимы 2011-го до аналогичного периода 2017 года. Но производительность при этом росла — медленно, но чуть более, чем часто обсуждаемые »5% в год». А с учетом того, что каждый год компьютеры нормальный пользователь не покупает, а ориентируется обычно на 3–5 лет — за такой период «набегало» и в производительности, и в экономичности, и в функциональности платформы. Но могло бы быть лучше. При этом хорошо видны некоторые «слабые места»: например, увеличение тактовой частоты в 2014 году не позволило достичь существенно более высокой производительности ни в 2015-м, ни даже в начале 2017-го. От LGA1155 «оторваться» удалось заметно (по мере оптимизации ПО под процессоры начиная с Haswell — на старте-то результаты были более скромными), и все. А потом (внезапно) +30% производительности, чего не было давно. В общем, с исторической точки зрения более плавная реализация данного процесса выглядела бы лучше. Но что было, то уже было.