Методика тестування відеокарт 2007. Використання FRAPS., Комп’ютерні ігри, Різне, статті

Передмова


У тестуванні продуктивності відеокарт час від часу доводиться оновлювати і доповнювати методику тестування, оскільки виходять нові графічні процесори, нові ігри, і та методика, що ще вчора відповідала всім вимогам, завтра вже може не дати адекватних результатів. Сьогодні ми пропонуємо вам познайомитися з нашим поглядом на методику тестування ігор за допомогою утиліти FRAPS. Актуальність утиліти FRAPS полягає в тому, що далеко не всі популярні ігри мають вбудовані засоби вимірювання продуктивності, а дуже хочеться отримати такого роду інформацію. Спроби використати FRAPS для вимірювання продуктивності в іграх вже робилися нашими колегами, але висновки були невтішні – розкид результатів виходив дуже великим від тесту до тесту.

Однак, незважаючи на труднощі використання FRAPS, ми вже почали використовувати її для тестування відеокарт в таких іграх, як Need for Speed ​​Most Wanted і Carbon, Elders Scrolls IV Oblivion, Titan Quest та інших, тому що нам вдалося розробити методику отримання стабільних та якісних результатів за допомогою цієї утиліти. Яким чином? Читайте далі.


FRAPS. Точний інструмент або «кувалда з оптичним прицілом»?


Спочатку давайте ще раз згадаємо, що таке FRAPS. Це утиліта, яка здатна вимірювати швидкість відтворення сцени і обчислювати мінімальний, максимальний і середній FPS. У даному дослідженні ми будемо розглядати ці можливості як основне призначення програми. Що стосується зняття скріншотів та відеороликів, то дані можливості програми ми поки не будемо розглядати детально. Отже, FRAPS вміє вимірювати FPS. Багато це чи мало? Візьмуся стверджувати, що цього цілком достатньо для того, щоб вважати FRAPS точним і універсальним інструментом для вимірювання продуктивності відеокарт в іграх.

Чому виникає необхідність в утилітах подібних FRAPS? Перш за все тому, що багато гри не мають вбудованих засобів вимірювання продуктивності, а дуже б хотілося отримати таку інформацію, тим більше для популярних ігор. Але, як ми побачимо далі, навіть вбудовані в ігри бенчмарки часто показують результати, не мають нічого спільного з тим, що побачить користувач, вирішивши пограти в цю гру. Що це, обман покупців ігор і відеокарт, або ж помилки розробників?

Тепер про недоліки FRAPS. Ви вже напевно читали матеріали, присвячені використанню цієї утиліти для вимірювання FPS в іграх. Визнавалося, що, незважаючи на всю універсальність, FRAPS мало підходить в Як інструмент тестувальника. Зазвичай називаються наступні причини.

Погана відтворюваність результатів. Як правило, під цим мається на увазі те, що від одного прогону тесту до іншого показуються результати сильно відрізняються. На перший погляд все зрозуміло. Пробігти кожен раз по одній і тій же траєкторії досить важко. Та й зовнішнє оточення може змінюватися від запуску до запуску випадковим чином і вносити похибка в вимірювання.

Похибка, внесена моментами початку / закінчення вимірювань. Дана причина «нестабільності» у вимірі результатів теж не викликає подиву. Оскільки запускати / зупиняти вимірювання за допомогою FRAPS доводиться вручну, не доводиться говорити про чіткості початку / Закінчення тестування і стабільності підсумкових результатів.

А тепер давайте подумаємо – чи є все зазначене вадами саме утиліти FRAPS? Навряд чи. Зверніть увагу, все вищеперераховане це не похибки вимірювання, що вносяться утилітою, це – похибки зумовлені способом вимірювання. В силу того, що даний спосіб вимірювання є єдино можливим при використанні FRAPS, часто похибки способу вимірювання приписують погрішностей самої утиліти, причому зовсім не заслужено. Ви можете заперечити – а що ж робити, спосіб вимірювання єдиний і іншого немає! Звичайно. Але навіть у цих умовах можна отримати цілком достовірні результати, причому з великою точністю і інформативністю. Те, що FRAPS не дуже зручна для тестування, тим більше автоматизованого – це правда. Але зате з її допомогою можна одержувати куди більш цікаві результати, причому, якщо гарненько подумати, і зусиль це не так багато вимагає, як здається на перший погляд. Як це зробити, ми розповімо далі. Але спочатку необхідна …


Перевірка результатів FRAPS на вбудованих в ігри бенчмарках


Спочатку перевіримо адекватність результатів, що показуються FRAPS на додатках, що мають вбудовані бенчмарки. Це потрібно для того, щоб переконатися, що результати вбудованих бенчмарків і утиліти збігаються, тільки тоді ми зможемо стверджувати, що і в іграх без вбудованих бенчмарків результати будуть адекватні реальної продуктивності.

Для експериментів був використаний наш звичайний тестовий стенд























Тестовий стенд

Шина

PCI-Express

CPU

Intel Core Duo X6800 2,93 ГГц

MB

MSI 975X Platinum PowerUp Edition

Memory

Corsair XMS Xpert DDRII-800 2x512Mb

OS

WinXP + SP2 + DirectX 9.0c

PSU

Thermaltake ToughPower 750 Wt

В даний стенд була встановлена ​​відеокарта ASUS 7950GT. Для тестування використовувалися драйвери ForceWare 93.71 WHQL.

Ми взяли добре відому гру FEAR і прогнали вбудований тест продуктивності, при цьому одночасно запускали FRAPS. Режим тестування – 1280х960, Video Max, 4AA/16AF, Soft Shadows OFF. Ось що вийшло в результаті.


FEAR-1280.jpg

Утиліта FRAPS видала наступні результати (тест проганяли 3 рази):





























№ тесту  Min  Max  Avg 
1 30 132 59,057
2 28 132 59,762
3 30 135 59,640
середнє за трьома тестами 29,33 133,00 59,486

Ці дані взяті з файлу із закінченням «… minmaxavg.csv», що генерується утилітою. Як бачите, незважаючи на «людський фактор», результати тестування дуже близькі між собою і цілком укладаються в межі похибки. Дивно, але FRAPS показує навіть трохи більші результати, ніж вбудований бенчмарк в FEAR, хоча більш логічна була б зворотна ситуація, адже утиліта використовує ресурси системи, і могла б її «пригальмовувати». Звичайно, те, що використовувалася одна і та ж демо-сцена, полегшило завдання по отриманню стабільних результатів. З випадкових похибок залишалася похибка часу старту-стопа FRAPS. Але, якщо загальний час тестування досить велика, ця похибка практично не позначається на кінцевих результатах. Аналогічним чином ми протестували також DOOM3, Half-Life 2 і кілька інших ігор, і отримали схожі результати.

Висновок – FRAPS видає цілком адекватні результати, що збігаються (з незначною похибкою) з результатами вбудованих в ігри бенчмарків.

Але, строго кажучи, дане збіг слід трактувати як схожість алгоритмів підрахунку FPS, виконуваних вбудованим бенчмарком і FRAPS. Забігаючи наперед, скажемо, що за допомогою FRAPS можна отримати більш детальні результати, причому вони будуть значно відрізнятися від того, що показує вбудований бенчмарк.

Давайте спочатку подивимося на вміст файлу результатів FRAPS, що закінчується на «… fps.csv». Нижче наведено фрагмент файлу, в якому міститься всього один стовпець даних – значення FPS в кожну секунду з моменту старту утиліти.

Чотири чверті (два повних кола). Час тестування одно 169 с, середнє значення дорівнює 59,2 FPS.

З вищевикладеного випливає критерій мінімально необхідного часу тестування – тривалість тесту повинна бути така, щоб подальше збільшення часу тестування не призводило до зміни форми «головного дзвони» діаграми розподілу.

Підсумковий ряд середніх значень FPS для кожного відрізка виглядає так – 56.5, 59.9, 58.8, 59.2. Як бачите, тільки значення для першої чверті сильно відрізняється від трьох інших. Якщо його відкинути (згідно сформульованому критерію) і знайти середнє з середніх для кожної ділянки, отримаємо – 59,3 FPS. При цьому відхилення становить близько 0,6 FPS в кожну сторону, тобто, всього ± 1%!

В нашому випадку, при тестуванні NFS Most Wanted досить «проїхати» одне коло по трасі (84 сек часу тестування) або півтора кола (126 сек часу тестування). Знаючи час тестування і середнє значення FPS, можна приблизно оцінити загальну кількість відліків за наступною формулою – «час тестування помножити на середнє значення FPS». Таким чином, необхідне число відліків, коли починає працювати статистичний метод, так само 5000-7000. Ми невипадково звертаємо вашу увагу на даний момент. Якщо взяти досить слабку відеокарту, середній FPS буде набагато нижче, отже, зменшиться і сумарне число відліків, якщо час тестування залишається незмінним. Тому при тестуванні «слабких» відеокарт час тестування бажано збільшувати.


Висновки


Утиліта FRAPS є потужним і точним інструментом дослідження продуктивності відеокарт. Щоб отримати достовірні дані, необхідно:


Висновок


За допомогою вищеописаного методу тестування з використанням FRAPS і наступної обробки даних можна отримати досить точні та адекватні значення продуктивності відеокарт в іграх, що не мають вбудованого бенчмарка. Більше того. Зазначеним способом можна проаналізувати «якість» демо-сцен у вбудованих в ігри бенчмарків, а також отримати уявлення про характер ігрового «движка».

На жаль, за рамками даного матеріалу довелося залишити один вельми животрепетне питання – що ж вважати мінімальним значенням FPS. Як ви бачили на прикладі вбудованого тесту FEAR, значення мінімального FPS, що показуються вбудованим бенчмарком, можуть сильно розходитися з дійсністю. Повірте, це тільки вершина айсберга. Питання вимагає ретельного дослідження. Але про це ми розповімо наступного разів.

Джерело: 3dnews.ru


Схожі статті:


Сподобалася стаття? Ви можете залишити відгук або підписатися на RSS , щоб автоматично отримувати інформацію про нові статтях.

Коментарів поки що немає.

Ваш отзыв

Поділ на параграфи відбувається автоматично, адреса електронної пошти ніколи не буде опублікований, допустимий HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

*

*