Czy da się przewidzieć oceny gier?

Adam Wieczorek
2009/09/06 15:00

Pracownicy firmy Vertical Slice z Brighton twierdzą, że są w stanie przed premierą przewidzieć oceny, jakie otrzyma wybrana gra. Swój model chcą teraz sprzedać deweloperom.

Wydaje się, że przewidzenie, jakie oceny otrzyma od krytyków dana gra jest niemożliwe. Tymczasem firma Vertical Slice z Brighton twierdzi, że opracowała model, który pozwala na skuteczne przewidywanie ocen gier. W wywiadzie dla serwisu Eurogamer szef firmy Graham McAllister powiedział, że dzięki zastosowanym przez nich technologiom można powiedzieć firmom, co mają zrobić, aby ich gry były lepsze i osiągały średnią ocen powyżej 80%. Czy da się przewidzieć oceny gier?

Skończyliśmy właśnie badania, dzięki którym możemy przewidzieć na rok do przodu, jakie oceny zbierze dana gra. Oczywiście im bliżej premiery tym nasze wyniki są dokładniejsze. To całkiem nowe badania, które opublikujemy w tym roku. W tej chwili możemy mówić o przewidywaniu w zakresie niski, średni, wysoki. Nie mogę powiedzieć, że przewidujemy czy gra dostanie 8, czy 9. Ten stopień rozgraniczenia jest czysto subiektywny i praktycznie niemożliwy do przewidzenia.

Ludzie uważają, że nie da się przewidzieć ocen gry na podstawie konkretnych danych. My możemy podać pewne szacunki. Jednak wiele osób ciągle nie może w to uwierzyć. Przeanalizowaliśmy statystyki bardzo dokładnie i możemy powiedzieć, że nasz model jest najlepszym, jaki do tej pory opracowano.

Vertical Slice w swych badaniach korzysta z prac lekarzy i psychologów z Uniwersytetu w Brighton, aby przygotować serie wnikliwych testów. Według McAllistera w branży brakowało takiego podejścia do problemu. Testy opracowano po analizie 154 recenzji z magazynu Edge i przy zastosowaniu analizy behawioralnej i sekwencyjnej. Przekłada się to na analizę tego co mówimy i robimy podczas grania.

W pracach wykorzystano badania doradcy rodzinnego Johna Gottmana, który po 5 minutach rozmowy z daną parą potrafi powiedzieć czy ich związek przetrwa kolejne 5 lat. Dotychczasowa skuteczność jego prognoz wynosi 97%. Analiza Vertical Slice w ciągu 30 sekund daje odpowiedź czy gra dostanie niską (1-4), średnią (5-7) czy wysoką (8-10) ocenę.

To właśnie ta pierwsza minuta jest krytyczna. To po to ludzie grają w dema gier. Badania recenzji z Edge wykazały pewne prawidłowości w ocenach. Wszystkie recenzje z wysokimi ocenami skupiały się na pewnych aspektach, średnie mówiły o konkretnych rzeczach, a niskie o jeszcze innych. Jest bardzo wyraźne powiązanie między nimi.

GramTV przedstawia:

Problemem jest też zmiana podejścia do tworzenia gier. Kilka lat temu gracze tworzyli gry dla graczy. Teraz gracze tworzą gry dla wszystkich. Tylko problem polega na tym, że firmy nie wiedzą czego oczekują wszyscy. Dlatego bardzo starannie dobieraliśmy osoby do naszych testów. Nikt poza nami nie tworzył w procesie rekrutacji profili psychologicznych badanych. Dało nam to bardzo dokładne informacje z kim pracujemy. Bardzo pomaga nam Biometria. Podłączamy ludzi do aparatury pomiarowej mierzącej tętno czy temperaturę skóry. Kiedy ktoś powie nam, że to była najbardziej przerażająca gra, w jaką grał, możemy powiedzieć "doprawdy? Nie wydaje nam się". I będziemy mogli to udowodnić.

Zbierając te wszystkie dane można dokładnie określić, jaką ocenę otrzyma gra. Badamy co nasi testerzy robią podczas gry, czy ich reakcje odpowiadają biometrii i możemy np. powiedzieć, że wszystkie czynniki wskazują na słabe zaangażowanie, nie wygląda to dobrze, jaka może być przyczyna? Dzięki tym informacjom możemy zasugerować poprawki. Nie jesteśmy deweloperami gier, ale możemy mieć wpływ na ich tworzenie.

W dzisiejszych czasach barierą są oceny na poziomie 80%. Myślę, że możemy pomóc naszym klientom ją przekroczyć. Chcemy pracować z twórcami na jak najwcześniejszym etapie. Wiele testów jest robionych na wersjach alfa, ale to jest zdecydowanie za późno. Chcemy pomagać już dużo, dużo wcześniej. Nie ma powodu, dla którego firmy mogłyby nie chcieć prowadzić takich badań. Zwrot kosztów inwestycji może być olbrzymi. Obecnie naszymi klientami są twórcy gier na wszelkie platformy od PS3 do iPhone. Naszym celem jest to, abyście mogli recenzować coraz lepsze gry.

Jedną z pierwszych firm, które skorzystały z prac Vertical Slice była Black Rock, twórcy Pure. Według nich badania Vertical Slice zwiększyły oceny gry o 5 do 10% i deweloperzy chcą w przyszłości współpracować z badaczami.

Na zakończenie wywiadu McAllister powiedział, że jego firma nie ma nic do ukrycia, a wszystko co pokazują to czysta nauka, a nie magiczne sztuczki. Prezentujemy nasz model rozłożony na czynniki pierwsze z dokładną naukową analizą. Każdy może z niego korzystać, bo jest w pełni dostępny. Każdy może spróbować i powtórzyć nasze badania i uzyska podobne wyniki. W końcu najbardziej interesujące jest to, jakie będą reakcje.

Więcej informacji o firmie i jej badaniach można znaleźć na oficjalnej stronie.

Komentarze
31
Usunięty
Usunięty
07/09/2009 18:03
Dnia 07.09.2009 o 15:19, rosenand napisał:

Panowie: "jakichś" - jest sobie takie słówko w języku polskim :)

Być może, ale nie mam porządnego słownika ortograficznego na podorędziu aby się o tym przekonać ;)

Dnia 07.09.2009 o 15:19, rosenand napisał:

Co do tematu - ja tam się nie znam ale zgaduję że Wy też nie. Za to są ludzie którzy się znają - na marketingu, psychologii itd. i poświęcają temu lata na studiach, więc coś chyba jednak jest na rzeczy.

Coś jest, ale te badania tutaj nie były pod kątem: co podoba się ludziom tylko co podoba się recenzentom. Nie prościej zatrudnić paru z nich do pomocy niż opierać się na badaniach psychologicznych (które mają to do siebie, że do końca nigdy nie wiadomo jaka jest prawdziwa wersja)?

Dnia 07.09.2009 o 15:19, rosenand napisał:

Dlatego sądzę że temat jest głębszy niż większości tu zgromadzonych się zdaje, i nie można sprawy sprowadzić do zwyczajnej "kwestii gustu". Pozdrawiam.

Ufologia to też głęboooooki temat. Spytaj jakiegoś eksperta, ale zaraz przecież "ufo" (w sensie obcy) nie istnieje...Podważam po prostu sens i przydatność takich badań. O! A to, że dobre gry (dopracowane, o ciekawej fabule i przyjemniej rozgrywce) dostają wysokie oceny jest dla mnie oczywiste i nie potrzebuję, żadnej nauki aby to stwierdzić.

Usunięty
Usunięty
07/09/2009 16:18

Oczywiście masz rację, to że ktoś ma doktorat nie oznacza że posiadł umiejętność przepowiadania przyszłości. Ale na pewno są ludzie którzy mają większe podstawy do wypowiadania się w temacie niż Gramowicze jęczący że to brednie, że nie da się przewidzieć czegoś co zależy od gustu itd.Fragmentu o "wynikach wyższych o 5-10%" też za bardzo nie rozumiem - ale możliwe iż np. w recenzjach owej gry (Pure) chwalono akurat to, co podpowiedzieli twórcom ludzie z firmy, o której jest mowa, i stąd twórcy wiedzieli, że usługi tamtych się przydały.Magazyn Edge - z tego co JA wyczytałem w tym artykule - posłużył za podstawę do pewnego konkretnego badania, do szukania prawidłowości w tym konkretnym researchu. Artykuł nie mówi przecież, że owa firma zagląda wyłącznie do Edge''a.Przeczytaj jeszcze raz newsa - wynika z niego, że Vertical Slice analizuje recenzje w prasie, współpracuje z psychologami, bada reakcje testerów podczas grania (biometria) - jak dla mnie z tego wszystkiego wynika, że ich robota jak najbardziej ma prawo działać :)

Usunięty
Usunięty
07/09/2009 15:51
Dnia 07.09.2009 o 15:19, rosenand napisał:

Co do tematu - ja tam się nie znam ale zgaduję że Wy też nie. Za to są ludzie którzy się znają - na marketingu, psychologii itd. i poświęcają temu lata na studiach, więc coś chyba jednak jest na rzeczy.

Nawet ludzie z doktoratami potrafią wziąć błędne założenia. Z tego co wyczytałem przeglądali recenzje w jednym magazynie, tak? Czy EDGE reprezentuje wszystkich recenzentów? Najbardziej mnie rozbawił fragment o tym, że ktoś już korzystał z ich pomocy i wyniki recenzji były wyższe o 5-10%. W stosunku do czego, ja się pytam? Poprzedniej gry? ALe to była inna gra, siłą rzeczy była inaczej oceniana. W stosunku do wersji zrobionej bez zaleceń zwartych w tego typu badaniach? Ale przecież ta wersja nie ujrzała nigdy światła dziennego.Ogólnie uważam, że co ludzie sprzedają coś, co powinien wiedzieć dobry designer gier. Nic olśniewającego.




Trwa Wczytywanie