11 IMDb срещу Rotten Tomatoes

Първа част

Втора част

English version

Последната част за справедливостите и несправедливостите в Top 250 на IMDb касае т.нар. експертно мнение на хората, на които "работата" им е да разбират от кино. Rotten Tomatoes е най-мащабният агрегат за кино-ревюта на тази планета, и оценката там (процентът положителни ревюта за филм) се е превърнала в стандарт за критически успех. Разбира се, не можем да говорим за каквато и да било обективност, защото и критиците са хора със своите разбирания, ограничения, нужди и изисквания, както и редовия imdb-юзър, само дето им плащат, за да гледат филми в промишлени количества. Та въпросът не е, че евентуален критичен Top 250 ще е върхът на обективността, ами как точно мнението на тълпата се съгласува с мнението на малка част от нея, която обаче системно изразява мнението си в писмена форма.

Страницата за всеки филм в RT съдържа следната съществена информация: брой положителни и отрицателни ревюта (вкл. и от т. нар. топ критици), средна оценка от всички критици (която не е много ясно как е калкулирана, при все, че не всеки ревюист дава цифров израз на степента на харесване на даден филм), брой гласували юзъри, средна оценка на гласувалите юзъри, и процент юзъри, които са гласували за даден филм с повече от 3.5/5. Извличането на тази информация от сорса на страницата е piece of cake, проблемът е само докато налучкаш линка към нея. Хубавото е, че url-тата в RT са базирани на заглавието, така че за по-голямата част от филмите в IMDb Top 250 успях автоматично да генерирам линковете към тях по имената им. За останалите се наложи ръчно търсене, което отне около половин час. Казвам отсега - НЕ си струваше.

Пълната таблица с Top 250 филмите на IMDb, пренаредени съгласно рейтинга на RT, можете да видите тук. Няколко уточнения: подредбата е по процент положителни ревюта (имайки предвид тези на всички критици, не на избраните), а за тези с еднакъв резултат - по общия брой ревюта. В последната графа е юзърският рейтинг (процентът юзъри, гласували над 3.5/5).

Веднага правят впечатление няколко неща: Играта на играчките е най-добре оценения филм от критиката за всички времена - със 76 положителни ревюта, следван много плътно от Магьосникът от Оз и Кръстникът. Почервенените филми пък са тези от IMDb Top 20 и разпределението им из таблицата показва точно нулева корелация с критическата оценка. Графиката е красноречива:

Форест Гъмп, който е на 21 място в Топ 250 има само 71% от критиците на RT (и 68% от най-разбирачите). За сметка на това Let The Right In, който след още 5-6 комиксови бози, по които масовата аудитория ще разточи лигите си, ще изхвърчи от IMDb Top 250, е с 98% на RT със 163 позитивни и 4 негативни ревюта.

Само да вметна, че тук е подредбата на RT по рейтинг с още по-абсурдно първо място - Играта на играчките 2 на челна позиция със 161 положителни ревюта и нито едно отрицателно.

Извод №1: критиците са точно толкова загубени като източник на кино-обективизъм, колкото и средният imdb-юзър. Surprise, surprse...

Това обаче не пречи да задълбаем нататък в статистиката:

Може би положението се подобрява, ако включим в играта топ критиците? Ъм... абсолютно НЕ. За повече от половината от филмите в IMDb Top 250 рейтингът на топ критиците се различава с не повече от 5% от този на всички критици. На челно място с пълни 100% и над 40 положителни ревюта се оказват Хари Потър 8, Артистът, Лабиринтът на фавна, Търсенето на Немо, Играта на играчките 3 и естествено, задължителният Иде ми да се застрелям. Явно е, че това не може да е база за каквато и да било класация.

Интересно е, че ако слушаме най-реномираните критици на RT, 18 филма от IMDb Top 250 падат под санитарния минимум от 60% положителни ревюта. Ясно е, че за повечето от тях броят на топ-ревютата е недостатъчен за достигане на статистическа значимост, но не и при The Prestige и Shutter Island - зрителите явно им се радват, но тези филми са явно недолюбвани от критичния каймак:

Извод №2: Разделянето на критиците на първа и втора категория на RT (това - базирано на авторитета на медията, която представляват), няма никаква тежест, що се отнася до съставяне на класации, поради две причини - 1) топ критиците са прекалено малко (и неравномерно разпределени във времето), за да имат някаква тежест и 2) често са в час толкова, колкото и останалите, т.е. хич.

Сега да обърнем поглед към RT юзърите. На картинката отдолу се вижда, че има доста по-голяма корелация между техните рейтинги и рейтингите на IMDb, отколкото при критиците:

Това естествено може да се очаква, защото гласуващата тълпа е на практика една и съща. Забележете обаче отклоненията от нормата - филмите, които са отбелязани изрично със стрелки. Как е възможно първите две части на Властелинът на пръстените да имат рейтинг около 95%, а изведнъж третата част да се сгромоляса до смешните 83%? Наистина ли за RT юзърите Гладиатор, Матрицата, Убий Бил и Дони Дарко са по-смотани филми от 95% от присъстващите в IMDb top 250. Проблемът лъсва, когато видим броя на гласувалите в RT:

Докато на един популярен филм на IMDb се падат по около 500-700 хиляди гласа, то 10 от филмите в Top 250 имат повече от 30 милиона гласа на RT. А следващият ги плътно Shutter Island има 10 пъти по-малко. Освен това, всички тези 10 филма са с абнормално ниски оценки, в сравнение с очакваното (както се виждаше от предната графика). Което значи само едно - някакви хакерчета в определен момент са играли циркови номерца с гласуването на RT. Което води до:

Извод №3: Юзърските вотове в RT са манипулирани в неизвестна степен и с неясна мотивация, така че значат точно една кръгла нула.

Което пък води до генералния извод, че Rotten Tomatoes има значение единствено на сборник от ревюта, и всеки опит за някаква статистическа интерпретация на резултатите е обречен на абсолютен провал. Явно IMDb Top 250, колкото и изкривен да е от фенбойщината, все пак си остава най-адекватната класация за кино - с много проблеми в нея, но поне с ясен произход и с някакви полу-ефективни механизми за поддържането на някакъв стандарт. С този разочароващ пост завършвам серията за статистическите абсурди в оценяването на филми.