Наукометричне невігластво (щодо манії бюрократій запровадити цифрове оцінювання науки)

Автор: Попович Олександр Сергійович, наукознавець, заслужений діяч науки і техніки України

(Читайте також попередню статтю цього автора на нашому сайті)

Те, що бюрократія з небаченим для цього впливового прошарка^[1] нашого суспільства ентузіазмом зустріла наукометрію, цілком закономірно, адже ключову роль в її діяльності та в її найзаповітніших прагненнях відіграє контроль — контроль всього і у всьому. А тут з’явилася надія, що навіть науку, в особливостях функціонування якої, а тим більш в результатах діяльності розібратися бюрократи не могли, можна буде за допомогою простих показників нарешті «поставити на місце». Тож коли прочитав наказ Міністерства освіти і «Про затвердження Порядку формування Переліку наукових фахових видань України» [1], в якому написано, що до Переліку включаються наукові періодичні видання України, що входять до наукометричних баз Scopus та/або Web of Science Core Collection  (категорія «А» – це, так би мовити, перший сорт), або видання, в редколегії яких входять  науковці, що мають не менше однієї за останні три роки, або не менше трьох публікацій за останні п’ять років або не менше семи публікацій за останні п’ятнадцять років, опублікованих щонайменше у двох різних виданнях, включених до Web of Science £ore Collection та/або Scopus (це, так би мовити вже другосортні), – ні на хвилину не сумнівався, що це чергова ініціатива міністерських бюрократів, які просто щиро не розуміють, що собою являє вітчизняна наука, намагаючись управляти нею.

Мимоволі згадалися слова директора Інституту математики товариства Макса Планка в Бонні професора В. Бальмана: «Бібліометричні дані – небезпечна зброя (тим більш в руках не-експертів) і є цілком неадекватним способом оцінки якості наукової роботи. Це було показано у багатьох дослідженнях, наприклад, Міжнародного математичного союзу, які видаються нам остаточними.» [2].

Як же ми з моїми колегами були вражені, коли дізналися: на тому, щоб оцінку рівня кваліфікації членів редколегій наукових журналів робити по кількості їх робіт, та посилань на них, зафіксованих у зарубіжних наукометричних базах даних, наполягають члени Наукового комітету Національної ради з питань науки і технологій!

Від кого завгодно можна було чекати цього, але не від них. Адже для того, щоб до цього комітету не потрапили люди далекі від науки або ті, кого можна звинуватити в непорядності, в Національній раді створено спеціальний Індентифікаційний комітет, який прискіпливо вивчає і відбирає кожну кандидатуру. Чим же можна пояснити таке нерозуміння того, що собою являє вітчизняна наука і як вона вписується в науку світову?

Ні краплі не сумніваючись у щирості і добропорядності, а чи в науковому рівні цих людей, думаю, що все ж даються взнаки деякі критерії відбору — те, що незадоволені своїми безпосередніми керівниками та керівниками кланів, з якими доводиться боротись при розподілі фінансувань, автори відповідних доповнень до проекту останньої редакції Закону України “Пронаукову і науково-технічну діяльність” дещо перестарались, намагаючись не допустити у Науковий комітет нікого, хто мав би хоч якесь відношення до управління наукою. В результаті там опинилися в основному люди, які добре знають ту вузьку галузь науки, в якій працюють, і слабо уявляють, що відбувається в інших, а тим більш, які проблеми хвилюють сьогодні світову наукову спільноту в цілому.

Зокрема, навряд чи потрапляли колись у поле їх зору численні дискусії, які велись останнім часом у світі щодо можливості застосування наукометричних показників до оцінки рівня результатів наукових досліджень та результативності роботи вчених. А до них раз у раз повертається світова наукова спільнота вже на протязі кількох десятиліть. Повертається тому, що все більшу тривогу викликає саме те, на що звертав увагу  згаданий вище професор Бальман — що це зброя, особливо небезпечна в руках не-експертів. При цьому крім численних подібних заяв окремих відомих вчених, можна навести і висновки, зроблені вельми шановними організаціями. Про це не повідомляють у наших засобах масової інформації та навіть і спеціальні журнали, які читають науковці.

Тож навряд чи можна, наприклад, плідно працюючого фізика-теоретика, навіть того,  хто має безпосередні контакти із закордонними колегами, картати за те, що він не знає про подію, яка відбулася у грудні 2012 року: на щорічних зборах Американського товариства з клітинної біології (The American Society for Cell Biology) були прийняті рекомендації які отримали назву «Сан-Франциська Декларація про  оцінку наукового дослідження».  В них підкреслювалось, що імпакт-фактор журналу не може бути надійним способом оцінки рівня публікацій, що науковий зміст статті значно важливіший ніж наукометричні показники журналу, в якому вона опублікована, і давалась рекомендація робити оцінку науковим роботам «на основі їх наукового змісту, а не публікаційних метрик». Загальна ж рекомендація звучить так: «Не використовуйте журнальні показники, такі як імпакт-фактор,  в якості непрямого показника якості окремих наукових статей, при оцінці внеску конкретних вчених, при прийомі на роботу, просуванні по службі, або при прийманні рішень про фінансування» [3]. Така рекомендація обґрунтовувалась тим, що згадані показники мають низку цілком доведених недоліків, вони залежать від профілю журналу, не враховують специфіки типів публікацій (наприклад, повідомлення, узагальнення, огляди і т.п.), ними можна маніпулювати.

Зібрання клітинних біологів пропонувало світовій спільноті приєднатися до цієї декларації (скорочено її стали іменувати DORA – за першими літерами англійської назви DECLARATION ON RESEARCH ASSESSMENT ). Якщо трохи «поритись у інтернеті», неважко переконатись, що станом на 2019 рік до неї приєднались 1366 наукових об’єднань і організацій світу, а також 14284 окремих авторитетних вчених світу.

Серед таких організацій і згаданий у наведеній вище цитаті Міжнародний математичний союз (The International Mathematical Union), що об’єднує математиків 77 країн. Він навіть спеціально замовив дослідження, яке було опубліковане у 2008 р. під назвою “Статистика цитування”. В ньому була детально проаналізована реальна практика використання наукометричних показників, що дозволило авторам прийти до висновку: «дані щодо цитувань дають лише обмежене і неповне уявлення про якість наукових досліджень, а статистики, отримані на основі даних цитування, часом неправильно розуміються і використовуються. Наукові дослідження надто важливі, щоб вимірювати їх цінність одним грубим інструментом» [4]. І далі, щодо імпакт-фактору: «нема сенсу застосовувати його і для оцінки авторів статей, дослідницьких програм, якими вони займаються, а тим більш галузей знань, в яких вони працюють. Імпакт-фактор, як і взагалі середні показники, не надто придатна величина для змістовного порівняння.» Гостро критикується в цьому документі й так званий h –індекс (індекс Хірша) як спосіб спростити оцінку шляхом нехтування деталями, які нерідко мають визначальне значення, а щодо використання його державними органами для оцінки результатів наукових досліджень чи конкретного вченого, то робиться висновок, що «Це не що інше, як використання даних не за призначенням. На жаль, надто велика спокуса визначити рейтинг кожного вченого, оперуючи всього одним показником; може статися що цим спокуситься і широка громадськість, яка і в більш простих випадках нездатна зрозуміти, що витікає з тих чи інших статистичних величин.»

Стривожені намаганнями неправомірного застосування розроблюваних ними показників фахівці з наукометрії прийняли на 19-й Міжнародній конференції по науковим та технологічним індикаторам (м. Лейден, Нідерланди, 3-5 вересня 2014 р.) звернення, яке отримало назву  Лейденський маніфест, в якому, зокрема говориться: «фахівці, що проводять оцінку наукової діяльності, не повинні піддаватися спокусі перекласти прийняття рішень на числа. Індикатори – не заміна інформованому судженню» (п. 1); «дослідження, що розширює границі наукового знання, відрізняється від дослідження, зосередженого на пошуку рішень суспільних проблем … жодна модель оцінки не може бути застосована до всіх контекстів» (п. 2); «у багатьох країнах світу висока якість наукового дослідження прирівняна до публікації англійською мовою. ..Такого роду упередженість створює особливі проблеми в суспільних та гуманітарних науках, де дослідження в більшій мірі регіонально та національно обумовлені.» (п. 3) [5].

І все ж світова бюрократія наполегливо намагається взяти на озброєння наукометрію, що переважна більшість науковців розглядає як серйозну загрозу для розвитку науки^[2]. Тривога наукової громадськості з цього приводу знайшла своє відображення в опублікованій у 2017 році спільній заяві трьох авторитетних європейських академій – Французької академії наук, Німецької академії природничих наук «Леоподьдіна» та Лондонського королівського товариства, в якій зокрема, говорилось: «Існує серйозна небезпека, що надмірна увага до бібліометричних показників не тільки не дозволить повною мірою оцінити якість досліджень, але й сприятиме прихованню від наукового співтовариства досліджень видатних вчених, які працюють поза сучасним науковим мейнстрімом. Подібна практика  може сформувати тенденцію до просування тільки тих досліджень, які відповідають модним течіям в науці; в той же час ті, хто оригінальний і чия робота здатна привести до розвитку зовсім нових наукових напрямів, можуть лишитися непоміченими. Більш того, надмірна довіра до індексів цитування як показника якості наукових результатів стимулює формування груп дослідників (свого роду «клубів любителів цитування»), які «накручують» показники один одного шляхом перехресного цитування» і далі: «Оцінка наукової роботи вимагає проведення експертизи визнаними експертами, які повинні дотримуватися високих етичних стандартів і звертати увагу перш за все на інтелектуальні достоїнства роботи та наукові досягнення оцінюваного дослідника. В основі експертної оцінки не можуть лежати бібліометричні показники. Судження експертів повинні біти добре аргументовані. Переоцінка значимості бібліометричних показників може завдати серйозної шкоди оригінальності та творчому потенціалу вчених. Оцінка наукової роботи має стати значним внеском в розвиток науки» [6].

Врешті решт можна констатувати, що Захід вже певною мірою перехворів хворобою абсолютизації наукометричних показників і основним методом оцінки рівня і значимості результатів наукових досліджень у більшості країн світу є їх експертна оцінка. Лише російська бюрократія, ігноруючи виступи і своїх, і зарубіжних вчених, залишається в цій справі на вкрай консервативно-бюрократичних позиціях.

В багатьох країнах Заходу (наприклад, в США та ФРГ) ця проблема не набула такої великої гостроти внаслідок того, що при оцінці наукових досліджень запроваджені правила і процедури, які виключають втручання в цей процес працівників органів державного управління – не тільки у сам процес оцінювання, але й у визначення конкретних експертів, яким ця оцінка доручається. Держава лише інформує наукову громадськість і замовників наукових досліджень і розробок, яким організаціям вчених (обов’язково – недержавним організаціям) вона довіряє експертну оцінку результатів наукових досліджень. Та все ж вона не знята з порядку денного, і в Європі теж дуже вже приваблює людей, схильних до бюрократичного мислення, «простота» оцінок того, що вони не спроможні зрозуміти.  Тим більш, що саме такий тип мислення і реальний вплив бюрократії набуває  сьогоднішньому світі все більшого поширення  — американський антрополог і громадський діяч Д. Грегорі навіть вважає, що нинішню світову соціально-політичну систему слід іменувати “бюрократичний капіталізм” [7]. Активізації дискусій про наукометричні показники і обраховані на їх основі рейтинги в останні роки посприяла поява ще одного фактору — комерційного інтересу видавців наукових журналів, які знайшли способи штучно накручувати індекси цитування (див., наприклад, [11]), а тим самим і рейтинги своїх журналів, забезпечуючи тим самим собі конкурентні переваги.  Показово, що Європейська дослідницька рада, яка розподіляє загальноєвропейський грантовий фонд (бюджет на 2014 -2020 роки 13 млрд. євро) взагалі не застосовує наукометричних показників.

Україна ж, схоже, перебуває на піку захоплення формальними  підходами до оцінки науки і вчених, які створюють ілюзію достатньої компетентності будь-якого управлінця для керування наукою і контролю діяльності наукових установ. Численні виступи в пресі вітчизняних дослідників з цього питання вони просто ігнорують, а зарубіжними не цікавляться. Деякі з обумовлених цим нововведень не можуть не викликати тривоги. Мінфін навіть ставить питання про те, що  виконавці вже на стадії формування науково—дослідних програм писали скільки і в яких зарубіжних журналах будуть опубліковані майбутні результати, скільки на них буде посилань і т.п. Такого нерозуміння специфіки процесу, який вони беруть на себе сміливість регулювати, навіть від них ніхто не сподівався.

Адже вчений далеко не завжди знає, яким буде результат його досліджень. Наприклад, Деніс Габор одержав Нобелівську премію за створення голографії, проте, розпочинаючи роботу, яка закінчилась цим дійсно унікально важливим результатом, він його зовсім не планував. Він намагався розв’язати суто технічну проблему — підвищити роздільну здатність електронного мікроскопа. І навіть у своїй Нобелівський лекції поскаржився, що підвищити цю здатність йому вдалося з допомогою голографії все ж не настільки, як він сподівався!

Що ж до вимоги перш ніж отримати фінансування чітко і всебічно сформулювати всі результати, які будуть одержані через кілька років, то навіть у більш м’якій загальній формі вона викликає великі сумніви. Так, лауреат Нобелівської премії 2012 року з фізики – француз С. Арош, відповідаючи на запитання, як йому вдалося досягти таких видатних результатів, сказав, що це стало можливим тому, що він мав можливість працювати над проблемою кілька десятиліть при надійній фінансовій підтримці, маючи повну свободу обирати собі свій шлях і не маючи потреби його обґрунтовувати перспективами якогось практичного використання результатів. Він висловив глибоке співчуття молодим  науковцям Франції, які вже не матимуть такої можливості в нинішніх умовах, й підкреслив, що такий «прагматизм», що бере гору у фінансування науки принесе велику шкоду не тільки фундаментальній науці, але й прикладній, тому що «практичні результати виникають з проривів у фундаментальних дослідженнях і ніколи не створюються з нуля» [8].

 Міністерство освіти і науки намагається якомога ширше запровадити наукометричні показники при оцінці діяльності наукових установ, взагалі у всіх напрямах управління наукою, не намагаючись оцінити, які наслідки це матиме. Можливо, комусь здається, що так можна підняти рівень вітчизняної науки. Але вони не враховують (а, може, і не знають) незаперечно доведеного фахівцями загального закону бюрократії: «втілення в життя будь-якого доброго наміру бюрократичними методами невідворотно приводить до прямо протилежних результатів» [7, 9]. Не враховує наша бюрократія й того, що відзначає багато-хто з аналітиків: на даному етапі розвитку міжнародних реферативних баз даних вони охоплюють наукову періодику різних країн не однаково: навіть серед країн Європи у одних охоплюється 70÷80 % журналів, в інших 15÷20 %. Нерідко наші журнали не потрапляють до них не тому, що вони цього не заслуговують за своїм науковим рівнем, а з причин порушень регулярності випусків (як правило з причин недофінансування) або просто за недоглядом.

Слід звернути увагу й на те, як абсурдно звучить у нинішніх наших умовах заклик публікуватися у зарубіжних наукових журналах, яких сьогодні через нестачу коштів не виписує жодна бібліотека України (раніше практично кожен великий інститут академії виписував практично всі авторитетні наукові журнали зі своєї галузі науки, і тим більш вони були доступні у бібліотеці ім. Вернадського). Нам кажуть: «так є ж інтернет» — але ж більшість інтернет- журналів дають повні тексти статей тільки за гроші. Звичайно, це не проблема для вченого, наприклад, Німеччини – адже там в середньому на кожну публікацію, представлену  в Scopus, припадає понад 766 тис. євро, які витрачаються на науку. В той же час аналогічна (представлена в цій базі даних) публікація в Україні коштує десь у 13 разів дешевше (це пояснюється не тільки кричущим недофінансуванням вітчизняної науки, але й тим, що принаймні половина таких публікацій виконується у співпраці з зарубіжними вченими, що дозволяє користуватися зарубіжним обладнанням та бібліотеками).    

Крім того, ігнорується той незаперечний і, на жаль, вже підтверджений нашим досвідом  факт, що чим більше наші вчені публікуються в зарубіжних журналах із великим імпакт-фактором, тим більш падає рівень (а разом з ним і імпакт-фактор) вітчизняних журналів. Найважливіші результати  досліджень українських вчених стають все менш доступними їх колегам в Україні, студентам та аспірантам, що неминуче впливає на рівень фахової підготовки молодшого покоління.   Чи цього вимагають національні інтереси країни? Не говорячи вже про те, що без україномовної наукової літератури неможливий розвиток української наукової термінології, отже і розвиток української мови, про яку так багато говориться.  Думається, що в сучасних умовах публікація іноземних вчених в українських журналах має навіть більше значення для піднесення рівня вітчизняної науки і наших наукових журналів, ніж публікація українських дослідників у зарубіжних.

Та й не тільки рівень цитування, а й взагалі навіть сама кількість публікацій конкретного вченого не може вважатися адекватним мірилом його внеску в науку. Наприклад, вітчизняними вченими-селекціонерами створено більше 130 сортів зернових культур, які широко використовуються як в Україні, так і за кордоном. Але їхні творці не надто захоплюються публікацією статей і не мають високих індексів цитувань, зокрема у скопусівських виданнях. В цьому плані можна згадати, як, наприклад, зреагував академік Патон Б.Є. під час недавнього інтерв’ю, коли інтерв’юер^[3] із захопленням згадав, про його кілька тисяч наукових публікацій. Борис Євгенович сказав, що зовсім не схильний оцінювати науковців у кількісних показниках. І напевне на тисячу “ефективних” за числовими показниками дослідників знайдеться бодай один, ім’я якого назавжди залишиться в науці, хоча за цими показниками він “зовсім ніякий” (див.[10].

Повертаючись до наукометрії, хочу підкреслити: я зовсім не проти неї. Її методи і результати – це хороший інструмент для наукознавців. Використовуючи її можливості ми, наприклад, отримали нещодавно досить цікавий результат: виявляється 74% українських дослідників публікують свою найбільш цитовану (тобто досить вірогідно – найважливішу) роботу у віці від 40 до 65 років і тільки 16%  — до 39 років, а 14% — навіть після 65 років. Наукометрія продовжує розвиватися, вдосконалює свої методи, розвиваються і бібліометричні бази даних (поки-що не всі галузі науки і науку далеко не всіх країн вони охоплюють). В сукупності  вони дають нам можливості отримувати все більше корисної інформації для аналізу, пошуку нових підходів до організації і підтримки науки. Але навіть у далекій перспективі вони не можуть стати єдиним і повністю адекватним методом її оцінки. Тим більш наукова громадськість не може змиритись з перетворенням її на «страшну зброю бюрократії».

Ніяких заперечень не викликає у нас і сам по собі намір підвищити рівень вітчизняних наукових журналів, добитися, щоб у склад їх редакційних колегій потрапляли по-справжньому авторитетні вчені. Але ж вирішення цієї проблеми суто бюрократичними методами (нагадаємо знову про «загальний закон бюрократії») на основі простих наукометричних показників неможливо, тут треба навчитися виявляти і враховувати оцінку експертів, наукової громадськості. Ілюзія, що цього достатньо, не просто наївна – вона шкідлива і для журналів, і для соціально-психологічного клімату у науковій спільноті. Не менш важливо, ніж науковий рівень членів редколегій, щоб вони таки працювали. Адже бюрократизація проникла і в цю сферу: досить часто авторитетні члени редколегій насправді ніякої участі у визначенні політики деяких журналів та його реальному житті не беруть, а служать лише «солідною ширмою» для редакції.

Що ж до оцінювання наукового рівня наукових установ і окремих дослідників, то це проблема, яка не допускає спрощень. Кожен дослідник має всі підстави пишатися тим, що має значний h-індекс, але як, наприклад, зауважує редактор журналe Nature А. Лоуренс: фізіолог Ед Льюіс, який отримав Нобелівську премію  у 1995 році, був скромною людиною, рідко і нерегулярно писав статті і тому мав досить невеликий h-індекс (див. переклад статі Лоуренса в [11]). Отже не тільки цим одним показником характеризується результативність його роботи.  

Посилання

1. Наказ Міністерства освіти і науки №  32 від 15.01.2018  «Про затвердження Порядку формування Переліку наукових фахових видань України» //    
2. Наукометрия и чиновники // LIVEJOURNAL
3. The San Francisco Declaration on Research Assessment (DORA), available at: https://sfdora.org/
4. Р. Адлер, Дж. Эвинг, П. Тейлор. Статистики цитирований // Игра в цыфирь, или как теперь оценивают труд ученого (cборник статей о библиометрике). –– М.: 2011 МЦНМО,. –– 72 с.: ил.
5.  Лейденский манифест для наукометрии — http://sociologos.net/node/484
6. Заявление Французской академии наук, Немецкой академии «Леопольдина» и Лондонского Королевского научного общества о рекомендуемых методах оценки исследователей и исследовательских программ на английском языке (pdf, 307 Kб)
7. Гребер, Девид Утопия правил: о технологиях, глупости и тайном обаянии бюрократии. — М.: Ад Маргинем Пресс, 2016. — 223 с.
8. Нобелівські премії // Наука та наукознавство, 2012. — № 4. – С. 147 – 148.
9. Попович А.С., Попович З.А. От бюрократизации управления до бюрократизации мысли. – М.: ЛЕНАНД, 2015. – 392 с.
10. Чтобы видеть историю, надо измерять время эпохами (итервью с Б.Е.Патоном) // Наука та наукознавство, 2018. № 4 (102). — с. 34.
11. Игра в цифирь, или как теперь оценивают труд ученого (cборник статей о библиометрике). –– М.: МЦНМО, 2011. –– 72 с.: ил.

Про автора: доктор економічних наук і кандидат (по теперішньому законодавству «доктор філософії») фізико-математичних наук, заслужений діяч науки і техніки України. Після закінчення радіофізичного факультету КДУ ім. Т. Г. Шевченка 10 років працював в Інституті фізики та ядерних досліджень (який відділився від першого). Потім 30 років працював у так званій науково-організаційній сфері (у відділах науки ЦК Компартії України і ЦК КПРС, в Міннауки, в адміністрації Президента Кучми). З 2000 року працює в Центрі досліджень науково-технічного потенціалу та історії науки, який тепер має назву Інститут досліджень науково-технічного потенціалу та історії науки ім. Г.М.Доброва НАН України, де нині займає посаду головного наукового співробітника.

---

^[1]Дехто з дослідників бюрократії вважає, що бюрократію сьогодні слід розглядати як клас, який відграє надзвичайно важливу (в основному все більш негативну) роль в соціально-економічному розвитку суспільства

^[2] Англійські вчені навіть звернули увагу на те, що подібні підходи вже завдали великої шкоди науці Великої Британії.

^[3] Інтерв’ю проводив відомий наукознавець і льотчик-космонавт Ю.М.Батурін

__________________________
Читайте нас в телеграм 
https://t.me/granitnauky