Оцінка науки: чим міряти безмежжя?

Sergii Boltivets, State Institute of Family and Youth Policy of Ukraine

Публікуємо статтю доктора психологічних наук Сергія Болтівця (одного з 10-ти кандидатів у ректори Київського національного університету ім. Т.Г. Шевченка), надруковану минулого року в литовському науковому журналі «Education Policy, Management and Quality» («Політика, менеджмент та якість освіти»), з оригінальною назвою Science assessment: what is limitation measured?»

Автор дав «Гранітові науки» такий коментар на цю статтю: «Очільники литовського синдикату наукових журналів були дуже задоволені, негайно дали текст в номер і надіслали мені його авторський примірник. Литовці справедливо вважають себе дискримінованими в безодні наукових ресурсів США, які, безумовно, порівняно з наукою усієї Європи, є набагато продуктивнішою країною. Я вільно обґрунтував свою думку, не озираючись ні на кого, як американці і роблять, вважаючи це нормою. Литовці стриманіші — просили висловитись мене».

«Було б непогано підтримувати дискусію, що стосується оцінки наукової діяльності чи оцінки журналів у світлі баз даних і, головним чином, з урахуванням Лейденського маніфесту. Ідея полягає в тому, що бази даних знаходяться далеко від своєї місії зі збирання та поширення наукової інформації. Вони почали оцінювати науку і брати на себе монополію»— Vincentas Lamanauskas

Abstract

В статті започатковано дискусію, що стосується оцінки наукової діяльності чи оцінки журналів у світлі баз даних і, головним чином, з урахуванням Лейденського маніфесту. Наведено наперед передбачувані наслідки тоталітарного насаджування наукометричних підходів, які ведуть до сегрегації у науковій сфері і, як наслідок, її знищення, як це сталось з наукою СРСР. Наукометрія або бібліометрія, яке останнім часом видається за вершинне досягнення людського розуму, представлена як є цитатометрія або ще точніше – прізвищеметрія (особометрія). Обґрунтовано, чому такий підхід має своїм результатом зворотний ефект: кількісний показник затуляє собою відсутність того, що є сутністю науки. Поставлено питання про те, якою мірою огляд літературних джерел має наукове значення, крім виконання етичного ритуалу вшанування попередників? Що зміниться у наукових результатах, якщо пошана до славних предків буде здійснюватись у будь-який інший спосіб? В статті представлено визначення науки як сфери діяльності людини у більш широкому значенні, ніж його намагаються надати науці політики (наука як сила нових озброєнь), видавці-комерсанти(наука як фактор впливу) або підприємці (наука як нові прибутки). Наука представлена як втілення пізнавальних потреб і можливостей всього людства, яка при цьому завжди є індивідуальним набутком особи, в тому числу в разі поєднання індивідуальних зусиль у будь-якій із груп людей, об’єднаних спільною метою. Частина населення, причетна до переважно наукомісткого способу виробництва і забезпечення життєздатності людини закономірно буде зростати. В рамках безмежжя, окресленого назвою статті, привернута увага до питання про те, для кого долається межа між відомим і невідомим. Особа, що долає, здійснює цим сенс власної діяльності, яку прийнято називати науковою. Але подолання цієї межі не обов’язково втілюється в пропаганду з’ясованого – оформлення тексту, який здобув визначення наукового. Тому огляд безглуздь, побачених і зафіксованих Jonathan Swift у 18 столітті запропоновано продовжити підрахунком прізвищ учених 21 століття, названих наукометрією або бібліометрією, що не має жодного відношення до оцінки науки як процесу і наслідку подолання межі між знанням і незнанням. Масштабні спроби зведення усього наукового знання до цифр дало підстави для наведеного у статті висновку про те, що математичні обчислення як спосіб оцінки науки можуть бути дуже точні в деталях, але неправильні в цілому. Стверджується, що оцінка науки – це така сама наука, що може існувати лише у формі дослідження. Оцінка значення результатів науки для суспільства належить усім членам суспільства, а не лише членам обмеженого кола науковців, які здебільшого волею випадку опиняються в ролі тих, хто оцінює.

Keyword: визначення науки, наукометрія або бібліометрія, прізвищеметрія (особометрія),Лейденські принципи, англомовний сегмент, обмежене коло науковців, уникнення однобічності, наука для суспільства.

Introduction

В тоталітарних державах і в ієрархічних професійних спільнотах закономірно виникає боротьба за найбільш безпечне місце під сонцем, яким уявляється місце, що потребує ролі вождя, фюрера, лідера, дуче, царя, фараона, шефа, боса, керівника або хоча б наближене до його трону місце, здобуте не стільки ласкою зверху, скільки виміряним об’ємом заслуг зісподу. Іншими словами, це та база, яка виконує роль подіуму, що на ньому кар’єриста краще видно зверху вождем, фюрером, лідером, дуче, царем, фараоном, шефом, босом, керівником. За сприятливих обставин ці особини мають найбільші шанси з такого подіуму підійти і зайняти керівне місце – трон. Наукова праця, не втілена у будь-що відчутне, видиме або хоча б зрозуміле, створює собою вакуум оцінки, здатний заповнюватись будь-якими цифрами, що можуть бути сприйняті вірогідно. Як в цьому легко переконатись, наукова спільнота багатьох, якщо не більшості країн світу, не гребує жодними вимірювальними засобами, щоб відміряти собі імператорські хороми від решти побратимів наукового цеху, цим порівнянням принижуючи і навіть знищуючи їх зусилля. Імператори науки ведуть бойові дії заради грошей, які несе з собою цифрова слава як доказ для фінансування. При цьому сумарне фінансування науки в світі зменшується – вигідно фінансувати не усіх, а лише обраних з обраних, як це системно довели до досконалості комуністи колишнього СРСР, розваливши його цим самим.

Як науковець, чия наукова кар’єра розпочиналась у науковій сфері колишнього СРСР, для мене наперед передбачувані наслідки тоталітарного насаджування наукометричних підходів, які ведуть до сегрегації у науковій сфері і, як наслідок, її знищення, як це сталось з наукою СРСР. Можливо, читачі цих рядків на захист наукометричного упорядкування наукового світу наведуть тут аргументи наукового розквіту Третього Райху, невідомі мені? Якби тільки математичні вимірювання визначали науковий прогрес, свята інквізиція завершила б його набагато раніше.

Лейденські принципи

Застереження щодо некорисності бібліометрії, відображеної в десятьох принципах Лейденського маніфесту, протягом останніх років досить обережно висловлює багато вчених, серед яких Reinhard Werner(2015), Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke & Ismael Rafols(2015) та інші. Ця проблема ґрунтовно розглядається також у вимірі відображення науки в сучасній технологічній освіті (Lamanauskas, 2017). В цілому ж Лейденський маніфест є чи не першою дуже обережною спробою примирити кількість з якістю, а отже запропонувати власний варіант perpetuum mobile. Десять принципів цього Маніфесту явно претендують на роль Десяти заповідей Закону Божого в галузі оцінки науки, що представлені у таблиці наших сумнівів ( Tabl. 1).

Таблиця Лейденських принципів і наших дискусій

№	Ten principles	Ten discussions
1.	Quantitative evaluation should support qualitative, expert assessment	Хто відкрив якість наукового відкриття? Чим експерт з якості відрізняється від науковця? Якість неможлива без кількості?
2.	Measure performance against the research missions of the institution, group or researcher	В одну річку треба заходити по два рази? Науковців на планеті стало стільки, що вимірювати результати одного(одних) може будь-хто з інших? Вільгельм Рентген неякісно повторив результати Івана Пулюя і погіршив їх – це шлях до прогресу?
3.	Protect excellence in locally relevant research	Захист досконалості – це оборона науки він англійського нацизму? Відсутність рівності усіх мов планети має наукове розв’язання? Яке воно?
4.	Keep data collection and analytical processes open, transparent and simple	Якщо простота є доброчесність, то найпростіші мікроорганізми нашої планети є ідеалами доброчесності для учених?
5.	Allow those evaluated to verify data and analysis	Якщо дані наукового дослідження може перевірити сторонній аудит, то чи не простіше відмовитись від науковців, а одразу закликати аудиторів для перевірки аудиторів?
6.	Account for variation by field in publication and citation practices	Чи не є це підтвердженням того, що цифрові варіації можуть бути дуже точними в деталях і неправильними в цілому?
7.	Base assessment of individual researchers on a qualitative judgement of their portfolio	Чи хтось може пояснити, яке відношення має оцінка доробку протягом життя дослідника до оцінки науки?
8.	Avoid misplaced concreteness and false precision	Чи не є цей принцип запереченням усіх інших, пов’язаних з кількісними оцінками?
9.	Recognize the systemic effects of assessment and indicators	Чи не заперечують ці системні ефекти сутність оцінки науки?
10.	Scrutinize indicators regularly and update them	Чи оновлення марних показників не є так само марним?

На перший погляд може здатись, що ми нашими дискусійними запитаннями применшуємо значення принципів Лейденського маніфесту, але насправді це не так. Навпаки, наведені принципи підтверджують методологічну марноту вимірювань в кілограмах, сантиметрах, цитатах, названих в тексті прізвищах, кількості сторінок і букв, крім випадків, коли такі вимірювання насправді і є метою фінансування замовником, що співпадає з бажанням авторів.

Концепція оцінювання науки

Справді, якщо наука є явищем, що складається з однорідних предметів або принаймні з предметів, які можна класифікувати за певною однорідною ознакою, то чи є це наука? Наукометрія або бібліометрія, яке останнім часом видається за вершинне досягнення людського розуму, насправді є цитатометрією або ще точніше – прізвищеметрією(особометрією). Кількість згадувань прізвища на квадратний кілометр за своїм змістом нічим не відрізняється від підрахунку кількості букв, розділових знаків і обсягів тексту. У таблиці 2 ми наводимо ці значення ( Tabl. 2).

Значення наукометрії, бібліометрії, цитатометрії і

прізвищеметрії(особометрії)

Як видно з таблиці 2, вся справа наукометрії або бібліометрії зводиться до згадування прізвищ авторів і ними завершується. Про жодні категорії якості в того, що могли б мати на увазі наукометристи (бібліометристи), не йдеться. Більше того, такий підхід має своїм результатом зворотний ефект: кількісний показник затуляє собою відсутність того, що є сутністю науки, тобто обманом довірливого фінансиста наукової продукції. Так, наукометрія є карикатурним відображенням фінансових значень, які здатні уявити перед собою фінансисти науки – більші наукометричні цифри є прайсом більших грошей. Ми далекі від думки щодо оцінювання такого підходу в термінах шахрайства, зловживання довірою, обману, фальсифікації, оскільки ніхто і не приховує способів здобуття цілковито марних цифр. Просто подібне відображає собою подібне – здатність ніщо перетворити на предмет фінансування.

Найперше запитання, яке не наважуються поставити науковці, а з ними і замовники наукових досліджень, – якою мірою огляд літературних джерел має наукове значення, крім виконання етичного ритуалу вшанування попередників? Що зміниться у наукових результатах, якщо пошана до славних предків буде здійснюватись у будь-який інший спосіб? Чи є наукою те, що вже стало загальним знанням? Для розв’язання поставлених нами питань вважаємо за необхідне нарешті обрати одне з безлічі тих визначень науки, яке найбільшою мірою відповідало б її місії у цивілізаційному розвитку. Наше визначення ми пропонуємо у формі таблиці 3( Tabl. 3).

Визначення науки як процесу перетворення невідомого

на відоме(знання)

Як видно з наведеної таблиці 3, наукометрія або бібліометрія в тому вигляді, в якому вона справедливо оцінена Лейденським маніфестом, не може розглядатись в жодній з наведених фаз трансформації наукового знання від його видобутку з невідомого до оцінки обсягу, кількості і достовірності здобутого. Адже йдеться про видобуте знання, а не підрахунок кількості осіб, які виконували цю роботу. Якщо подібне вимірювання справедливе, то чому в особах не вимірюється будь-яка робота. Наприклад, чому риття котловану для закладання фундаменту будівлі вимірюється об’ємом вийнятого ґрунту, а не прізвищами робітників? Смак їжі в ресторані в цьому випадку повинен оцінюватись кухарями іншого ресторану, а не відвідувачами, які оплачують рахунок.

Спроба накинути свою оцінку на будь-яку сферу людської діяльності і щодо їх результатів, є показником здатності до самозбереження як для людини, так і людських груп, і людських суспільств у цілому. Критерієм самозбереження, а отже прийнятності у всіх випадках тут є відоме. У сфері науки як сфері перетворення невідомого на відоме будь-яка оцінка, крім оцінки творця цього перетворення, буде неточною, невідповідною задуму, який завжди є етапом його набагато більших, невідомих на початку вимірів, а отже хибною за визначенням.

Дивним, марним, а отже непотрібним нині виглядає оформлення середньовічних наукових трактатів, форма який поглинала більші зусилля їхніх творців, ніж поданий у них зміст. Не менш дивними вже в недалекому майбутньому виглядатимуть наукові публікації в журналах, головною цінністю сьогодні визнається їх представленість у науково- метричних(бібліографічних) базах, які до того ж поділяються на менш і більш престижні. Закономірним виявиться те, що наукові відкриття все більше будуть пред’являтись світові поза бібліометрією в тих випадках, коли зміст раніше невідомого знаходитиме собі необхідні для свого цілісного вираження форми. У всіх інших випадках форма визначатиме зміст, а отже пошук наукової новизни за бібліометричними даними дедалі більше втрачатиме сенс. Престиж зникне, оскільки він не має властивості зберігатись в архівах.

У будь-якому випадку ми вважаємо за необхідне повернутись до визначення науки як сфери діяльності людини у більш широкому значенні, ніж його намагаються надати науці політики(наука як сила нових озброєнь), видавці-комерсанти(наука як фактор впливу) або підприємці(наука як нові прибутки).

Найперше наука є втіленням пізнавальних потреб і можливостей всього людства. Однак при цьому наука завжди є індивідуальним набутком особи, в тому числу в разі поєднання індивідуальних зусиль у будь-якій із груп людей, об’єднаних спільною метою. Частина населення, причетна до переважно наукомісткого способу виробництва і забезпечення життєздатності людини закономірно буде зростати. У зв’язку з цим закономірно виникає питання: яке значення матимуть цитати одного мільярда населення Землі для іншого мільярда, який їх визнав цим самим існування першого? Чи справді є аксіомою, що цитати з прізвищами авторів є чимось більшим, ніж цитати з прізвищами авторів для розвитку наукового знання? Тобто шаман, який цитує заклинання свого роду, вигукуючи їх, здійснює таку ж продуктивну дію, як і дослідник, що переписує найголовніші думки своїх колег, наводячи і поширюючи їх вплив? Віддаючи данину розмежуванню відомого і невідомого, чи становить це основне призначення наукової праці?

На наш погляд, ритуал цитування повинен бути вилучений зі сфери наукової діяльності, оскільки він не має жодного відношення до з’ясування того, чого ще немає. Повторення того, що вже є, в особах, як бачимо, залишається ритуальним повторенням, а не представленням того, чого ще не було.

Відповіді на ці та дотичні до них запитання ми залишаємо відкритими з огляду на перспективи пізнавального розвитку індивідуальної неповторності кожної з більш як семи мільярдів людей нашої планети, які мешкають і розвиваються на ній одночасно. При цьому ми привертаємо увагу до індивідуалізації здобутого знання і того, яке ще буде здобуте. Сутність індивідуалізації найкраще представить таблиця 4 ( Tabl. 4).

Індивідуалізація науки як її походження

з індивідуального людського запиту

Пізнавальний запит	Потреби диференціації
Пізнання довкілля і себе в ньому	Інтроекція людини в розрізненні нею себе й довкілля: фауни, флори і органічного світу
Пізнання можливостей довкілля для себе і своїх власних	Самоздійснення людини: пошук, випробування і втілення своїх можливостей
Пізнання індивідуальності себе	Самоствердження серед людей: диференціація себе засобами невідомого іншим

Як видно зі змісту Tabl. 4, відповіддю на питання про те, на яке головне питання відповідає наука, є виключна її індивідуалізація у відповідях на дедалі більш індивідуалізовані пізнавальні запити людини. Масове визнання, що полягає у масовому цитуванні або згадуванні прізвища особи, що видає себе за науковця, у зв’язку з цим втрачає будь-який сенс. Епохи тоталітаризмів, характерною прикметою яких було повсюдне цитування Гітлера, Mao Zedong, Леніна, Сталіна, Горбачова, який нині живе у США, сподіваємось, спільними зусиллями насамперед науковців мають бути залишені у минулому.

В рамках безмежжя, окресленого назвою нашого розмірковування, ми маємо привернути увагу до питання про те, для кого долається межа між відомим і невідомим? Особа, що долає, здійснює цим сенс власної діяльності, яку прийнято називати науковою. Але подолання цієї межі не обов’язково втілюється в пропаганду з’ясованого – оформлення тексту, який здобув визначення наукового. Текст є зображенням, а отже до визначення наукових за визначенням відносять інші зображення – схеми, рисунки, фотографії та інше. Як в такому разі наука оформляє об’єм? Як, крім зображень, до яких входять і описи, передає, наприклад, запахи, смакові, дотикові та вісцеральні відчуття живих істот, до яких належить і людина? А як, позбувшись зображень і текстових описів, науки про життя здатні відтворити життя в натуральних величинах і вимірах? І яке в цьому випадку місце належить кількостям цитат і згадувань різних прізвищ та імен? Нездатність, яка й до сьогодні доводить неможливість осіб, які вважають себе науковцями, оцінювати самих себе і результати, ними спродуковані, здобули неперевершену донині оцінку Jonathan Swift у «Travels into Several Remote Nations of the World, in Four Parts. By Lemuel Gulliver, First a Surgeon, and then a Captain of several Ships)»

*Gulliver’s Journey to Laputa. Academy in Lagado. Мал. художника Grandville (Jean Ignace Isidore Gérard)*

Академіки Лагадо – учені Великої Академії, які винаходять нові методи землеробства і архітектури і нові знаряддя і інструменти для всякого роду ремесел і виробництв, котрі запевняють – одна людина виконуватиме роботу за десятеро; протягом тижня можна буде спорудити палац з такого міцного матеріалу, що він простоїть вічно, не вимагаючи ніякого ремонту; усі земні плоди дозріватимуть повсякчас роки за бажанням споживачів. Як переконується Гуллівер, жоден з цих грандіозних проектів не доведений до кінця: країна стоїть в руїнах, а населення голодує і ходить в лахмітті. Один з академіків Лагадо вісім років розробляє проект витягання сонячної енергії з огірків, щоб потім користуватися нею для зігрівання повітря у разі холодного і дощовитого літа. Інший “винахідливий архітектор” придумав новий спосіб спорудження будинків, починаючи з даху і кінчаючи фундаментом. Верхом безумства виявляється проект по перетворенню людських екскрементів на ті поживні речовини, з яких вони утворилися. Абсурдною і неймовірною виглядає діяльність академіків у філософії, політиці, поезії, математиці, звіти про яких публікувалися в працях англійського Королівського наукового товариства. Огляд цих безглуздь, побачених і зафіксованих Jonathan Swift у 18 столітті цілком доречно продовжити підрахунком прізвищ учених 21 століття, названих наукометрією або бібліометрією, що не має жодного відношення до оцінки науки як процесу і наслідку подолання межі між знанням і незнанням.

Висновки та Рекомендації

Першим і найголовнішим, на наш погляд, висновком є те, що оцінка науки в такому її примітивному вигляді як лічба прізвищ учених і їх цитат не належить до сфери науки як сфери зіткнення відомого з невідомим. Масштабні спроби зведення усього наукового знання до цифр дає підстави для висновку про те, що математичні обчислення як спосіб оцінки науки можуть бути дуже точні в деталях, але неправильні в цілому.

Оскільки лічбі піддаються лише прізвища і цитати живих учених, а учені, яким пощастило уникнути обрахунків, перебувають в іншому світі, неможливо встановити правдиве значення оцінки науки любителями рахувати прізвища і цитати в цілому, бо в запроваджуваному вигляді нинішня англомовна наука із узалежненими від неї сателітами неангломовної країн оцінка науки розділяє прізвища цитованих науковців на «царство живих» і «царство мертвих». Покійні вчені після переходу до потойбічного світу вибувають із бібліометричного забігу і поступово перестають існувати у фокусі уваги такої оцінки. Тому справедливо називати таку оцінку підрахунком живих у науці, а також процесу згасання світла впливу тих, хто в ній був донедавна. Ми радимо перевірити це наше твердження любителям лічби прізвищ і цитат – їх кількість зменшується в усіх випадках, як тільки людина припиняє постачати своє прізвище на ярмарку науко метричної пихи.

Чи має це відношення до оцінки науки? Безперечно, ні.

Другим за важливістю висновком є оцінка значення так званих науко-метричних або бібліометричних баз для оцінки науки. Йдеться про підрахунок прізвищ і цитат ще живих учених в певному порядку або за певним добором творців таких баз. Залишаючи поза увагою примхи і локальні уявлення їхніх творців, до спільних критеріїв слід віднести

Підрахунок живих.
Звуженість предмету підрахунку лише періодичними виданнями.
Зацікавленість у належності саме до бази, яка проводить лічбу.
Байдужість до змісту, створеного ученим.
Нехтування будь-яким іншими способами пред’явлення наукового результату, крім тексту, створеного самим ученим або групою учених, де одиницею обліку виступає тільки прізвище.

Третім важливим з нашої точки зору висновком є небезпека такої оцінки науки у трьох вимірах:

Обмеження оцінки найвужчими колами осіб, які мають посади або фінансову зацікавленість у науковій сфері, як правило, особами, що одержують зарплати в університетах або наукових установах, зацікавлених у їх збереженні та збільшенні.
Відсутність будь-якої можливості взяти участь в оцінці науки будь-якій іншій особі, не належній до числа осіб, що публікують свої тексти в періодичних виданнях, включених до науково метричних(бібліометричних) баз.
Виникнення хибної мотивації учених, які стають піддослідними англомовного сегменту наукової сфери, чия оцінка потрапляє в залежність від числа згадувань прізвища іншими так само узалежненими від кількісного критерію подібно до тенісиста, який так само цитує інших, як спортсмен відбиває ракеткою м’ячик : «Я тобі – ти мені».

Ми рекомендуємо найбільш складні шляхи оцінки науки, оскільки прості способи завжди спрощуватимуть і наше ставлення до складних речей, і перешкоджатимуть предмету оцінки уникати однобічності. Ми не заперечуємо право на існування будівлі, яка складається тільки з однієї стіни, але дуже сумніваємось в її корисності як житла людини, крім використання в якості декорації. Саме тому ми стверджуємо, що оцінка науки – це така сама наука, що може існувати лише у формі дослідження. Оцінка значення результатів науки для суспільства належить усім членам суспільства, а не лише членам обмеженого кола науковців, які здебільшого волею випадку опиняються в ролі тих, хто оцінює.

References

Werner, R .(2015) The focus on bibliometrics makes papers less useful. Nature.

Retrieved from URL:

bibliometrics-makes-papers-less-useful-1.16706

Hicks, D., Wouters,P., Waltman, L. Sarah de Rijcke& Ismael Rafols(2015).

Bibliometrics: The Leiden Manifesto for research metrics. Nature. Retrieved

from URL:https://www.nature.com/news/bibliometrics-the-leiden-manifesto-

for-research-metrics-1.17351

Lamanauskas, V. (2017) Reflections on education. Šiauliai: Scientia Socialis Press.

Swift, D. (1726) Travels into Several Remote Nations of the World, in Four Parts.

By Lemuel Gulliver, First a Surgeon, and then a Captain of several Ships)

Grandville(1856 ) Gulliver discovers Laputa, the flying island (illustration by J. J.