Archive for the ‘beoordeling’ Tag

De ene citatie is de andere niet

Via de blog van Paul Wouters, van het Leidse CWTS, werd ik geattendeerd op een Zweeds proefschrift over citatiegedrag in de geesteswetenschappen, getiteld Following the Footnotes. Belangrijk zijn niet zozeer de nieuwe inzichten van Björn Hammarfelt, als wel de empirische onderbouwing die hij levert voor ideeën en inzichten over het van (natuur-) wetenschappers afwijkende citeergedrag van geesteswetenschappers en de noodzaak daar bij onderzoeksevaluaties terdege rekening mee te houden. Paul Wouters vat dat als volgt samen:

Hammarfelt’s thesis confirms that the humanities can be characterized as divergent (rather than convergent), as very wide ranging and interdisciplinary (proven by the reference analysis performed by Hammarfelt), as rural in the sense of sparsely populated villages of researchers focusing on a particular topic (rather than busy laboratories that are more like bustling cities), and as fragmented (scholars are quite independent of each other which gives them a lot of freedom, but also makes it more difficult to speak with a common voice regarding resources). The interdisciplinary nature of literary studies seems to be rising, and Hammarfelt even detects a turn to the social, because he sees more connections between the humanities and specific fields in the social sciences such as gender studies, and post-colonial studies. So there might be a social turn after the linguistic turn some decades ago. Overall, the thesis concludes that three features are most important to understand referencing and citations in the humanities: the strong independence of humanities scholars; the rural organization; and the diverse audiences of the fields. The latter goes together with a rather low codification of the literature because it needs to be understood by a wide range of people.

Hammerfelt concludeert zelf aan het eind van zijn proefschrift:

In het huidige universitaire klimaat is daar echter betrekkelijk weinig gehoor voor. Ten onrechte dus.

Advertenties

Weekendvitaminen #30

Op het nachtkastje

  • One Culture. Computationally Intensive Research in the Humanities and Social Sciences. Report on the Experiences of First Respondents to the Digging Into Data Challenge (rapport van CLIR)
  • Bo-Christer Björk, The Hybrid Model for Open Access Publication of Scholarly Articles: A Failed Experiment? In: JASIST (2012).
  • Heather Hessel & Janet Fransen, Resource Discovery: Comparative Results on Two Catalog Interfaces. In: Information Technology and Libraries (2012). Data in artikel dateren uit 2009 (vòòr de opkomst van de discovery tools), maar de observaties over verschillen in het zoeken tussen gebruikersgroepen, inclusief bibliothecarissen, snijden nog steeds hout.
  • Mary Francis, Peer Reviewers of Academic Journals. Who is Responisble for our Professional Literature. In: College & Research Libraries(2012). Twijfelgeval, want mijn wenkbrauwen gingen wel omhoog toen ik las: “From the editor surveys there were six responses for a 54% response rate.”

Beeld van de week

Data gepresenteerd door het Canadese onderzoeksinstituut Higher Education Strategy Associates op basis van een database met gegevens over 47.000 personen. Gelukkig voegen ze er de volgende kanttekeningen aan toe:

There are three reasons why a scholar might have an H-index of zero. The first is age; younger scholars are less likely to have published, and their publications have had less time in which to be cited. The second is prevailing disciplinary norms. There are some disciplines – English/Literature would be a good example – where scholarly communication simply doesn’t involve a lot of citations of other scholars’ work. The third is simply that a particular scholar might not be publishing anything of particular importance, or indeed publishing anything at all.

Ik vond op hun website ook meteen een recent rapport over de Canadese wetenschappelijke productie, Making Research Count: Analyzing Canadian Academic Publishing Cultures, waarin op basis van de h-index met naam en toenaam de beste Canadese wetenschappers per discipline en de best scorende Canadese universiteit worden berekend.

Weekendvitaminen #10

Op het nachtkastje

  • OCLC Research publiceerde deze week een tweede rapport over het gebruik van sociale media door de LAM-community (Libraries, Archives, Museums). Het betreft de resultaten van een survey uit november 2009 (!) waarop uiteindelijk door 42 instellingen gereageerd werd. Ik zet m’n vraagtekens bij de actualiteit van de resultaten. Juist bij sociale media gaan de ontwikkelingen zo snel dat twee jaar eigenlijk wel een eeuwigheid is. Twee jaar geleden? Toen twitterde ik nog niet eens… 😉 
  • We kenden het vijf sterren-systeem al van Tim Berners-Lee voor het beoordelen van de bruikbaarheid van data als linked open data: hoe meer sterren, des te beter is de data geschikt voor hergebruik en linking. David Shotton stelt nu een soortgelijk vijf sterren-systeem voor voor de beoordeling van elektronische artikelen: hoe meer sterren, des te meer voldoet het artikel aan het ideaalbeeld van verrijkte publicatie en informatieuitwisseling (peer reviewed, open access, verrijkte content, beschikbare datasets en machine-leesbare metadata). Dat klinkt betrekkelijk eenvoudig, maar Sutton heeft het toch weer iets gecompliceerder gemaakt door ieder criterium vijf niveau’s te geven, niveau’s die corresponderen met grotere en kleinere sterren. Da’s dan weer jammer… David Haden vindt vijf overigens te weinig. Hij wil een zesde ster voor Googlyness.

Beeld van de week

Het beeld van de week is uiteraard Wikipedia-op-zwart. Uiteindelijk gebeurde dat met veel meer sites, maar de actie van Wikipedia zette toch eigenlijk alles in gang. Het op-zwart-zetten leverde overigens op verschillende plekken nog aardig wat discussie op, die soms ook in de openbaarheid werd ‘uitgevochten’. Een voorbeeld daarvan is de Digital Public Library of America, waar voor- en tegenstanders met elkaar in debat gingen op de discussielijst met als uiteindelijk resultaat een virtuele meerderheidsbeslissing om inderdaad ‘op zwart’ te gaan.

Heeft het effect gehad? Deze infographic suggereert dat wel:

Deze actie richtte zich met name op de wetsvoorstellen SOPA en PIPA, maar er is nog zo’n controversieel wetsontwerp in behandeling in het Congres: de Research Works Act (RWA). Deze wet zou het mandateren van open access beschikbaarstelling van resultaten van met publieke gelden gefinancierd onderzoek weer onmogelijk moeten maken. Grote uitgeverijen, zoals Elsevier, steunen deze wet van harte en in een bijdrage aan de LIBLICENSE-discussielijst kwam ik het waarom van die steun uit de mond van een Elsevier-directeur in onomwonden bewoordingen tegen:

We have specific concerns about the NIH mandate which at best is overly rigid/onerous, and at worst actually damaging. Early indications show the NIH Public Access Policy has had a negative impact on Elsevier and other publishers.  We have experienced a modest reduction of usage (by subscribers) and transactional sales (for non subscribers) for articles on our publishing platform after they are placed on PubMed Central even with links to the published journal article.  The NIH policy has only been in effect a few years and so these early warning signs are important:  they indicate usage and revenue loss could increase over time as the content duplicated in PMC increases.   This early evidence also suggests that PMC is providing access to users already served by the publishing system – essentially using tax payer funds to duplicate publisher efforts, and depriving publishers of revenue for their investments.  The current NIH public access policy therefore seems neither efficient nor sustainable.

Het gaat dus om revenue loss; ’t is maar dat u het weet.

Weekoogst #31

Als je niet kunt kiezen…
Wat zal ik kopen? Een netbook, een laptop of toch maar een tablet? Niet langer twijfelen: koop een tabtop! (of laplet?) Ik zou ‘m in ieder geval graag een keertje in m’n handen willen houden.

Kassa!
Ik volg, van enige afstand en in alle bescheidenheid, de ontwikkelingen in het Amerikaanse hoger onderwijs en de Amerikaanse bibliotheekwereld. Een feed op The Chronicle (of Higher Education) is daarbij essentieel. Deze week werd ik via die feed geattendeerd op een nieuwe publicatie van de Chronicle, Information Technology in Higher Education: 2010 Survey of Chief Information Officers. Ha, dacht ik meteen, kijken. Dat viel dus tegen. Deze digitale  publicatie is niet online in te zien, of je moet bereid zijn de portemonnee te trekken: de standaard prijs is slechts $ 3.500! Ben je verbonden aan een hoger onderwijsinstelling dan krijg je een korting van $ 1.000. Koopje toch!

Open deuren
Ik meld hier wel vaker iets in kritische zin over de publicaties van twee LIS-coryfeeën, Carol Tenopir en Donald King. They did it again, deze week. In het rapport Research Publication Characteristics and Their Relative Values: A Report for the Publishing Research Consortium hebben ze onderzocht waardoor wetenschappers zich laten leiden bij hun keuze welke artikelen wel en welke artikelen niet te lezen uit het overvloedige aanbod. De voornaamste conclusie:  een wetenschappers kiest allereerst voor een inhoudelijk relevant artikel “Written by an author I recognize as a top scholar, in a top-tier peer-reviewed journal, and available online at no [personal] cost”. Het minste kans maakt een artikel ‘Written by an author I recognize as a weaker scholar, in a journal that is not peer-reviewed, and available online at some cost.”

Misschien oordeel ik te hard en te snel, maar daar had je volgens mij geen wereldwijde survey onder 445 respondenten voor hoeven te houden. Hetgeen overigens niet weg neemt dat er ook best nuttige informatie in het rapport staat, zoals het gegeven dat wetenschappers online beschikbaarheid belangrijker vinden in hun overwegingen een artikel te lezen dan de tijdschrifttitel of de uitgever.

Aanmaakhout
Nog wat boeken over die uit de collectie verwijderd moeten worden? Er is nu een Amerikaans bedrijf dat er graag ‘aanmaakboekjes’ van maakt. Handig met de Kerst in aantocht!

                            

De firma “LibriLoop, at your service.

Eerste cijfers voor 2009 uitgedeeld

Hoe onze UvA-docenten en onderzoekers over de bibliotheekdiensten denken, blijft nog even een vraag, maar voor de studenten is het antwoord met de gelijktijdige publicatie van de bachelor– en mastermonitor voor 2008 al weer een beetje bekend. Hun oordeel is overwegend positief over de UvA-bibliotheken, met uiteraard de bekende uitschieters naar boven en naar beneden. De gemiddelde cijfers van een 6,7 (bij de bachelors) en een 6,8 (bij de masters) liggen echter beduidend onder de 8 die het College van Bestuur voor de komende jaren als doelstelling voor de ondersteunende diensten van de universiteit heeft geformuleerd, dus er is duidelijk nog werk aan de winkel.

Ook de studenten geesteswetenschappen geven de bibliotheek gemiddeld een 6,8. Maar uiteraard zijn er in de cijferbrij van Bureau Bestuursinformatie de nodige opvallende afwijkingen van het gemiddelde te noteren. Ik noem er een paar. Gemiddeld is 68% de UvA-studenten (zeer) tevreden over de bibliotheek en slechts 5% (zeer) ontevreden. Bij geesteswetenschappen slaan de cijfers het verst uit, zowel in positieve als negatieve zin. De bachelor-studenten van het onderwijsinstituut Geschiedenis, Archeologie en Regiostudies zijn nl. voor 84% (zeer) tevreden, met afstand het hoogste percentage voor de UvA. Daartegenover staat echter ook dat de bachelor-studenten van het onderwijsinstituut Kunst-, Religie- en Cultuurwetenschappen maar liefst voor 21% (zeer) ontevreden zijn over hun bibliotheek, ook een percentage dat nergens elders binnen de UvA genoteerd wordt. Dat laatste cijfer is des te opvallender omdat hun master-collega’s juist weer voor liefst 82% (zeer) tevreden zijn. Dat roept om nader onderzoek, zoals meer cijfers vragen oproepen. Zijn de master-studenten Wijsbegeerte bijvoorbeeld relatief (zeer) ontevreden over hun bibliotheek vanwege de recente verhuizing naar de UB? Niet alleen voor de geesteswetenschappen reden genoeg om hier dieper in te duiken. In afwachting van die andere cijfers…

Zielig

Wij geesteswetenschappers, wij zijn zielig. Onze tijdschriften worden niet (of nauwelijks) geïndexeerd door Web of Science of Scopus. En dus moeten wij door het leven zonder impact factoren of h-index. Dat valt niet mee in een wereld waarin ‘meten is weten’ en ranglijsten bijna universeel tot dé norm verheven zijn. Want wat als er nu eens niet gemeten kan worden, als er geen ranglijsten samen te stellen zijn? Hebben we dan nog wel met serieuze wetenschapsbeoefening te maken?

Uiteraard wel, maar dat neemt niet weg dat ook in de geesteswetenschappen steeds intensiever gezocht wordt naar meetinstrumenten met het oog op de kwalitatieve beoordeling van onderzoek, onderzoekers en onderzoeksgroepen (want ook die heb je steeds meer in de geesteswetenschappen). En dus is er in de afgelopen jaren onder auspiciën van de European Science Foundation gewerkt aan de totstandkoming van een European Reference Index for the Humanities (ERIH). Eerste stap in dat proces vormde de opstelling van 15 tijdschriftenlijsten, één voor elke subdiscipline van de geesteswetenschappen, waarbij de tijdschriften werden opgedeeld in categorie A (“high-ranking international publications with a very strong reputation among researchers of the field in different countries, regularly cited all over the world”), categorie B (“standard international publications with a good reputation among researchers of the field in different countries”) en categorie C (“research journals with an important local / regional significance in Europe, occasionally cited outside the publishing country though their main target group is the domestic academic community”).

Dat opstellen van die lijsten gebeurt niet zonder protesten. Eerder deze maand tekenden de redacties van 45 tijdschriften op het gebied van de wetenschapsgeschiedenis, en zeker niet de minste, hun bezwaren aan tegen deze lijstjesmakerij en de achterliggende gedachten. Ze formuleren hun bezwaren aldus:

“No indication is given of the means through which the list was compiled; nor how it might be maintained in the future. The ERIH depends on a fundamental misunderstanding of conduct and publication of research in our field, and in the humanities in general. Journals’ quality cannot be separated from their contents and their review processes. Great research may be published anywhere and in any language. Truly ground-breaking work may be more likely to appear from marginal, dissident or unexpected sources, rather than from a well-established and entrenched mainstream. Our journals are various, heterogeneous and distinct. Some are aimed at a broad, general and international readership, others are more specialized in their content and implied audience. Their scope and readership say nothing about the quality of their intellectual content. The ERIH, on the other hand, confuses internationality with quality in a way that is particularly prejudicial to specialist and non-English language journals.”  (Humanist Discussion Group, Vol. 22, No. 279; zie ook het artikel in Times Higher Education)

Koudwatervrees? Of is hier toch meer aan de hand? De ESF heeft in ieder geval in de afgelopen jaren wel geleerd van eerdere protestacties. Op de pagina waar de voorlopige lijsten per subdiscipline staan, dekt men zich bij voorbaat al aldus in:

“As they stand, the lists are not a bibliometric tool for the evaluation of individual researchers. The distinction between the categories A, B and C is to be understood as being not primarily qualitative and the categorisation is determined by issues such as scope and audience as explained in the ERIH Guidelines. Thus, such categorizations of journals do not prejudge the scientific quality of individual articles that appear in those journals.
The ERIH Steering Committee and the Expert Panels advise against using the lists as a basis for assessments of individual candidates, be it for positions, promotions, research grant awards etc.”

Ithaka

Wowter was me vorige week al voor, maar dat beschouw ik verder niet als een schande. En dan heb ik het over Ithaka’s 2006 Studies of Key Stakeholders in the Digital Transformation in Higher Education. OCLC verblijdt ons al een aantal jaren met studies naar gebruikers van de bibliotheken, waarbij vooral de jongere generaties (de googlende en plagiërende screenagers) in het middelpunt van de belangstelling staan. Ithaka, een organisatie die gelieerd is aan JSTOR en ARTstor, heeft nu voor een derde keer onderzoek gedaan naar de oordelen van wetenschappelijk medewerkers over de bibliotheek en de wetenschappelijke informatievoorziening. Eerder is dat in 2000 en 2003 gebeurd en nu wordt er uitvoerig over de resultaten van het onderzoek uit 2006 gerapporteerd (terwijl men ondertussen ook al weer voor 2009 bezig is). Omdat het de derde keer is, is het nu ook beter mogelijk om trends te onderkennen in het (verklaarde) gebruik van bibliotheekvoorzieningen en in de verwachtingen t.a.v. de toekomst. Er is overigens al eerder door de onderzoekers in bescheidener vorm over de resultaten gerapporteerd, in juli 2007 in Educause Review, maar er wordt nu dieper op de data ingegaan. En voor de liefhebber worden die data ook beschikbaar gesteld voor eigen onderzoek!

Wowter heeft de belangrijkste algemene conclusies van het rapport al samengevat, dus dat ga ik niet nog een keer herhalen. Maar waar hij zich concentreert op dat algemene niveau, werd ik juist geraakt door de verschillen per discipline die in dit rapport weer zo nadrukkelijk tot uitdrukking komen. Dat de geesteswetenschappers niet voorop lopen bij de digitalisering en de overstap naar e-only weten we inmiddels al. Maar in dit rapport komen andere, belangrijkere verschillen naar boven. Zo documenteren de onderzoekers de grote sprong voorwaarts die de economen hebben gemaakt vanuit een achterstandsituatie in 2000 naar een plek in de frontlinie van de digitale gamma’s nu. Is voor bijna 40% van de geesteswetenschappers de bibliotheekcatalogus nog steeds het startpunt voor hun onderzoek (en niet gespecialiseerde databases of Google). En geeft 65% van de geesteswetenschappers aan nieuwe afleveringen van tijdschriften het liefst in papieren vorm te raadplegen, maar geldt dat toch ook voor 40% van de bèta’s.

De voor mij een na belangrijkste passage uit het rapport, echt uit het hart gegrepen, is de volgende: ‘The data show that different disciplines have dramatically different needs, interests, and priorities. An understanding of these differences must guide campus information strategy; a “one size fits all” solution will not, in fact, fit all.’

En de belangrijkste dan? Dat is volgens mij deze:

‘An important lesson is that the library is in many ways falling off the radar screens of faculty. Although scholars report general respect for libraries and librarians, the library is increasingly disintermediated from their actual research process. Many researchers circumvent the library in doing their research, preferring to access resources directly. Researchers no longer use the library as a gateway to information, and no longer feel a significant dependence on the library in their research process. Although the library does play essential roles in this process, activities like paying for the resources used are largely invisible to faculty. In short, although librarians may still be providing significant value to their constituency, the value of their brand is decreasing.’

In de VS is onder vakgenoten de discussie over dit rapport al losgebarsten (zie o.m. ACRLog en LibraryJournal), en terecht want de kwesties die in dit rapport worden aangesneden raken alle universiteitsbibliotheken. Verplichte leesvoer dus, ook voor ons.

NWO en GW-onderzoek

Uit de elektronische nieuwsbrief van het Gebiedsbestuur Geesteswetenschappen van NWO gedateerd 27 juni:

Een vraag die NWO-Geesteswetenschappen regelmatig bereikt, is in hoeverre NWO in de beoordeling van onderzoeksvoorstellen gebruik maakt van de European Reference Index for the Humanities (ERIH), het project van de European Science Foundation waarin referentielijsten worden opgesteld van tijdschriften in 15 disciplines in de humaniora. Het standpunt van het Gebiedsbestuur Geesteswetenschappen is: zolang de referentie-index nog in ontwikkeling is en niet het draagvlak heeft binnen de disciplines waarop de lijsten betrekking hebben, wordt de index door NWO niet in het beoordelingsproces gebruikt en wanneer de lijsten gereed zijn, kunnen ze hoogstens een hulpmiddel zijn bij het bepalen van de kwaliteit, en niet in de plaats komen van beoordeling van onderzoeksaanvragen door vakgenoten.
Het Gebiedsbestuur vindt het van belang dat de lijsten verder ontwikkeld worden en steunt de ESF daarin. Informatie over de stand van zaken rond de index, de achtergronden daarvan, de samenstelling van de panels die de lijsten opstellen, etc. is te vinden op de website van
ERIH.

Niet onbelangrijke informatie van het Gebiedsbestuur. Jammer dat die informatie op de eigen website niet terug te vinden is; er is nl. geen archief van deze elektronische nieuwsbrief.