Archive for the ‘onderzoek’ Tag

Checking footnotes

Het is monnikenwerk en ik lust er wel pap van: datagebaseerd onderzoek naar het gebruik van informatiebronnen door onderzoekers. Deze keer gaat het om PhD-studenten van de University of Notre Dame. Drie jaar proefschriften is doorgespit (resultaat ruim 39.000 referenties) en vervolgens is gekeken naar de herkomst, disciplinaire verschillen en beschikbaarheid van de gebruikte literatuur. Dat laatste is minder interessant, maar die andere twee punten zijn dat wel.

De belangrijkste resultaten: 55% van de referenties betreft tijdschriftartikelen en 37% boeken. Maak je echter een uitsplitsing naar discipline, dan blijken de percentages bij geesteswetenschappen respectievelijk 23% en 73% te zijn en bij de bèta’s 78% en 14%. Geen verrassing, maar toch. De gemiddelde leeftijd van de referenties varieert van 11 jaar bij de bèta’s via 19 jaar bij de gamma’s tot 33 jaar bij de alfa`s. Historici spannen de kroon met een gemiddelde referentieleeftijd van liefst 43 jaar. Ook hier: niet echt iets nieuws onder de zon, maar meer een herbevestiging van eerder onderzoek. Dat je echter altijd met een zekere bias in dit soort onderzoek rekening moet houden blijkt uit de top-25 geciteerde items. Bij de bèta’s zijn dat gewoon Science, Nature en PNAS, maar bij de geesteswetenschappers betreft het hoofdzakelijk theologische titels. Gelet op de katholieke signatuur van de University of Notre Dame verbaast ook dat natuurlijk niet.

P.S. de pre-print van dit artikel is nu, in april al, beschikbaar. Verwachte officiële publicatiedatum in de gedrukte versie van College & Research Libraries is november 2011! Lang leve elektronisch publiceren en open access.

Weekoogst #29

Focus op data
Het beheer van onderzoeksdata wordt als een van de mogelijke, nieuwe taken van de universiteitsbibliotheek gezien. Data curation en data management staan volop in de belangstelling. SURF publiceerde deze week algemene richtlijnen voor het bewaren van onderzoeksdata, een korte checklist waar onderzoekers te rade kunnen gaan. De checklist maakt onderdeel uit van het SURFshare-programma en is tegelijkertijd met nog drie andere rapporten gepubliceerd. Een daarvan trok meteen mijn aandacht, data curation in de kunstgeschiedenis en mediastudies. Ik trof in de managementsamenvatting, vind ik althans, een wat curieuze passage aan: “Publicaties kunnen bijvoorbeeld worden verrijkt met databestanden, en in dat geval kan de wetenschappelijke tekst worden gezien als documentatie bij deze data.” Is dat niet een beetje de omgekeerde wereld?

Storm in glas water
Het was opeens hot news (inclusief de voorpagina van de NRC) afgelopen week: censuur door de gemeente Utrecht. Een masterscriptie zou op verzoek van de gemeente ontoegankelijk gemaakt zijn vanwege voor de gemeente onwelgevallige informatie. Niet alleen de gemeente Utrecht, maar ook de UB Utrecht, werd binnen de kortste keren aan de schandpaal genageld. Terwijl het uiteindelijk slechts bleek te gaan om een ten onrechte vrijgegeven versie waarin namen van personen en bedrijven niet waren geanonimiseerd. Dat verzuim is inmiddels goedgemaakt en op het interne communicatie-blog van de UB wordt teruggekeken hoe deze storm zo snel op kon steken. 

Must read
De waarheid moet gezegd worden en volgens Barbara Fister op de website van Library Journal levert dat verplichte leesvoer op: een nieuw onderzoek in het kader van het Project Information Literacy, een meerjarig onderzoeksproject van de University of Washington. In Truth Be Told wordt verslag gedaan van een onderzoek onder ruim 8.000 Amerikaanse studenten naar hun zoekstrategieën en de problemen die ze ervaren bij het doen van onderzoek. De onderzoekers kunnen daarbij voortbouwen op een soortgelijk onderzoek van een jaar geleden en dat levert opvallende resultaten op. Hieronder een tabel uit het onderzoek:

Ik denk dat we de trend bij Librarians liever de andere kant op zagen gaan. De post van Raymond Snijders deze week over disintermediation sluit hier goed bij aan.

eScholarship

Kijk, daar kan ik dan toch wel een beetje moedeloos van worden. Word je geattendeerd op een nieuw onderzoek naar de wensen en noden van wetenschappers op het gebied van wetenschappelijke communicatie (gebaseerd op uitvoerige interviews met 160 Amerikaanse wetenschappers uit zeven verschillende disciplines, netjes verdeeld over alfa, bèta en gamma), blijkt het onderzoeksrapport liefst 733 pagina’s te beslaan! Natuurlijk, er is een executive summary van 20 pagina’s maar daarin gaat toch weer veel van de detaillering en de nuance verloren. Ik denk dat ik daarom eerst maar eens één hoofdstuk over één discipline op m’n nachtkastje leg. En als ik daar heel enthousiast over word, dan volgen die andere hoofdstukken misschien vanzelf nog wel.

Maar natuurlijk kan ik het niet laten een paar citaten uit die executive summary te halen:

Our work has confirmed the important impact of each discipline’s nature, culture, and traditions on many scholarly communication habits in research universities; the peerreviewed journal article is the primary mode of scholarly dissemination in the sciences and the quantitative social sciences, while the more interpretive, historical, and qualitative disciplines rely heavily on the university press monograph with a varying mix of journal articles, critical editions, and other publications. These traditions, which rely heavily on various forms of peer review, may override the perceived “opportunities” afforded by new technologies, including those falling into the Web 2.0 category.

We found no evidence to suggest that “tech-savvy” young graduate students, postdoctoral scholars, or assistant professors are bucking traditional publishing practices. In fact, as arguably the most vulnerable populations in the scholarly community, one would expect them to hew to the norms of their chosen discipline, and they do. Established scholars seem to exercise significantly more freedom in the choice of publication outlet than their untenured colleagues, although in the sciences, high-impact publications remain important for garnering research grants throughout a career.

Scholars must balance concerns about prestige and impact factor with considerations of audience and the technical affordances of particular media when choosing a publication outlet. The inherent diversity in publication practices makes precise terminology absolutely imperative. Such precision includes being clear about what is meant by “open access” publishing (…) Although there is a universal embrace of the rapidly expanding body of digital “primary” sources and data, there is an equally strong aversion to a “glut” of unvetted secondary publications and ephemera. The degree to which peer review, despite its perceived shortcomings, is considered to be an important filter of academic quality, cannot be overstated.

we caution against assumptions that “millennials” will change the social landscape of scholarship by virtue of their facility with cell phones and social networking sites. There is ample evidence that, once initiated into the profession, newer scholars—be they graduate students, postdoctoral scholars, or assistant professors—adopt the behaviors, norms, and recommendations of their mentors in order to advance their careers.

In sum, our research suggests that enthusiasm for the development and adoption of technology should not be conflated with the hard reality of tenure and promotion requirements (including the needs and goals of final archival publication) in highly competitive and complex professional environments. Experiments in new genres of scholarship and dissemination are occurring in every field, but they are taking place within the context of relatively conservative value and reward systems that have the practice of peer review at their core. Perhaps, as a consequence, we found that young scholars can be particularly conservative in their research dissemination behavior, and that established scholars can afford to be the most innovative with regard to dissemination practices.

Although robust infrastructures are needed locally and beyond, the sheer diversity of scholars’ needs across the disciplines and the rapid evolution of the technologies themselves means that one-size-fits-all solutions will almost always fall short. As faculty continue to innovate and pursue new avenues in their research, both the technical and human infrastructure will have to evolve with the ever-shifting needs of scholars. This infrastructure will, by necessity, be built within the context of disciplinary conventions, reward systems, and the practice of peer review, all of which undergird the growth and evolution of superlative academic endeavors.

Oh ja, de titel van het rapport luidt: Assessing the Future Landscape of Scholarly Communication: An Exploration of Faculty Values and Needs in Seven Disciplines.

Workspaceization

Alhoewel het ‘zoutkaartje’ van de NS nu al bij mij heel hoog scoort als woord van het jaar 2010, heb ik inmiddels ook al een andere favoriet, nl. ‘workspaceization’. Ik kwam dat woord tegen in een artikel over het gebruik van Amazons Kindle in het wetenschappelijk bedrijf in de zin “some might consider the workspaceization of their entire lives a minus rather than a plus”, oftewel de vervagende grens tussen werk en privé die eigenlijk al lang niet meer bestaat. Een Amerikaanse antropoloog, Alex Golub, komt de eer toe de term geïntroduceerd te hebben.

Afgezien daarvan maakt Golub een aantal behartenswaardige opmerkingen over de huidige generatie e-readers vanuit het perspectief van de wetenschapper. Ja, het is handig plaats en tijd onafhankelijk toegang te hebben tot je bronnen, maar “at heart, the Kindle is designed to let you read mystery novels, not academic books”. Met name het van voor naar achteren door een boek heen springen, van de tekst naar het notenapparaat naar de bibliografie en weer terug naar een andere plek in de tekst, is in een e-reader (nog) lastig. Ja, het is handig je eigen bibliotheek op een handzaam apparaat te hebben, maar dat apparaat ondersteunt inmiddels wel markeren en het maken van aantekeningen maar nog lang niet het gamma aan “complex circling, numbering, bracketing, and so forth” dat papier toestaat en waardoor je eigen bibliotheek belangrijk aan waarde wint. En dan hebben we het nog niet eens over het eigendom op onze e-books. Wat gebeurt er met je aantekeningen als Amazon besluit een titel terug te trekken?

Desondanks is Golub optimistisch over de nabije toekomst: “It is too early for academics to shift much of their workload over to e-book format – although that day may come sooner than we expect.”

P.S. een goede vertaling van ‘workspaceization’? Verwerkplaatsisering? Google Translate komt er ook niet uit. 😉 Suggesties?

Garbage In, Garbage Out

Je kunt soms toch zo op het verkeerde been gezet worden. Via een van mijn rss-feeds werd ik geattendeerd op een nieuw artikel, ‘Information-Seeking Behavior in the Digital Age: A Multi-Disciplinary Study of Academic Researchers’ geschreven door Xuemei Ge. Geaccepteerd voor publicatie door College & Research Libraries, geplande publicatiedatum: september 2010 (sic). Het is het soort titel waardoor ik altijd meteen getriggered word, al is het maar om m’n eigen vooroordeel dát er inderdaad belangrijke discipline-gebonden verschillen zijn nog eens bevestigd te krijgen.

Dat doet Ge dan ook, maar al lezende raakte ik toch steeds meer teleurgesteld over het gebodene. Dat betreft in de eerste plaats de conclusies die een zeer hoog open deur-gehalte hebben. “All the participants surveyed utilize electronic resources for their research at least some of the time, and will continue to use them as a means of gathering information.” Nee toch? denk je dan. En dan die deelnemers aan het onderzoek zelf. Dat blijken dertig medewerkers te zijn van Tennessee State University, 23 sociale wetenschappers en 7 geesteswetenschappers (en uiteraard ontbreken de uitsplitsingen naar geslacht en functie niet). Die zijn op basis van een standaard vragenlijst van 13 open en gesloten vragen bevraagd over hun methodes van informatie zoeken en verwerken. En dan komt op pagina 11 van de preprint de volgende aap uit de mouw: de interviews hebben plaatsgevonden in de periode juni-december 2004! (u leest het goed: 2004). Alsof er zich in de tussentijd geen veranderingen in de wetenschappelijke informatievoorziening hebben voorgedaan.

Ge is zich dat uiteraard ook bewust en dus besteedt hij in de laatste drie alineas kort aandacht aan een aantal van die recente ontwikkelingen (repositories, Web 2.0, Google Books), zonder er zich echter echt rekenschap van te geven wat de relevantie ervan is voor zijn onderzoekje en zijn artikel. Verder dan de obligate opmerking dat “it would be of interest to conduct additional studies to investigate how researchers’ use of these rseources continue to adapt as they continue to conduct research in the fluid world of electronic information resources.” komt hij niet. Een slappe variant op wat er ook al twintig pagina’s eerder staat: “More studies are needed to verify the results reported in this study.”

Zou hoofdredacteur Joseph Branin zich dit nu ook niet afgevraagd hebben? Wat is de relevantie van dit artikel nu, laat staan wanneer het over een jaar officieel als artikel zal verschijnen? Ge zelf zal ongetwijfeld wijzen op zijn bijdrage aan de verdere ontwikkeling van het model voor informatie zoeken door sociale wetenschappers van David Ellis uit 1993. Dat is echter allemaal nogal ‘dun’. Maar goed, misschien is mijn ‘garbage in, garbage out’ ook niet helemaal terecht. Ik kon het echter niet nalaten het te gebruiken nadat ik het op pagina 27 tegenkwam.

Meestal? Neeeuuuuhhhhh!

Het kwam vanmiddag een paar keer in m’n mailbox voorbij: de aankondiging van de Surf Academy Autumn School Tools voor onderzoekers van 2 tot en met 4 november a.s. in Leiden. Prima initiatief; niets mis mee.

Maar blijkbaar loopt het nog niet storm en moeten er nog wat deelnemers geworven worden. Dat zal niet meevallen zo midden in het academisch jaar en op deze korte termijn, zelfs niet voor bibliotheekmedewerkers (een van de doelgroepen).

Waar ik vanmiddag over viel was een van de argumenten waarmee het belang van de herfstschool wordt benadrukt: “Onderzoekers werken meestal samen in nationale en internationale teams. Deze samenwerking kan met collaboratories worden ondersteund.” Het gaat me om dat ene woordje meestal.

Nu weet ik dat in de bèta- en (bio-)medische wetenschappen dat samenwerken bijna tot norm verheven is, dat subsidie-verstrekkende instellingen waaronder NWO onderzoekers graag in dat ‘samenwerk’-keurslijf willen dwingen en dat ook universitaire bestuurders daar een handje van hebben. Maar is het ook de realiteit? Mijn ervaring is juist dat onderzoekers in andere disciplines betrekkelijk solitair, of hoogstens in losse samenwerkingsverbanden, onderzoek verrichten en daarover publiceren.

Hoe weet ik dat zo zeker? Nou, kijk eens goed om je heen op een brede of klassieke universiteit waar alle disciplines vertegenwoordigd zijn. Geen wetenschappelijke onderbouwing, inderdaad, maar doe dan maar een greep uit de literatuur. Één voorbeeld slechts uit een recent rapport, dat overigens om veel meer redenen het lezen waard is:  Report on User Needs Concerning Digital Monographs in Humanities and Social Sciences, geschreven in het kader van het OAPEN-project en nog niet vrijgegeven voor publicatie (dat gebeurt waarschijnlijk eind deze maand).

Uit de Executive Summary: “The literature study shows HSS (= Humanities and Social Sciences) scholars still fit into their ‘traditional’ field profile, which is characterized by an individual approach, a preference for the monograph format (still deemed very important when it comes to their careers) and a focus on primary and secondary sources from a broad age spectrum.” (mijn onderstreping; ook de twee volgende observaties zijn natuurlijk niet zonder belang).

I rest my case.

Zielig

Wij geesteswetenschappers, wij zijn zielig. Onze tijdschriften worden niet (of nauwelijks) geïndexeerd door Web of Science of Scopus. En dus moeten wij door het leven zonder impact factoren of h-index. Dat valt niet mee in een wereld waarin ‘meten is weten’ en ranglijsten bijna universeel tot dé norm verheven zijn. Want wat als er nu eens niet gemeten kan worden, als er geen ranglijsten samen te stellen zijn? Hebben we dan nog wel met serieuze wetenschapsbeoefening te maken?

Uiteraard wel, maar dat neemt niet weg dat ook in de geesteswetenschappen steeds intensiever gezocht wordt naar meetinstrumenten met het oog op de kwalitatieve beoordeling van onderzoek, onderzoekers en onderzoeksgroepen (want ook die heb je steeds meer in de geesteswetenschappen). En dus is er in de afgelopen jaren onder auspiciën van de European Science Foundation gewerkt aan de totstandkoming van een European Reference Index for the Humanities (ERIH). Eerste stap in dat proces vormde de opstelling van 15 tijdschriftenlijsten, één voor elke subdiscipline van de geesteswetenschappen, waarbij de tijdschriften werden opgedeeld in categorie A (“high-ranking international publications with a very strong reputation among researchers of the field in different countries, regularly cited all over the world”), categorie B (“standard international publications with a good reputation among researchers of the field in different countries”) en categorie C (“research journals with an important local / regional significance in Europe, occasionally cited outside the publishing country though their main target group is the domestic academic community”).

Dat opstellen van die lijsten gebeurt niet zonder protesten. Eerder deze maand tekenden de redacties van 45 tijdschriften op het gebied van de wetenschapsgeschiedenis, en zeker niet de minste, hun bezwaren aan tegen deze lijstjesmakerij en de achterliggende gedachten. Ze formuleren hun bezwaren aldus:

“No indication is given of the means through which the list was compiled; nor how it might be maintained in the future. The ERIH depends on a fundamental misunderstanding of conduct and publication of research in our field, and in the humanities in general. Journals’ quality cannot be separated from their contents and their review processes. Great research may be published anywhere and in any language. Truly ground-breaking work may be more likely to appear from marginal, dissident or unexpected sources, rather than from a well-established and entrenched mainstream. Our journals are various, heterogeneous and distinct. Some are aimed at a broad, general and international readership, others are more specialized in their content and implied audience. Their scope and readership say nothing about the quality of their intellectual content. The ERIH, on the other hand, confuses internationality with quality in a way that is particularly prejudicial to specialist and non-English language journals.”  (Humanist Discussion Group, Vol. 22, No. 279; zie ook het artikel in Times Higher Education)

Koudwatervrees? Of is hier toch meer aan de hand? De ESF heeft in ieder geval in de afgelopen jaren wel geleerd van eerdere protestacties. Op de pagina waar de voorlopige lijsten per subdiscipline staan, dekt men zich bij voorbaat al aldus in:

“As they stand, the lists are not a bibliometric tool for the evaluation of individual researchers. The distinction between the categories A, B and C is to be understood as being not primarily qualitative and the categorisation is determined by issues such as scope and audience as explained in the ERIH Guidelines. Thus, such categorizations of journals do not prejudge the scientific quality of individual articles that appear in those journals.
The ERIH Steering Committee and the Expert Panels advise against using the lists as a basis for assessments of individual candidates, be it for positions, promotions, research grant awards etc.”

Scopus vs. WoS (5)

De primeur heb ik, uiteraard, aan ons UBAweb moeten laten; het informeren van onze gebruikersgroepen gaat tenslotte voor. Vervolgens moesten ook onze eigen bibliotheekmedewerkers geïnformeerd worden, dus dat was stap twee. En nu kan ik dan pas op m’n eigen blog de belofte over de afweging tussen Scopus en Web of Science inlossen. Heeft dat nu nog zin? Niet wat betreft het besluit zelf (nl. de licentie op Scopus zal door de UvA in 2009 niet verlengd worden), want dat is duidelijk genoeg. En wat de afwegingen betreft staat er ook het nodige al op de site. Maar misschien is er aantal zaken die nog wat extra toelichting verdienen.

Zoals de naam die Web of Science onder wetenschappers en bestuurders in de afgelopen decennia heeft opgebouwd met haar impact factoren en Journal Citation Reports. Die naam is zeker niet onomstreden, maar voordat een concurrerend product, zoals Scopus, in staat is WoS hierin voorbij te streven zijn we toch nog wel even verder. De diepere dekking die WoS biedt op het gebied van citatiegegevens (ook vòòr 1996) en, dankzij de Arts & Humanities Citation Index, de toch ook wat bredere dekking van alle wetenschapsgebieden spreken hier in het voordeel van WoS. Elsevier weet dus wat er zou moeten gebeuren en naar verluidt wordt daar ook hard aan gewerkt.

Het positioneren van een bestand als Scopus in het totale digitale bibliotheekaanbod is voor een instelling als de UvA, een brede, algemene universiteit, ook niet zo eenvoudig. Scopus biedt niet voor elk wat wils en kan dan ook zeker niet als primaire zoekingang ingezet worden. Scopus is sinds afgelopen januari samen met PiCarta, Academic Search Premier en Web of Science in het standaardaanbod van gelijktijdig doorzoekbare bestanden in de Amsterdamse Digitale Bibliotheek (MetaLib) aangeboden. Dat heeft enerzijds tot hoge raadpleegcijfers geleid, terwijl Scopus-zoekresultaten vervolgens in de schermpresentatie ondergesneeuwd raken onder die uit de andere bestanden. Ook daar zou verbetering in aangebracht moeten worden.

Nemen we nu straks met spijt afscheid van Scopus? Een beetje wel natuurlijk. Het is een mooi bestand met een prettige interface. En we moeten niet vergeten dat zonder de concurrentie van Scopus ISI in de afgelopen jaren waarschijnlijk lang niet zoveel verbeteringen in Web of Science (Knowledge) zou hebben geïmplementeerd als ze nu gedaan hebben. Het is dan ook zeker geen beslissing voor nu en altijd. We blijven de verdere ontwikkeling van Scopus aandachtig volgen, zullen vast in een van de komende jaren weer eens een nieuwe afweging maken, en zijn dan ook zeer benieuwd hoe hier door andere universiteitsbibliotheken in Nederland mee wordt omgesprongen. Reacties van harte welkom!

NWO en GW-onderzoek

Uit de elektronische nieuwsbrief van het Gebiedsbestuur Geesteswetenschappen van NWO gedateerd 27 juni:

Een vraag die NWO-Geesteswetenschappen regelmatig bereikt, is in hoeverre NWO in de beoordeling van onderzoeksvoorstellen gebruik maakt van de European Reference Index for the Humanities (ERIH), het project van de European Science Foundation waarin referentielijsten worden opgesteld van tijdschriften in 15 disciplines in de humaniora. Het standpunt van het Gebiedsbestuur Geesteswetenschappen is: zolang de referentie-index nog in ontwikkeling is en niet het draagvlak heeft binnen de disciplines waarop de lijsten betrekking hebben, wordt de index door NWO niet in het beoordelingsproces gebruikt en wanneer de lijsten gereed zijn, kunnen ze hoogstens een hulpmiddel zijn bij het bepalen van de kwaliteit, en niet in de plaats komen van beoordeling van onderzoeksaanvragen door vakgenoten.
Het Gebiedsbestuur vindt het van belang dat de lijsten verder ontwikkeld worden en steunt de ESF daarin. Informatie over de stand van zaken rond de index, de achtergronden daarvan, de samenstelling van de panels die de lijsten opstellen, etc. is te vinden op de website van
ERIH.

Niet onbelangrijke informatie van het Gebiedsbestuur. Jammer dat die informatie op de eigen website niet terug te vinden is; er is nl. geen archief van deze elektronische nieuwsbrief.

DiRT

Hoe vind je snel een overzicht van beschikbare digitale hulpmiddelen voor zulke diverse activiteiten als dataverzamelen, beeldbewerking, samenwerken, informatie delen; kortom allerlei werkzaamheden die onderdeel vormen van onderzoek doen in de 21e eeuw?

Speciaal voor geesteswetenschappers (en een beetje voor hun gamma-collega’s) heeft Lisa Spiro nu DiRT opgezet, een wiki met Digital Research Tools. Het is niet alleen de bedoeling een handig overzicht te bieden, maar ook besprekingen op te nemen van de verschillende hulpmiddelen, zoals deze over WordPress. Het is overigens niet het eerste voorbeeld van een dergelijke site. Ook ToolCenter van George Mason’s University Center for History and New Media brengt dergelijke bronnen bijelkaar, maar wordt blijkbaar niet meer heel actief bijgehouden.

P.S. met Nederland-Italië zal ik er volledig naast (wie niet?). Mijn voorspelling voor Nederland-Frankrijk vanavond is ruststand 1-1 en eindstand 1-3. We hebben deze voorspellingen overigens voor de aanvang van het toernooi moeten doen; ze zijn niet beïnvloed door het vertoonde spel in de eerste reeks wedstrijden. Maar ook mét die wetenschap verwacht ik toch een overwinning van Les Bleus…