Discovery langs de meetlat

Tijd voor een ontboezeming. Ik voel me altijd ‘een beetje dom’ als ik weer zo’n bijdrage van een cluster Amerikaanse collega’s lees waarin statistisch al dan niet significante verschillen voor het voetlicht worden gebracht. Spearman’s rho, ANOVA result en Tukey post-hoc analysis result vliegen je om de oren, ik lees het en blijf soms in verbijstering achter. Want wat moet je nu precies met een observatie als:

This result was significant at p<.05 using a using a one-way ANOVA for all questions combined and questions 1-3, but not significant on question 4. The full ANOVA results were as follows: All questions combined: F(1,84)=15.831, p=.000, eta squared =.159; Question 1: F(1,84)=7.933, p=.006, eta squared=.086; Question 2: F(1,83)=7.611, p=.007, eta squared=.084; Question 3: F(1,84)=5.235, p=.025, eta squared=.059; Question 4: F(1,84)=-.420, p=.519, eta squared=.005

Dan kan ik slechts diep buigen en toegeven dat mijn twee modules statistiek gedurende mijn propedeuse politicologie aan de Vrije Universiteit inmiddels wel heel ver weg zijn gezakt.

Maar dan. Als er dan ook een goede ouderwetse tabel wordt opgevoerd, leef ik weer helemaal op. Dáár kan ik wat mee.

Het beantwoorden van dezelfde vragen door verschillende studenten die gebruik maakten van verschillende discovery tools (respectievelijk Google Scholar, EBSCO Discovery Service, Summon, het actuele bibliotheekaanbod van catalogi en databases, of een eigen keuze) levert verrassende en minder verrassende resultaten op.

Minder verrassend:

  • gebruikers van de bibliotheekcatalogus komen sneller bij boeken uit; in het miljoenen (inmiddels misschien miljarden) aanbod van EDS en Summon sneeuwen die al snel onder. Zelfs Google Scholar scoort beter, dankzij de integratie met Google Books.
  • gebruikers van Google Scholar lopen nog wel eens tegen een pay wall op; die artikelen filtert Google er niet uit
  • laat je gebruikers zelf de keuze van een tool dan moet je niet vreemd opkijken dat de ‘gewone’ Google dan veel gebruikt wordt, hetgeen tot een significant (!) hoger gebruik van ‘ordinaire’ websites leidt

Verrassender:

  • EDS scoort het hoogst wat betreft de keuze voor wetenschappelijke artikelen; en
  • Summon leidt gebruikers blijkbaar relatief vaak naar krantenartikelen.

De onderzoekers verklaren dit laatste gegeven uit het feit dat in de gebruikte EDS-installatie de LexisNexis krantendatabase niet geactiveerd was, terwijl dat in de Summon-installatie wel was gebeurd. Bovendien, zo zeggen althans de onderzoekers, bevoordeelt Summon in haar relevantieranking krantenartikelen sterker dan EDS waardoor “students inadvertently to less appropriate resources” worden geleid.

Hetgeen vervolgens tot de niet zo opzienbarende, maar wel heel relevante conclusie leidt (ook ondersteund door onze eigen recente implementatie van Primo):

Students’ practices of primarily utilizing the basic search functionality of any search system, as well as their tendency to rely only on the first page of search results and to trust the relevancy rankings of a given search engine makes the default settings of these search systems critically important.

Daar neem ik die statistische rimram dan maar graag voor op de koop toe.

P.S. de auteurs claimen in hun inleiding geen andere studie te kennen waarin verschillende discovery tools op deze wijze met elkaar vergeleken worden. Tegen de tijd dat hun artikel (nu beschikbaar als geaccepteerd artikel) in juli 2013 (!!!) écht wordt gepubliceerd in College and Research Libraries zal die claim ongetwijfeld aangepast moeten worden. Zou CRL dus niet gewoon met deze onzin moeten stoppen? Geaccepteerd = gepubliceerd.

3 comments so far

  1. rvandieen on

    De vergeljking gaat niet op. 2 in de aard verschillende systemen (index zoeken vs index + federatief zoeken) en 2 verschillende bibliotheekcollecties. De vergelijking was al beter geweest wanneer bij één bibliotheek meerdere oplossingen waren geimplementeerd, zodat de vergelijking over eenzelfde collectie was verlopen.

    • zeemanspraat on

      Vergelijken mág natuurlijk wel. Het gaat er om hoe je tot het beste eindresultaat komt; hoe het systeem het doet is daarbij minder relevant (behalve als mogelijke verklaringsgrond voor eventuele verschillen). En ja, een echte battle-of-the-discovery-tools zou het mooiste zijn. Kunnen jullie als leveranciers dat niet eens organiseren? Iedereen is er toch van overtuigd zelf het beste product aan te bieden.😉

  2. […] EBSCO Discovery Service, Summon, Google Scholar, and Conventional Library Resources. Bert legde de Discovery langs de meetlat en bekeek de situatie in Nederland – […]


Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: