Archive for the ‘gebruikersonderzoek’ Tag

The plural of anecdote is (not) data

Hoe gaan onze studenten, docenten en onderzoekers met informatie om? Van welke instrumenten maken ze gebruik om informatie te verzamelen, te beoordelen, te verwerken en te archiveren? En wat doen ze eigenlijk met al die mooie hulpmiddelen (catalogi, discovery tools, bibliografische software, samenwerkingsomgevingen, etc.) die wij ze daarbij ter beschikking stellen, onder de neus houden danwel door de strot duwen? Het blijven interessante en vaak eigenlijk toch ook onbeantwoorde vragen. Nieuw onderzoek naar dat daadwerkelijke gebruik en de daadwerkelijke behoeftes kan bij mij daarom altijd op warme aandacht rekenen, en dat geldt dus ook voor het nieuwe JISC-rapport Researchers of Tomorrow. Extra interessant vanwege de focus op de jonge onderzoekers, de promovendi van dit moment en daarmee de hoogleraren en P.I.’s van morgen en overmorgen. Ik heb nog geen tijd gevonden om het rapport van kaft tot kaft te lezen (doet trouwens iemand dat tegenwoordig nog?), maar heb wel flink virtueel heen en weer gebladerd (scrollen dus, wat toch nog steeds een mindere leeservaring is dan het fysieke bladeren) en inmiddels wat krenten in de pap gevonden.

Ik knip-en-plak er even twee passages (van resp. p. 33 en p. 59) uit onder het motto ‘The plural of anecdote is data’:

Nou vooruit, je moet er terughoudend mee zijn, maar toch: verplichte leesvoer!

Advertenties

Gentlemen Prefer Blondes, and Students Paper

We moeten het meestal doen met cijfers uit de Angelsaksische wereld, maar nu hebben we ook een keer lokale data over het ICT-gebruik van onze eigen studenten. Een jaarlijkse enquête, die tot nu toe alleen onder medische studenten werd gehouden, is dit voorjaar onder alle studenten van de UvA verspreid met uiteindelijk een respons van een kleine 7% (bijna 2.200 studenten). Over de resultaten wordt uitvoerig op SurfSpace verslag gedaan, dus dat zal ik hier niet nog een keer herhalen. Ik wil op deze plek alleen nog extra aandacht vragen voor de antwoorden op een van de stellingen; antwoorden die mogelijk een beetje in de cijferbrij ondergesneeuwd raken.

Het betreft de beantwoording van de stelling: Ik prefeer hardcopy / gedrukte boeken en readers boven e-boeken en digitale readers.

In percentages uitgedrukt wordt het beeld nog wat duidelijker: ruim 70% van de respondenten is het (geheel) met deze stelling eens en slechts 17% is het er (helemaal) niet mee eens. Studenten geesteswetenschappen wijken in hun voorkeur niet af van dit algemene beeld.

Misschien is het tijd voor een call for action. Niet meer dat technology-driven aanbod, maar de user-driven vraag. Weg met e-books! Die krengen zijn op dit moment (nog) te duur en aan het gebruik zijn (nog) teveel beperkingen verbonden, nog afgezien van het feit dat meer dan de helft van het huidige actuele aanbod niet eens als e-book beschikbaar is. Dus nogmaals, weg met die e-books, en lang leve de open opstelling van gedrukt materiaal. De ideale opstelling voor het doen van onverwachte ontdekkingen, always on, never down. Een bibliotheek heet niet voor niets zo, en niet bijvoorbeeld infotorium, studielounge of Starbucks.

Volgens mij krijg ik daarvoor wel de handen van de studenten op elkaar. Al zal ik dan wel een ander medium dan deze blog of m’n Twitter-account moeten gebruiken, want die sociale media schijnen door studenten nog steeds niet erg intensief gebruikt te worden. Althans, door Amsterdamse studenten.

Weekendvitaminen #30

Op het nachtkastje

  • One Culture. Computationally Intensive Research in the Humanities and Social Sciences. Report on the Experiences of First Respondents to the Digging Into Data Challenge (rapport van CLIR)
  • Bo-Christer Björk, The Hybrid Model for Open Access Publication of Scholarly Articles: A Failed Experiment? In: JASIST (2012).
  • Heather Hessel & Janet Fransen, Resource Discovery: Comparative Results on Two Catalog Interfaces. In: Information Technology and Libraries (2012). Data in artikel dateren uit 2009 (vòòr de opkomst van de discovery tools), maar de observaties over verschillen in het zoeken tussen gebruikersgroepen, inclusief bibliothecarissen, snijden nog steeds hout.
  • Mary Francis, Peer Reviewers of Academic Journals. Who is Responisble for our Professional Literature. In: College & Research Libraries(2012). Twijfelgeval, want mijn wenkbrauwen gingen wel omhoog toen ik las: “From the editor surveys there were six responses for a 54% response rate.”

Beeld van de week

Data gepresenteerd door het Canadese onderzoeksinstituut Higher Education Strategy Associates op basis van een database met gegevens over 47.000 personen. Gelukkig voegen ze er de volgende kanttekeningen aan toe:

There are three reasons why a scholar might have an H-index of zero. The first is age; younger scholars are less likely to have published, and their publications have had less time in which to be cited. The second is prevailing disciplinary norms. There are some disciplines – English/Literature would be a good example – where scholarly communication simply doesn’t involve a lot of citations of other scholars’ work. The third is simply that a particular scholar might not be publishing anything of particular importance, or indeed publishing anything at all.

Ik vond op hun website ook meteen een recent rapport over de Canadese wetenschappelijke productie, Making Research Count: Analyzing Canadian Academic Publishing Cultures, waarin op basis van de h-index met naam en toenaam de beste Canadese wetenschappers per discipline en de best scorende Canadese universiteit worden berekend.

Discovery langs de meetlat

Tijd voor een ontboezeming. Ik voel me altijd ‘een beetje dom’ als ik weer zo’n bijdrage van een cluster Amerikaanse collega’s lees waarin statistisch al dan niet significante verschillen voor het voetlicht worden gebracht. Spearman’s rho, ANOVA result en Tukey post-hoc analysis result vliegen je om de oren, ik lees het en blijf soms in verbijstering achter. Want wat moet je nu precies met een observatie als:

This result was significant at p<.05 using a using a one-way ANOVA for all questions combined and questions 1-3, but not significant on question 4. The full ANOVA results were as follows: All questions combined: F(1,84)=15.831, p=.000, eta squared =.159; Question 1: F(1,84)=7.933, p=.006, eta squared=.086; Question 2: F(1,83)=7.611, p=.007, eta squared=.084; Question 3: F(1,84)=5.235, p=.025, eta squared=.059; Question 4: F(1,84)=-.420, p=.519, eta squared=.005

Dan kan ik slechts diep buigen en toegeven dat mijn twee modules statistiek gedurende mijn propedeuse politicologie aan de Vrije Universiteit inmiddels wel heel ver weg zijn gezakt.

Maar dan. Als er dan ook een goede ouderwetse tabel wordt opgevoerd, leef ik weer helemaal op. Dáár kan ik wat mee.

Het beantwoorden van dezelfde vragen door verschillende studenten die gebruik maakten van verschillende discovery tools (respectievelijk Google Scholar, EBSCO Discovery Service, Summon, het actuele bibliotheekaanbod van catalogi en databases, of een eigen keuze) levert verrassende en minder verrassende resultaten op.

Minder verrassend:

  • gebruikers van de bibliotheekcatalogus komen sneller bij boeken uit; in het miljoenen (inmiddels misschien miljarden) aanbod van EDS en Summon sneeuwen die al snel onder. Zelfs Google Scholar scoort beter, dankzij de integratie met Google Books.
  • gebruikers van Google Scholar lopen nog wel eens tegen een pay wall op; die artikelen filtert Google er niet uit
  • laat je gebruikers zelf de keuze van een tool dan moet je niet vreemd opkijken dat de ‘gewone’ Google dan veel gebruikt wordt, hetgeen tot een significant (!) hoger gebruik van ‘ordinaire’ websites leidt

Verrassender:

  • EDS scoort het hoogst wat betreft de keuze voor wetenschappelijke artikelen; en
  • Summon leidt gebruikers blijkbaar relatief vaak naar krantenartikelen.

De onderzoekers verklaren dit laatste gegeven uit het feit dat in de gebruikte EDS-installatie de LexisNexis krantendatabase niet geactiveerd was, terwijl dat in de Summon-installatie wel was gebeurd. Bovendien, zo zeggen althans de onderzoekers, bevoordeelt Summon in haar relevantieranking krantenartikelen sterker dan EDS waardoor “students inadvertently to less appropriate resources” worden geleid.

Hetgeen vervolgens tot de niet zo opzienbarende, maar wel heel relevante conclusie leidt (ook ondersteund door onze eigen recente implementatie van Primo):

Students’ practices of primarily utilizing the basic search functionality of any search system, as well as their tendency to rely only on the first page of search results and to trust the relevancy rankings of a given search engine makes the default settings of these search systems critically important.

Daar neem ik die statistische rimram dan maar graag voor op de koop toe.

P.S. de auteurs claimen in hun inleiding geen andere studie te kennen waarin verschillende discovery tools op deze wijze met elkaar vergeleken worden. Tegen de tijd dat hun artikel (nu beschikbaar als geaccepteerd artikel) in juli 2013 (!!!) écht wordt gepubliceerd in College and Research Libraries zal die claim ongetwijfeld aangepast moeten worden. Zou CRL dus niet gewoon met deze onzin moeten stoppen? Geaccepteerd = gepubliceerd.

Weekendvitaminen #18

Op het nachtkastje

Beeld van de week

Uiteraard ontbreekt nog de basis aan deze pyramide, nl. Finding.

Bron: Stephen Abram

Ook trouwens voor deze:

Waar een klein landje niet groot in kan zijn.

’t Komt wel; ’t duurt alleen nog even

Wisselende berichten dezer dagen over het gebruik en de acceptatie van e-books door studenten. Twee onderzoeken, één uit Engeland en één uit de VS, die enerzijds het groeiende gebruik van e-books documenteren maar anderzijds de gehechtheid van studenten aantonen, in Engeland althans, aan het gedrukte boek:

In de VS wordt echter een omslag geconstateerd in de voorkeur van studenten: studenten geven daar voor tekstboeken inmiddels in meerderheid de voorkeur aan e-books. Typisch berichten uit een overgangstijdperk. In welke richting we ontwikkelen is wel duidelijk; de snelheid waarmee dat gaat en hoe ver we in die ontwikkeling zijn verschilt per regio en taalgebied aanzienlijk.

Opletten blijft gewenst

Natuurlijk hebben e-books ‘value’. Dat hoeft wat mij betreft niet nog een keer ‘bewezen’ te worden. Ik begon dus met enige scepsis aan lezing van Assessing the Value of Ebooks to Academic Libraries and Users, mede gebaseerd op wereldwijd onderzoek van Elsevier hiernaar. Het hoeft ook niet te verwonderen dat volgens de veelgeplaagde uitgever e-books inderdaad ‘value’ hebben.

Biedt het paper dan nog verrassingen? ’t Is maar hoe je het bekijkt. Van vier grote e-book collecties blijkt ‘slechts’ 37% gebruikt te worden. Een steun in de rug voor PDA dunkt mij, maar de onderzoekster haast zich er vooral aan toe te voegen dat voor p-books dat percentage (gelukkig?) niet anders is.

Maar in haar haast de ‘value’ van e-books te onderbouwen maakt Tina Chrzastowski een nogal grote uitglijder. Zie onderstaande uitsnede:

Waar in het diagram nog 12,6% van de respondenten e-books als “need to have” karakteriseren en 54,8% als “nice to have”, zijn deze percentages in de conclusie, slechts vijf regels verder, omgedraaid! Snelle conclusie-lezers worden zo geheel op het verkeerde been gezet.

Zo blijkt maar weer eens: ook een Professor in Library Administration moet op haar cijfers letten. En voor het aantonen van de ‘value’ van e-books is dit ook helemaal niet nodig.

De student als bibliotheekgebruiker

Er lijkt een echte discussie te ontstaan rond het onderzoek van een groep master-studenten Culturele informatiekunde naar de vraag waarom studenten van hogescholen en universiteiten gebruik maken van de bibliotheek. Die discussie begon in feite op het afscheidssymposium voor John Mackenzie Owen toen de resultaten voor het eerst publiek gepresenteerd werden en is in een nieuwe fase gekomen door de publicatie in het december-nummer van Informatie Professional van een samenvatting van het onderzoek door Leen Liefsoens. Er verschenen al snel de nodige reacties op Twitter die Eric Sieverts vervolgens verleidden tot het schrijven van een bijdrage op de IP-blog waar ook al weer de eerste reacties op gekomen zijn.

Ik wil aan de discussie op deze plaats twee zaken bijdragen.

Ten eerste een aanvulling op het onderzoek. Onderdeel van het onderzoek vormde een analyse van recente gebruikersonderzoeken van hogeschoolmediatheken en universiteitsbibliotheken in Nederland. Voor de UvA is daarbij een curieuze keuze gemaakt. Er is gebruik gemaakt van een onderzoek van Jaap Kamps uit 2005 naar de zoekmachine van de universitaire website van de UvA. Het hoeft dan ook geen verwondering te wekken dan de kolom UvA in het uitgebreide overzicht van onderzoeksresultaten (bijlage 3 van het rapport) vervolgens leeg blijft. Was er dan echt niets anders voorhanden? Natuurlijk wel. Een eenvoudige zoekvraag op de website van de bibliotheek (gebruikersonderzoek + bibliotheek) levert een bijdrage over het gebruikersonderzoek van de UB Amsterdam uit 2005 op inclusief een link naar het volledige onderzoeksverslag. Dat rapport had dus best meegenomen mogen worden. Tevens wordt er wel verwezen naar een breed gebruikersonderzoek van OCLC uit 2005 terwijl het veel recentere Perceptions of Libraries uit 2010 in de literatuurlijst ontbreekt.

In de tweede plaats herinnerden de conclusies van het onderzoek me meteen aan een ander recent onderzoek naar het gebruik van de bibliotheek, maar dan specifiek door graduate students in de geesteswetenschappen. Bij lezing van dát onderzoek raakte ik meteen gefascineerd door onderstaand diagram:

Browsen in de gedrukte collectie als een van de drie belangrijkste redenen om gebruik te maken van de bibliotheek (en kijk ook naar de tijd die men gemiddeld zegt in de bibliotheek door te brengen). Inderdaad, het gaat hier om een specifieke gebruikersgroep, maar dit voorbeeld maakt misschien nog maar eens duidelijk dat het, ook bij zoiets ‘eenvoudigs’ als het gebruik van de bibliotheek, moeilijk generaliseren is. Met een variant op mijn geliefde ‘one-size-does-not-fit-all’: ‘de student’ bestaat niet. Er is ook onder studenten een grote variatie naar studierichting en studiefase, een variatie waarmee het zinvol is in gebruikersonderzoek rekening te houden.

De bibliotheek als vluchtheuvel

Onderstaande still is afkomstig uit een begeleidende filmpje bij het laatste onderzoek van het PIL-project, waarbij PIL staat voor Project Information Literacy:

Voor het onderzoeksrapport zelf: How College Students Manage Technology While in the Library during Crunch Time.

Het commentaar van Barbara Fister is ook lezenswaardig.

Blik in de spiegel op herhaling

Vorig jaar schreef ik hier over een onderzoek naar het gebruik van online tools, inclusief web 2.0-toepassingen, door bibliotheekmedewerkers, een blik in de spiegel. Dat was een momentopname met alle beperkingen die daaraan kleven. Gelukkig is het onderzoek een jaar later herhaald, jammergenoeg overigens niet met een geheel identieke vraagstelling want dan zouden de resultaten nog beter vergelijkbaar zijn, zouden we (wellicht) echte trends kunnen destilleren.

Nu gaat dat toch wat moeizaam. Bij de presentatie van de resultaten wordt daar betrekkelijk makkelijk over gedaan: de belangrijkste verandering wordt geconstateerd in het gebruik van social networking sites (Facebook, Twitter, etc.): van 35% dagelijks gebruik naar 46%. Alleen, die 46% heeft betrekking op dagelijks privé gebruik; voor het werk is dat nog steeds ‘maar’ 23%. Hier wreekt zich duidelijk de veranderde vraagstelling.

Discussielijsten blijken onveranderd populair (“Despite their definite 1.0 clunkiness, they are still useful and used .”), terwijl rss-feeds zich net als vorig jaar nog steeds niet in een grote populariteit kunnen verheugen bij bibliotheekmedewerkers. Ik deel de verbazing van de WebJunction-blogger dat bijna de helft van de respondenten het nog steeds zonder blijkt te kunnen doen. ‘Onbewust onbekwaam’, blogde ik vorig jaar wellicht een beetje onaardig. Misschien zou ik het anders moeten formuleren: ze weten niet wat ze missen!