Evaluating Your Collection: Best Practices  for North Texas Libraries  Introduction  This report, commissioned by North Texas Regional Library System, will focus on  techniques for evaluating parts of the collection to determine strengths and weaknesses. The  emphasis will be on continuous review using readily available “best practices” but will also include  information on how to conduct a full evaluation (for a new director, for example, who inherits a  seriously neglected collection). North Texas libraries will be encouraged to submit their own best  practices and tips.  After staff, the library’s collection is its major asset. A good library director should be able  to quickly answer basic questions about the collection: size, turnover rate, circulation. We should  also know how satisfied our patrons are with the collection but much of our evaluation of the  collection will be based on use. 

Collection Analysis and Evaluation  Your libraries strategic plan, its mission, and policies will lay the basis for collection  analysis. (Be sure to consult the NTRLS consultant report on this topic.) Good collection  development practice includes an understanding of your community (which may require a  community analysis), policies related to selection and de‐selection of materials, acceptance of  gifts, and related topics, procedures for regular selection of materials based on your library’s  mission, goals, and policies, a process for actually acquiring the materials selected and getting  them processed for use, procedures for regular weeding (deselection) of materials that are no  longer useful, and evaluation or analysis to determine the quality of the collection.  What is collection analysis? First, it is an important component of the collection  development process, outlined in the previous paragraph. Second, it is a systematic process for  determining the quality of the library’s collection. Quality can, of course, be measured in a variety  of subjective ways, including numbers. However, while size does matter, a larger collection is not  necessarily a quality collection. Currency, turn‐over rates, and other statistical data can provide  clues as to the quality of the collection, as well. The central concept in the process of analyzing a  collection is that collections are created, developed, and maintained to meet the needs of the  community they serve. This means that the collection must remain relevant and useful to the  people who are using it. Therefore, collection evaluation must also include an analysis of how well  the materials are currently meeting needs and how likely the materials (and the collection) are to  continue meeting the needs of current and future users. 

It is impossible to ever have a “perfect” collection; however we do have standards (voluntary or  imposed) that can help libraries create a picture of an ideal collection.   Why analyze your collection? As librarians most of us want to know if the collection is  relevant to the needs of our community but we can also use the information gathered through  analysis and evaluation to support requests for additional (or even level) funding. If we know that  the collection has an average copyright date that is 15 years old, we can determine how much  funding is needed to improve that average age to within state standards. Analysis also provides  valuable insight into the collections strengths and weaknesses so that we can reallocate available  funds to improve specific areas. We may also want to benchmark the collection against other area  collections or standard bibliographic tools to ensure that our selection practices are appropriate.  For most libraries, analysis will happen in small chunks and each of the evaluation  methods can be targeted to specific areas of the collection. However, if you are new to a library  with a collection that has been neglected or has stagnated or there have been major demographic  changes in the community, a full analysis may be warranted. You may wish to use a mixture of  techniques or contract with a library service to conduct a more thorough analysis. OCLC’s  collection analysis service (http://www.oclc.org/collectionanalysis/default.htm), for example, will  compare your collection to others in WorldCat to determine your unique holdings, compare the  collection with peer libraries, determine gaps, and access useage. 

Methods of Collection   Libraries can use a variety of methods to analysis the collection. Each has its own strengths and  limitations. There is no single “best” method and generally libraries find that they will use a  combination of techniques to ensure that the collection continues to meet patron needs.   

Comparison to Standards  The Texas Library Association, through a joint task force with the Texas State Library, has  created standards that allow a library to determine factors needed to create a basic, enhanced, or  comprehensive collection. This matrix, available on‐line at  http://www.tsl.state.tx.us/plstandards/collection.html, considers factors such as age, turnover  rate, items per capita, and access to other resources such as databases.  These voluntary standards  are different from the “Minimum Standards for Accreditation of Public Libraries in the State  Library System” (see http://www.tsl.state.tx.us/ld/pubs/libsysact/lsarules.html#minstd). The  minimum standards are based on population and set thresholds for funding and services below  which a library cannot be considered for state and federal support, including grants and pass‐ through funds. While NTRLS libraries must meet minimum standards for accreditation they  should strive to meet the enhanced or comprehensive standards set  

Compare your collection to state‐developed standards.  Use this chart, copied from the  Texas State Library’s Web site, to determine where your library’s collection currently ranks.   Population

All populations

Basic

Enhanced

Comprehensive

Core reference collection

Core reference collection

Core reference collection

2.0 circulation per capita

4.5 circulation per capita

7.5 circulation per capita

10,000 items, or 1.5 items per capita, whichever is greater

12,500 items, or 3 items per capita, whichever is greater

15,000 items, or 4 items per capita, whichever is greater

15% of collection less than 5 years old

20% of collection less than 5 years old

25% of collection less than 5 years old

Entire collection weeded every 5 years

Entire collection weeded every 4 years Local history materials

Entire collection weeded every 3 years Local history materials

Library extends collection by providing access to Internet and fulltext databases provided by the State Library

Library extends collection by providing access to Internet and fulltext databases provided by the State Library and by providing licensed full-text databases purchased locally

Library extends collection by providing access to Internet and fulltext databases provided by the State Library and by providing licensed full-text databases purchased locally Remote access to full-text databases purchased locally

Library offers Interlibrary Loan services

Library offers Interlibrary Loan services

Library offers Interlibrary Loan services

Your Library

Library offers materials in a variety of current nonprint formats

Library offers materials in a variety of current nonprint formats

Library offers materials in a variety of current nonprint formats Library offers digitized local history materials

Library collects/reports electronic use

Library collects/reports electronic use

Library collects/reports electronic use

Less than 5,000

Collection turnover: Not applicable

Collection turnover: Not applicable

Collection turnover: Not applicable

Over 5,000

1.00 collection turnover rate (circulating collection only)

1.75 collection turnover rate (circulating collection only)

2.5 collection turnover rate (circulating collection

 

Peer Group Comparisons  About half of public libraries have a “peer group” of libraries of similar size and funding to  which they compare themselves.  In some cases, the city or county has established a short list of  peers—often related to factors other than comparable size and demographics—but in other  instances you will develop your own list. If you do not have an established peer group, you may  also develop some statistical comparisons through a tool available from The National Center for  Education Statistics. Compare Public Libraries,  http://nces.ed.gov/surveys/libraries/compare/Index.asp?LibraryType=Public, uses data from  library annual reports; therefore it will always run a few years behind and is subject to a number  of limitations. You can limit your comparison to libraries that match a variety of characteristics,  such as number of outlets, geography, or size of staff. Compare Public Libraries includes 9,000  libraries nationwide, allowing comparisons with peers outside of Texas, and can produce  attractive tables and charts for inclusion in reports.  Because it relies on FSCS data, the data is  older than that in some other tools, but is more comprehensive for smaller libraries. An excellent  overview of peer groups and how to determine your peers is “How Does Your Public Library  Compare?:  Service Performance of Peer Groups,”  http://nces.ed.gov/pubs98/98310.pdf.   Bibliostat Connect is a similar tool, available from Informata through Baker & Taylor,  http://www.informata.com/, which also allows benchmarking, such as against state averages.  Other resources for peer reports include Hennen's American Public Library Ratings,  http://www.haplr‐index.com/ratings.html, which uses FSCS data plus additional elements and the 

Public Library Association’s Public Library Data Service Statistical Report,  http://www.ala.org/ala/pla/plapubs/pldsstatreport/pldsstatistical.cfm.  

Comparison to standard bibliographies  Many libraries compare their collections, or parts of collection, against standard  bibliographies and lists of recommended or award‐winning titles. This can be a valuable exercise,  especially for a library that has recently changed its mission or expanded rapidly in size, and  provides a decent qualitative analysis of the collection.   By comparing the collection with core lists and standard bibliographies you can get a  sense of whether your collection holds items that are considered useful based on specific criteria.  Keep in mind, however, that these tools may be a bit out of date and the librarian must still make  decisions regarding their usefulness to the immediate community.  In many ways, they serve  more to tell you how good a job you have done in selecting and replacing quality items, but tell  you little about how useful these specific items are to your specific clientele.  Some libraries also compare their holdings against standard indexes to ensure that they  own a good selection of the titles indexed. Without a reasonable number of those titles, the  indexes usefulness is limited. These indexes include The Columbia Granger’s World of Poetry, Play Index, Short Story Index, and similar titles. Consider also comparing specific subject areas compiled by sources like Library Journal. Their collection development calendar reviews topics, including immigration, budget travel, science and technology, and Turkish literature. The columns are available online at http://www.libraryjournal.com/. Standard Bibliographies  Standard bibliographies may include:  Gillespie, John T. and Catherine Barr. Best Books for High School Readers, Supplement to  the First Edition, Grades 9‐12. Libraries Unlimited, 2006.  Gillespie, John T. and Catherine Barr. Best Books for Middle School and Junior High  Readers. Libraries Unlimited, 2004.  Gillespie, John T. and Catherine Barr. Best Books for Middle School and Junior High  Readers, Supplement to the First Edition, Grades 6‐9. Libraries Unlimited, 2006.  Hysell, Shannon Graff. Recommended Reference Books for Small and Medium‐sized  Libraries and Media Centers, vol. 28. Libraries Unlimited, 2008.  O’Gorman, Jack. Reference Sources for Small and Medium‐sized Libraries. 7th edition.  ALA, 2007.  Schwedt, Rachel E. and Janice DeLong. Core Collections for Children and Young Adults.  Scarecrow Press, 2008. 

Thomas, Rebecca L. and Catherine Barr. Popular Series Fiction for Middle School and Teen  Readers. Libraries Unlimited, 2005. Wadham, Tim. Libros Essenciales: Building, Marketing, and Programming a Core Collection  of Spanish Language Children's Materials. Neal‐Schuman, 2006.  Walker, Barbara J. The Librarian's Guide to Developing Christian Fiction Collections. Neal‐ Schuman, 2006.  Wilson Standard Catalog Series  (also available in database format)  Children's Catalog. 19th Edition. H.W. Wilson, 2006. (annual supplements)  Senior High Core Collection. 17th Edition. H.W. Wilson, 2007. (annual  supplements)  Public Library Catalog. 12th Edition. H.W. Wilson, 2004. (annual supplements)  Middle and Junior High School Library Catalog. 9th Edition. H.W. Wilson, 2005.  (annual supplements)  Fiction Catalog. 15th Edition. H.W. Wilson, 2006. (annual supplements)    Recommended Lists and Best of the Year Lists  The American Library Association and journals such as Library Journal, School Library Journal,  and Booklist release notable and “best of the year” lists annually. Check the current lists to  determine whether your collection is missing top quality or popular titles.  ALSC’s Children’s Notables Lists  http://www.ala.org/ala/alsc/awardsscholarships/childrensnotable/default.cfm  This division of the American Library Association issues annual lists of notable materials  in book, film, audio, and software formats for children from birth through age 12. Usually  released in January immediately following the Midwinter Meeting. Also check award lists,  including the Newbery Award, the Caldecott Award, Siebert Award, the Odyssey Award,  and others.  Notable Books for Adults  http://www.ala.org/ala/rusa/protools/notablebooks/notablebooks.cfm  The Reference and Users Services Division of the American Library Association issues an  annual list of 25 important and highly readable books of fiction, nonfiction, and poetry for  adult readers.  Outstanding Reference Sources  http://www.ala.org/ala/rusa/protools/outstandingref/outstandingreference.cfm  

The Reference and Users Services Division of the American Library Association issues an  annual list of outstanding reference resources, emphasizing those of most value to small  and medium‐sized public libraries. Issued each year in May.  Notable Videos   http://www.ala.org/ala/vrt/notablevideos/notablevideos.cfm  Video Round Table, a group within the American Library Association, provides an annual  list of fifteen notable non‐feature how‐to and educational films.  YALSA Booklists and Book Awards  http://ala.org/ala/yalsa/booklistsawards/booklistsbook.cfm   This division of the American Library Association issues annual lists of notable materials  in book, film, and audio formats for teens. Usually released in January immediately  following ALA’s Midwinter Meeting. Also check award lists, including the Alex Award, the  Printz Award, and Young Adult Nonfiction Award, as well as lists like “Outstanding Books  for the College Bound” and “Great Graphic Novels for Teens.”   

Age of the Collection  Keeping in mind that age is not a factor for some areas of the collection, knowing the  average copyright date for specific sections and the overall collection provides some empirical  data for evaluating the quality of the collection and is one factor in the Texas public library  standards. In many cases your automated circulation system can generate a report on the  copyright dates for the entire collection or a subset of Dewey areas. Of course, that presumes that  the copyright date is included in the records for most of the titles in your collection.  If your automated system doesn’t provide copyright information or you suspect that the  data is not sufficiently complete to provide meaningful data, sampling can provide that  information. To create data from a random sample, decide which areas you will evaluate. Print  out a list of the items in that area and number them, if the report doesn’t have numbered lines.  Use a random number generator, available online, to create a list of the items you will include in  your evaluation. For example, Random Integer Generator, http://www.random.org/integers/,  allows you to select a specific set of numbers between a designated range of numbers.  So if you  want to look at 10% of your collection of science books and that collection consists of 380 books,  you can generate a list of 38 random numbers. Match those numbers to the numbers on your list  for a random sample. Enter the copyright dates, either from the electronic record or from the  book, and then average the dates. There are other ways to develop random samples, but this is the  simplest. 1  Copyright date is less of a factor for fiction, mythology, religion, and literature but, if  possible, check the acquisition date (how long has the book been in the collection) or the date of                                                        

1

 For more information on developing random samples, see pages 16‐23 of Managing and Analyzing Your  Collection: A Practical Guide for Small Libraries and School Media Centers by Carol A. Doll and Pamela  Petrick Barron (ALA, 2002). 

last printing. Newer editions and printings may have updated information or added features that  enhance the quality and appeal of the item.   

Use Analysis   The library owns many books, of course, but surprisingly few are actually used on a  regular basis. We must first start with a definition of “use” and decide whether it is limited to  circulation (fairly easy to determine) or includes in‐house use. Purists might also hope that we  could determine whether a book that is borrowed is actually read and whether that borrowed  book is read by more than one person while it is out. Because it is difficult to get data about in‐ house use, or the other possibilities mentioned here, most use analysis data is based on  circulation. Someone felt strongly enough about the item to actually take it out of the library and  this is an indicator that there was interest in the material. Use analysis is also a good  counterbalance to comparing the collection against standard bibliographic tools and lists as it  demonstrates the interests of actual library users. For most public libraries, including the largest,  use is more relevant to the collection than warehousing for potential future use or posterity. Of  course every library has some items for which use is irrelevant. Your local history collection will  be kept and is important regardless of whether the items ever circulate (and most libraries do not  permit this one‐of‐a‐kind material to leave the library in the first place). Determining use data  and comparing it over time allows the library to refine its collection development practices and  measure how well it improves its ability to meet patron needs.   In addition to using your automated circulation system to run reports on last use (to weed  out shelf‐sitters and items that have passed their usefulness) and the turnover rate (average  number of uses), you can use Excel to set up customized spreadsheets to help you identify  strengths and weaknesses in the collection. Step‐by‐step directions for this process are provided  in Analyzing Library Collection Use with Excel by Tony Griener and Bob Cooper (ALA, 2007). This  is also a useful tool for helping with weeding decisions and weeding the collection improves its  use.   Even simple circulation records can be analyzed to determine if rates are increasing or  decreasing. By comparing statistics for specific time periods against the same period in the past  you can determine trends that allow for corrective actions. For example, one would expect to see  an increase in circulation of bestselling fiction after the start of a new leasing service or the  addition of a large collection of new mysteries. Conversely, the withdrawal of a lot of old, dirty  children’s picture books might mean that circulation decreases for a period of time until  replacements are available. Circulation analysis also can show any dramatic changes that occur  due to shortened hours of service (such as closing earlier or opening later due to budget cuts).  Combined with other tools, circulation figures can demonstrate if there are an insufficient  number of relevant materials due to an aging collection, missing or lost materials, or the need to  weed out items that are in poor physical condition. 

When looking at the entire collection, one might consider that circulation in each area of  the collection should be somewhat in line with the representation of that section to the whole.  For example, if fiction represents 20% of the collection, does it also represent 20% of circulation?  While that does not hold exactly true (the children’s easy readers will usually circulate much than  their proportionate size relative to the whole collection), knowing the percentages can help you  determine where extra work may be needed. Run a report to determine how many books are in  each Dewey area and calculate the percentage each represents in the collection. Then run a  circulation report and perform the same calculation, matching the percentage of the collection to  the percentage of total circulation.   

Patron Satisfaction  One of the best ways to determine how well your collection is meeting the needs of users  is to ask them. Surveys can be conducted as patrons enter and exit the library, asking them to  report what they are looking for and whether they found it.  Often surveys will be distributed as a  patron enters the library and asks them to identify specific books or topics they are seeking. The  patron then indicates whether they found what they were looking for. When collection  satisfaction surveys are repeated over time, usually two or three times a year, it is possible to  compare satisfaction rates to determine whether the collection is getting better or worse at  meeting patron expectations. Feedback also allows the librarian to know what areas need work. 

NTRLS Best Practices    Based on a survey of NTRLS libraries, a number of “best practice” tips were shared.  These  tips are especially useful for new directors who may not be familiar with their collection yet.  Wording has been edited for clarity and consistency, but these tips include:    Get help from neighboring libraries or the system office.  Often nearby libraries have a  good perspective on community needs.    Evaluate the collection for physical condition first. Getting rid of items that are old, dirty,  or falling apart will spruce up the collection quickly.    Try to get to know the regular patrons as soon as possible and know the books and  authors that they enjoy. Do a simple survey of readers' preferences.   Get familiar with the current collection by walking the aisles regularly. Look at statistics to  see what is being checked out.  First look at your circulation statistics. Focus your analysis and evaluation on the most  used areas since that is where your public will appreciate any change the most. 

If you can, generate a report of items that haven't circulated within the last 5 years.  Consider those items for weeding. If that time frame doesn’t generate many items, cut down the  time period but doing a shorter time frame initially may generate too large a report.  Consider having an "ugly book contest" to encourage the staff to quickly identify and pull  worn, old‐dated items from the collection. This is a fun way to encourage weeding.  Run a relative use report. This compares the size of various parts of the collection with  their circulation to see which sections are heavily used and which are underused. Then work on  improving underused areas. 

Survey of NTRLS Libraries  Survey Monkey was used to survey NTRLS libraries about their collection evaluation and  analysis practices and to elicit “best practices” from the field. Surveys were completed by 27  libraries, representing 38% of the membership. The purpose of the survey was to get a snapshot of  current practices but is not intended to constitute a comprehensive research report. The survey  was voluntary and anonymous (unless the respondent chose to self‐identify) and no attempt was  made for randomization of respondents or balance of size, geographic location, or budgets and  staff.  Q.  Does your library have a “peer group” of libraries against which you compare budgets,  collection size, services, etc.?   A.  44.4% of the libraries do have a set peer group against which their resources and services  are compared. 48% do not have a peer group and 7% did not know.  Q.  Have you compared the holdings of your library against a standard tool, such as OCLC’s  World Cat Collection Analysis, (http://www.oclc.org/us/en/collectionanalysis/default.htm)  within the past 5 years?  A.  Only one library had used a standard tool for collection comparison, although two  respondents were unsure whether a comparison had been made in the past five. The single library  that responded affirmatively had hired a consultant who used the OCLC tool.  Q.  Using any method, have you identified any major gaps in your library collection? Please  indicate up to three gaps.  A.  Almost half of the libraries had used some method to identify major gaps in the collection.  Each respondent could report up to three gaps that were found through analysis. These gaps were  identified as:  Current books about foreign countries books on CD graphic novels    Spanish language materials for adults   Science Juvenile biography Adult biography  

Fiction materials for Young Adults   Multiple copies of Best Sellers   Christian fiction   Adult nonfiction   Medical books that were too old   Computer books that were too old   Fiction series with gaps ‐ both in print & audio formats   Need to update many non‐fiction subject areas   Psychological systems and educational psychology  General historical economics   Vehicles, motors, repair manuals   Computers, personal finance, gentle fiction are 3 of many  Travel to other regions of the US and to other countries.   Need for more large print  Spanish language materials.   Science books   Q.  How do you determine that your collection satisfies the needs of your patrons?  (Respondents could select from the following list or add their own information. Percent of  responses are indicated following the selection.)   

Compare our collection with standard catalogs (Ex. Public Library Catalog)—18.5%  Use award lists, bestseller lists, and other “notable” lists to select titles or ensure that we  have already purchased these titles.—81.5%  Ongoing examination of the collection to weed unused items and replace worn materials  (weeding).—92.6%  Statistical analysis (size of collection, age of materials, growth rate, turn over rate, etc.).— 51.9%  Circulation reports (running reports to identify areas of least use or to identify “core”  collections by examining the most heavily borrowed items).—63%  In‐house use studies (examining materials that are used in‐house when they are retrieved  for re‐shelving).—37% 

 

Surveys of user opinion and ability to find needed materials.—33.3%  Analysis of interlibrary loan statistics (to determine areas of weakness based on what is  borrowed)—51.9% 

 

Something else (please explain) 

Comments and recommendations from the circulation desk staff who are talking  to patrons.  Patron request. 

Additional Resources  Collection Development Training for Arizona Public Libraries  http://www.lib.az.us/cdt/  This free online class covers the basics of collection development, including evaluation  and analysis.  Evaluating Your Library’s Collection: WIKI  http://collectionevaluation.pbwiki.com/  Share your expertise through this NTRLS‐sponsored Wiki.  Greiner, Tony and Bob Cooper. Analyzing Library Collection Use with Excel®. ALA, 2007.  Step‐by‐step instructions for using Excel to translate circulation and collection data into  reports for collection management decisions.  Library Surveys and Questionnaires  http://web.syr.edu/~jryan/infopro/survey.html  This compilation offers examples and samples of surveys and survey tools.