První záznam o obci pochází z roku 1495, kdy bylo přiděleno právo emfitentické k těžbě opuky. Těžba opuky však byla doplňkovou činností k zemědělskému hospodaření. Proto již v roce 1553 bylo v obci 15 hospodářů a tohoto roku byla ve vsi i svobodná krčma. Generál Jan Špork obdržel roku 1647 od císaře Ferdinanda III. Panství Lyské, k němuž patřilo i Kamenné Zboží.
V roce 1900 měla již obec 82 domů a 610 obyvatel.
Obecní škola byla zřízena v roce 1894 a její činnost trvala do roku 1977. 
V roce 1873 byl založen spolek dobrovolných hasičů, první na nymburském okrese. V obci působila čtenářská beseda, ochotnický spolek, Sokol a hokejové mužstvo. V současné době působí v obci spolek dobrovolných hasičů, TJ - oddíl kopané, Myslivecká společnost, Český svaz žen a Sbor pro občanské záležitosti.
Zvláštností obce jsou zastavěné lomy na opuku, v nichž stojí 30 domů. 
Pouť se vztahuje k svátku Petra a Pavla 29. června a posvícení k 1. listopadu.