Dnešní objekt sýpky byl postaven někdy na přelomu 15. a 16. století jako rytířská tvrz, kterou vlastnili Ctibor a Bohuněk z Kestřan a v Udraži. Roku 1594 došlo k rozdělení Udraže na horní a dolní díl, přičemž dnešní sýpka byla součástí většího horního dílu. (V dolním díle, který leží mimo areál naší tvrze Čp. 1, vznikla tvrz až někdy na počátku 17. století, dnes však není jasné, o který objekt by se mohlo jednat.) Udražští z Kestřan vlastnili horní díl Udraže až do roku 1648, kdy jej po smrti svého manžela zdědila Magdalena Virginie z Lipovce. Ta údražský statek s tvrzí v roce 1681 prodala pražské novoměstské obci, jež o rok dříve zakoupila i dolní díl. Jako celek byla Udraž prodána Trauttmannsdorfiim, kteří tehdy vlastnili panství Protivín. S prodejem protivínského statku přešla roku 1711 Udraž do majetku Schwarzenberků, kteří ji drželi až do roku 1948.

Jádro tvrze tvoří pozdně gotická zděná patrová stavba, která ve 2. polovině 16. století prošla velkou renesanční přestavbou, kdy byla prodloužena směrem na sever. Z této druhé fáze se zachovala v patře necková klenba s čučkovým motivem ve středu a v přízemí valená klenba s trojbokými výsečemi. Pozdně renesanční je i krov, stavěný ze dřeva káceného v roce 1594. Pravděpodobně na počátku 18. století, kdy statek převzali Schwarzenberkové, byla stará tvrz přestavěna na sýpku. Pozdější stavební úpravy byly jen nevelké — např. schodiště do patra z 19. století. (Výtah z SHP)

Na evidenčním listě ze 60. let 20. století byl objekt tvrze označen jako „sýpka s bratrskou kaplí“. Protože však se v podstatě stále jedná o tvrz, i když s některými nevratnými změnami provedenými při adaptaci na sýpku (zejména vybourání vnitřních zdí), byl objekt při reidentifikaci nazván jako tvrz. Udaj o bratrské kapli je omyl a patrně je to jen záležitost lidového výkladu, jak na to na počátku 30. let 20. století upozornil prof. dr. Fähnlich