“河圖”“洛書”究為何物？是討論“河洛”無法繞開的巨大難題。黃宗羲、黃宗炎援以《尚書》，通過類比、推理，認為“圖”“書”為地理方冊之書。《尚書·顧命》載有“河圖”，雲：“越玉五重，陳寶，赤刀、大訓、弘璧、琬琰在西序；大玉、夷玉、天球、河圖在東序。”黃宗羲指出：“《顧命》西序之‘大訓’，猶今之祖訓，東序之衢，猶今之黃冊，故與寶玉雜陳。不然，其所陳者為龍馬之蛻與？”（《黃宗羲全集》第9冊，第4頁）即通過梳理句意、詞類，確定《河圖》在聖人作《易》時已有之，並且此類地理風物之書，在相當長時間裏一直存在，“王室東遷，天下版籍不隸於職方，河不出圖矣”。（黃宗炎：《圖學辯惑·河圖洛書辯》）推之於《洛書》，黃宗炎指出：“《河》有圖籍可稽，《洛》有文書可考，是天下之方物土產形於地者，聖人係於卦爻之辭，而取則之。天垂象，指仰觀天文而言；出圖書，指俯察地理而言。天高無所虧蔽，即其垂而可象；地遠則多阻隔，未必盡能步履，故賴圖書以代耳目聞見也。”（黃宗炎：《周易象辭》卷十八）此外，黃氏兄弟認為劉歆、朱熹等將《洛書》與《尚書》“洪範九疇”聯係在一起則難以成立，“夫洪者，大也；範者，法也。猶言治天下之大經、大法也”，所謂“九條”，即九條治天下之大法；所謂“疇”，即溝洫之謂，“名之曰‘九疇’者，即井田九百之意也”。（黃宗炎：《圖學辯惑·河圖洛書辯》）由此推知，孔子所言“鳳鳥不至，河不出圖，吾已矣夫！”（《論語·子罕》）是因為孔子不見“河洛”，“無以知其盈虛消息之數”；孔子之時，《易》已完就，假使“河洛”是畫卦依據，那孔子便不會因為“河不出圖”而心生感慨。所以，“觀於《論語》，而《圖》《書》為地理益明矣。”（《黃宗羲全集》第9冊，第4頁）