“河洛”問題的產生，有多方麵原因，但經書所言簡略不詳與文獻缺失是源生性的問題。 根據六經和先秦其他文獻，《易傳》所言“河出圖，洛出書”當指“河圖”“洛書”，或者說在後世理解中，被視為“河圖”“洛書”。後世討論的“河洛”問題在不同曆史時期也有所偏重，但主要關涉易學或集中在易學與圖書的討論上。嚴格說來，黃氏所言“六經”與先秦儒家“四經”或“五經”有異，其在經書類目上排斥後世續增的部分。按照黃氏所列，除《尚書》“河圖”之說最早、最無異議，其他均為孔子或後儒注解《周易》經文或發表的議論。不過，此六種即便加上先秦有關“河洛”的記載，也顯然隻是現存先秦文獻中的極少部分，說明“河洛”在當時若非人所共知，就是還沒被特別對待。因此， 在源文獻時期，“河洛”之說已經虛實難辨，留下諸多謎團。 經過漢唐學者增益擴充和兩宋學者的創造闡釋，卻發展成為涉及經典解釋、思想建構和文明源起的重要論題，同時也圍繞“河洛”發起千載之爭，於取證、考釋、辯難可謂極盡所能，成為經典解釋、討論之奇觀。

黃氏兄弟以經文為準，根據極為有限的記載，指“河洛”為地理方冊，堅守《周易》出自聖人之手及其來自經驗的立場，暴露出一些考釋方麵的缺陷。 胡渭對圖書易學均持批評立場，但多次敏銳地發現黃氏兄弟的問題，如指出伏羲之世尚用結繩記事，不可能存在“黃冊”之類的文字之書。 （見胡渭，第20頁） 胡氏所見還別有啟發性，如果從上古結繩記數論，擺出和宋代《河圖》《洛書》類似的圖式，反而是可能的。更重要的是，黃氏兄弟關於“河洛”為方冊之書的論證，多為推測之見，缺乏足夠的、嚴謹的證據支撐，此類情況在他們論述“河洛”的文本性質及其與聖人作《易》的關係方麵亦有反映。 詳其原因，是他們觸及了理解經典最為棘手、也是以考據解決思想史問題的普遍難題——當論辯各方都麵臨記載不足、經意不明的客觀現實時，雖均宣稱以經為本，卻意見各異，呈現出不同的解讀結果。“圖”“書”究竟何指，可以說是對壘雙方始終無法繞開的關鍵難題，也是最容易暴露文本解讀和論證問題的“試金石”， “河洛”之辯的雙方或取證於本經，或經書互證，或以其他文獻佐證和分析推理作為間接依據，皆欲考究“河洛”之“真”，但理解趨向迥異，爭論則勢不可免。