哲学家康德认为，对于几何学来说，其综合基础是空间。康德主要依赖于单一的几何学经验，并在相当程度上受限于这种观察。19世纪射影几何、仿射几何及微分几何等新型学科的出现，不仅给数学家提供了空前丰富的观念素材，而且对康德的设想提出了严峻挑战。
希尔伯特在19世纪末重新反思传统的欧氏几何及其哲学基础，他认为，几何学应该与魏尔施特拉斯的分析学一样有严格的基础，几何学的代数化并不是彻底的方法，空间对象的本质不能仅按照种种运动变换来分析，而要以一种新的方式回到欧几里得的道路上去，即用纯粹的、形式的公理化方法来建立几何学。
这样一来，几何学乃至整个数学的意义就发生了变化，在最基本的层次上，数学活动的核心就仅存在于某种抽象的关系之上。希尔伯特认为这种纯粹的关系或结构本身才是数学的真正基础，而这些思想的明确表述出现在《几何基础》的第一版中。
弗雷格在看完《几何基础》之后，立即对这种新的公理化思想提出了自己的批评。他提出了三项质疑∶
首先是公理化方法的实质；
其次是定义与公理的界限问题；
最后是关于系统一致性的证明。
这三个方面互相关联，且处于层进的关系中，是双方争论的焦点，而公理化思想最终是否有效可行就取决于对这些问题的理解。
公理化方法的实质
弗雷格认为，公理化方法要面对的首要问题就是确定公理本身的性质是什么。按照一种保守的理解，体系的公理是其他命题的源头，它们是演绎的起点，同时也是命题为真的最终保证。要把某些命题论证为真，我们就总要从一些基本的前提出发，而这些前提本身的真理性不能来自于论证或推理。问题在于，作为演绎起点的原始命题一方面必须是“真的”，另一方面必须是“不可证明”的。
那么它们的真来自哪里呢？不论是弗雷格还是希尔伯特都用康德的方式回答这个问题，认为几何学命题的原始真理应当奠基于空间直观上。在涉及到公理体系的基础时，弗雷格同样认为，这些公理不能随便选来，而是应当表明自身的真理性是显然的。那么这种“显然”从哪来呢？显然它只能来自我们对几何对象的直观，而这一点实际上包含着更深刻的问题。
希尔伯特在一定程度上继承了克莱因的思想，因为几何学的统一化、甚至数学的统一化，都是双方的目标。克莱因让几何学统一在群论下的观点也并非是简单地把几何代数化，而是根本上提出了数学领域各学科之间统一性和综合性的思想，只不过这种思想直接来自数学实践。以克莱因为代表的非公理化进路与希尔伯特倡导的公理化进路有着基本区别，但是否公理化只是两条路线的表面差异，希尔伯特还在更深的层面上洞察到了克莱因的问题。
两位数学家都承认直观基础是必不可少的，但问题在于这是一种什么样的直观。在群论观点下，空间事物本身的几何性质统一于代数方法下的基本条件是，采取一种运动变换的观点寻找不变量。对象仅在认识者方面表现为处于时间直观中的现象。希尔伯特恰恰在这个意义上反对克莱因，因为那种观点下的时间直观是不可避免的引入因素，但几何学在本质上应当只是关于事物的空间性，是一种仅仅和位置、形态相关的存在，变化和运动在此毫无关联。换言之，空间直观是几何学唯一的本质，尽管几何对象的“被给予”总是需要奠基于时间意识中，但就其自身的构形来讲，它们作为理想化的事物具有超时间性，时间直观不属于对象本质。
《几何基础》中的看法甚至更进一步，它已经离开了对直观性的关注而彻底转向纯粹形式的东西。虽然他未否认空间直观的奠基作用，但强调几何学的核心要素或者说公理化方法的实质在于纯粹形式上的系统统一性。即便是欧氏几何的公理，尽管最初形成是由于对经验事物的直观与观念化，但在新观点下，甚至这一步也失去了本质的地位。一切具体的东西、带有经验性质料的表述，都不再是关键。
弗雷格原则上同意希尔伯特对直观的看法，但反对将之排除出公理的性质。弗雷格认为谈论纯粹形式上的系统统一是空洞的，而希尔伯特在公理中表述的几何对象缺乏定义，或者说它们根本不是什么有意义的东西。
在1899年12月27日给希尔伯特的信中，弗雷格写道∶
“‘点’、‘线’、‘面’的含义都没有给出，而是被假定为事先知道的东西······我们一开始在欧氏几何的意义上理解'点'，但接下来你又把数对也叫作'点'……公理被迫负载了原本应当属于定义的负担。”
弗雷格发现通常的理解在这里完全失效了，因为一旦用符号去替换它就会发现这根本不影响公理的表达。如此一来，公理中的词项就成了无意义的东西，命题究竟在讲什么也就成了个谜。希尔伯特在回信中对此表明了态度∶
我并不假定任何事先知道的东西，我把我的解释视作对那些概念的定义……如果人们追求一个'点'的其他定义，那么…他就在找永远找不到的东西，因为本来就什么都没有。
定义与公理的界限
由此，弗雷格对希尔伯特的第二点指责就与一开始提出的质疑结合起来了，因为假如一个命题中的词汇没有得到定义，那么这个命题就没有表达任何思想，也不会有真值，如此一来公理化方法的目标就丝毫不明确。按照弗雷格在那封信中的理解，我们总是先用定义的方式赋予符号、表达式或语词以意义，然后再“把定义变成一个自明的命题，让它可以像公理一样来使用"。公理绝对不能是无真值的命题，毋宁说它应当是一切演绎得到的真命题的先决条件。这种缺乏实质的公理化根本不能成立，更不用说拿公理去定义概念了。
但希尔伯特想的完全是另一回事，他认为词语的原始含义非但不成为问题，而且含义本身也是非本质的东西，原则上“必定总是可以用‘桌子’、‘椅子’、‘啤酒杯’来代替'点'、'直线'和'平面'"。公理化方法对于几何学的意义已经超越了单纯的语义层面而转向一种语形结构自身的逻辑性，借此实际上改变了几何学的原初意义，从空间中的理想对象转向了更抽象更高阶的关系性本身。
数学对象的意义不再是自下而上地从直观中被统觉的对象过渡到观念客体，而是自上而下地直接从一种更普遍的观点而特殊化，直观的意义已经不再作为保真条件，逻辑性才是唯一的重点。
按照弗雷格的想法，所谓"公理"就必须是通过有良好定义的词语构建起来的真命题，命题的真取决于对词语意义和词间关系的理解，而现在希尔伯特完全将基础层面的东西抽空，那么命题也就不可能有任何真假可言。
可是，希尔伯特虽然反对用更原始的意义来填充公理词项的内容，却仍然认为词项可以定义，而且定义恰恰是通过命题的语法关系来赋予的。
举例来说，正如弗雷格也注意到的那样，三个点A、B、C在一条直线上的话，那么所谓“B在A和C之间”其实没有任何直观含义的假象，这句话完全就可以写成，
B pat A nam C
而希尔伯特的顺序公理即公理Ⅱ1就可以写成，
如果 B pat A nam C，那么B pat C nam A。
这两个关联词 pat 和 nam 完全不需要与日常含义相比，它们可以仅仅表达一种抽象甚至空洞的连接关系。 但是这种关系并非可有可无，因为词项 A、B、C 的含义已经在这种关系中得到了确定，尽管关联词完全是形式的，尚未被进一步解释，但它们指示了词项及命题的形式本质。
然而对弗雷格来讲，此关系绝没有表达任何真理，也不能指望它会对词项说出些什么，这种所谓的“公理”并不是伪命题，因为它本身的指涉部分并没有涵义与指称，也没有留出空位，而只是彻头彻尾的伪公理。希尔伯特所讲的“关系”原本应当是一个多元函数，其变元是专名对象，但现在这种伪公理把概念放在其下，自身表达出了关于这种概念的概念。
因此这里就出现了两个基本的问题∶
首先是数学公理按其性质被迫涉及到二阶的情况，它对于一阶的概念（即关系）有所断言，因而自身已经不是平凡的数学命题了。
其次，它所表达的真理仍然必须通过对一阶的关系的考察而得到确定，而这种确定的可能性在希尔伯特的公理中付诸阙如，因为后者据说要反过来用更高层次的关系去定义下级概念，那么命题的真值当然是悬而未决的。
就此点争论而言，两人的分歧主要在公理与定义二者对真值的关系上∶弗雷格认为只能从基本的定义与真值确定的角度出发才能谈得上有“公理”，但希尔伯特从一开始就反对把传统的真理观套用在公理化方法中，因为经典意义上的“公理”和“公理化”视角下的系统观念是完全不同的，对公理化方法来讲，比真理观更重要的是合法性的保证。尽管合法性显然是传统真理论的题中之义，但当前的问题是，数学意义上的真理是否只需要涉及一个较小的区域，或者说要求一种不那么强的保证。这就需要在弗雷格对系统一致性证明的批评中继续讨论了。
系统的一致性
对于第三个问题，也就是希尔伯特要求的命题真与系统一致性的对应关系，在弗雷格于1899年底写给希尔伯特的那封信里就已经表示，他“把公理看作不是通过证明得来的真命题……而由公理的真可以推出它们互相之间不矛盾。因此根本不需要进一步的证明”。 前面说过，弗雷格认为几何学公理的真值由最初的空间直观保证，而希尔伯特虽然在最基本的意义上同意直观对于几何学的贡献，但涉及到公理的核心特点时，他恰恰认为直观并不是第一要义。并非所有从直观经验中得来的真命题都可以称为公理，也不是说自身的真不需要逻辑证明的命题就是公理，而是只有那些处于体系中并成为其他命题的逻辑基础的原初命题才是公理。
换言之，这个问题的焦点集中在命题的真值究竟是建立在语义学上还是语法学上，是单独的语义先行还是整体的语法结构先行。
弗雷格的立场很清楚∶公理按其语义构造方式来说就是先天为真的，并且立即可以得出体系本身的一致性。希尔伯特则认为，不能像弗雷格那样去考虑传统的语义学对于单个命题之真的保证，而应当从语法学的角度谈论处于系统整体之中的公理意义。这首先体现在他对数学系统性的强调∶即这种系统一致性才是命题真值的唯一保证，假如一个命题不能在系统内证明为假（即它的否命题得证），而且也不与系统内任何命题矛盾，那它就是“真”的。
希尔伯特认为数学命题不同于一般命题，前者的意义只有在公理化以后才完全呈现出来，原先的直观也许奠基了公理命题的可理解性，但这是在语义层面看来才是如此，就语法层面而论，命题中对象本身的意义不需要牵涉形式之外的任何解释。公理首先是形式的确定性，其次才谈得上命题在各种解释模型中的真假，语法的一致性与完备性要先行于语义上的真值和一致性问题。
从更深的层次来讲，对于语义和语法的各执一词实际上反映了弗雷格和希尔伯特对数学命题之可理解性的两种截然不同的态度。什么叫“理解”数学命题在弗雷格看来，无论什么命题，要对它作出整体的理解或者说使它有意义，都必须对词项先行作出赋义，没有赋义就没有意义。
但希尔伯特认为命题的意义不只有一种理解方式，因为命题并不只有一种类型。我们可以说命题具有某种意义，但这并不必然意味着只有一种方式来确定意义，更不要求必须以一种已知的素朴的方式去先行赋义。对命题意义之理解的传统做法不适用于数学命题，因为后者是一种本质上只能先存在于体系当中而后才具有意义的特殊事物。
进而言之，既然弗雷格一开始就把普通命题与数学命题等而视之，从既有的真命题出发建立数学系统，因此必然不会遇到数学对象的存在性问题和系统的一致性问题。按弗雷格的想法，希尔伯特对系统一致性的讨论是多此一举∶我们已经知道公理是真的了，那一致性还能有什么问题？但希尔伯特反其道而行之，他的体系中除了公理之“真”以外还附加了数学对象的“存在”之论断，这个观点揭示了更深刻的哲学分歧，我们或可以称之为形式主义和数学柏拉图主义之间的分歧。
19世纪后半叶许多大数学家都相信数学对象与数学概念都应该以严格的方式给出定义，并分析地建立起整套理论。然而这些人对于数学的对象究竟是什么，它们是否存在以及如何存在，有着不同看法。
希尔伯特作为继承分析学派精神的人固然也认为数学概念应当得到充分定义，数学应当与对象区域有明确的关系，但这并不必然导致人们需要赞同某种柏拉图主义。克莱因纲领的成功经验告诉我们数学研究有其独特的整体视角，在与特定区域关联时，人们完全可以独立把握诸区域的共同本质而不用首先关心每个区域对象自身特有的存在方式。
因此形式主义的研究分离了数学对象的本体论与数学研究的方法论，也否定了传统上本体论先行的做法，甚至反过来让数学方法来决定其对象的存在性质。然而一切方法都有两面性，当希尔伯特反对弗雷格等人从传统哲学出发的观点，强调其公理化的革命性特点时，也意味着数学形式已经远离数学知识的产生与认识问题了，高度形式化的数学真的可以与理解无关吗？
