事實上，圖靈在1950年關(guān)于圖靈測試的文章中，就曾提到了機器學(xué)習(xí)的可能；二十世紀(jì)五十年代初已有機器學(xué)習(xí)的相關(guān)研究，例如A. Samuel著名的跳棋程序．五十年代中后期，基于神經(jīng)網(wǎng)絡(luò)的“連接主義”(connectionism)學(xué)習(xí)開始出現(xiàn)，代表性工作有F．Rosenblatt的感知機(Perceptron)、B．Widrow的Adaline等．在六七十年代，基于邏輯表示的“符號主義”(symbolism)學(xué)習(xí)技術(shù)蓬勃發(fā)展，代表性工作有P．Winston的“結(jié)構(gòu)學(xué)習(xí)系統(tǒng)”、R.S．Michalski等人的“基于邏輯的歸納學(xué)習(xí)系統(tǒng)”、E．B．Hunt等人的“概念學(xué)習(xí)系統(tǒng)”等；以決策理論為基礎(chǔ)的學(xué)習(xí)技術(shù)以及強化學(xué)習(xí)技術(shù)等也得到發(fā)展，代表性工作有N.J．Nilson的“學(xué)習(xí)機器”等；二十多年后紅極一時的統(tǒng)計學(xué)習(xí)理論的一些奠基性結(jié)果也是在這個時期取得的．1980年夏，在美國卡耐基梅隆大學(xué)舉行了第一屆機器學(xué)習(xí)研討會(IWML)；同年，《策略分析與信息系統(tǒng)》連出三期機器學(xué)習(xí)專輯；1983年，Tioga出版社出版了R.S．Michalski、J．G. Carbonell和T．Mitchell主編的《機器學(xué)習(xí)：一種人工智能途徑》[Michalski et al.，1983]，對當(dāng)時的機器學(xué)習(xí)研究工作進(jìn)行了總結(jié)；1986年，第一本機器學(xué)習(xí)專業(yè)期刊Machine Learning創(chuàng)刊；1989年，人工智能領(lǐng)域的權(quán)威期刊A'rtificial Intelligence出版機器學(xué)習(xí)專輯，刊發(fā)了當(dāng)時一些比較活躍的研究工作，其內(nèi)容后來出現(xiàn)在J．G. Carbonell主編、MIT出版社1990年的《機器學(xué)習(xí)：范型與方法》[Carbonell，1990] -書中．總的來看，二十世紀(jì)八十年代是機器學(xué)習(xí)成為一個獨立的學(xué)科領(lǐng)域、各種機器學(xué)習(xí)技術(shù)百花初綻的時期．R.S．Michalski等人[Michalski et al.，1983]把機器學(xué)習(xí)研究劃分為“從樣例中學(xué)習(xí)”“在問題求解和規(guī)劃中學(xué)習(xí)”“通過觀察和發(fā)現(xiàn)學(xué)習(xí)”“從指令中學(xué)習(xí)”等種類；