到法国后，徐悲鸿进入了巴黎朱利安学院，从最基础的素描开始学习。刚开始很不习惯，因为以前在国内时画的大多是写意的中国画，现在对着物体画素描时，觉得自己的观察和描写都很不准确，手上没准，“如无缰之马，难以控制”。为了改变过去作画的习惯，徐悲鸿不画中国画了。
过了两个多月，徐悲鸿才开始对素描稍稍找到了些感觉。1920年，徐悲鸿报考了设在巴黎的法国国立最高美术学校绘画科。这个学校书多，老师好，学费不用缴，就是入门考试严。考试考了1个月，徐悲鸿以百人中第十四的名次被录取了。
学画的过程枯燥而艰苦，对一位来自中国的穷学生而言就更难。为了省钱，徐悲鸿节衣缩食，有时连续几周每天以面包和冷水充饥。他尽量不画耗材费用 很高的油画，把重点放在了素描上。没钱请模特，他就画蒋碧微，有时在家里对着镜子画自己，我们现在看到的许多徐悲鸿自画像都是他在这一时期创作的。
1921年夏天，由于国内政局动荡，北洋政府一度中断了给留学生的生活费，徐悲鸿被迫来到消费较低的德国柏林。在德国将近两年的时间里，徐悲鸿 不放过每一个学习的机会，他求教于柏林美术学院院长康普，到博物馆临摹著名画家伦勃朗的画作。只要生活能维持，徐悲鸿就拼命画，每天作画十几个小时，从不 间断。为了画好狮子行走时提起的一只后腿，徐悲鸿一连3个月到动物园写生。
在德国期间，徐悲鸿见许多美术复制品非常精良，他便向别人借钱，尽量多买一些，准备将来带回国内。他的房间到处塞满了购买的各种资料。借钱买这些东西，对家庭生活却照顾不多，徐悲鸿常常引起妻子的不满。
有一次，徐悲鸿在街上偶然看到有家画店出售康普等画家的作品，价格非常便宜。他非常兴奋，马上意识到这是收藏大师作品的极好机会，可眼下两手空 空，自己已经一年多没拿到生活费了，并且欠了朋友很多钱，哪里还有钱再去买艺术品呢？无奈，徐悲鸿去求助同在德国留学的宗白华等几位好友，这才勉强买下了 康普的两幅油画和一些速写。现在这些作品都收藏在北京徐悲鸿纪念馆。