最先向东方进发的，就是隐士皮埃尔所率领的由贫民组成的十字军。这些人不必考虑如何处置自己留在故土的资产，也不必做特别的军事准备，因此成为了十字军的先锋部队。他们未等到乌尔班二世指定的8月15日，而在1096年的春天就开始动身。

不计其数的民众从法国北部和莱茵河附近德意志西部汇聚起来。他们的领导人隐士皮埃尔也不知道而且大概也不想知道确切有多少人。现代研究者有从5万到10万之众的估计。参加者大多数是农民和城市的下层民众，其中不乏盗贼与罪犯。里面也不全是男性，还有成群的妇女和儿童。他们基本上没有武器，身穿军装者也是少数所谓的放浪骑士，就像日本的“浪人”一样。

这些乌合之众自然没有组织纪律，行军时也是跟随在骑驴的隐士皮埃尔之后，有的乘着大车，大多数人则是徒步前进。在既没有后勤部队，也没有医疗单位的情况下，这些人在欧洲之内的行军补给完全依靠沿途居民的善心。

而在得不到补给的情况下，贫民十字军就开始毫不迟疑地劫掠路上所遇到的居民。他们把犹太人视为异教徒，在神圣罗马帝国境内疯狂掠夺犹太人社区，受到了皇帝亨利四世的强烈抗议。十字军所到之处，犹太人只好闻风而逃，造成了将近1000犹太人的死难。而当十字军离开德意志，进入匈牙利境内以后，杀害了几乎相同数目的基督徒“兄弟”。

然而，这支“贫民十字军”有一处绝对的优势，那就是毫不关心人生命的牺牲这一点。在行军洗劫过程中被当地人民杀死，或者由于缺乏食物而不断出现的行军中途死亡的现象，在隐士皮埃尔那里和与他一起前进的十字军中完全得不到关注。

贫民十字军开始时虽然维持着军队的规模，但行军中减员的情况越来越突出。从欧洲出发时拥有10万之众的队伍，到进入亚洲时仅剩余5万，但仍然没有人注意这个问题。

这支“大军”最终以如此的状态抵达了拜占庭帝国的首都君士坦丁堡。

1096年8月1日，在教皇乌尔班二世所确定的十字军出发日之前两周，贫民十字军就已经走过了旅途的半程。