Ellison, doğumundan bir süre sonra Şikago’ya taşındı. University of Illinois’e kabul edildi ve yılın bilim öğrencisi ödülü de aldı. Üvey annesi vefat edince ikinci sınıftan sonraki final sınavlarına girmedi.
Sonrasında University of Chicago’ya 1 dönemlik geçiş yaptı. Fizik ve matematik eğitimi alıyordu. Yine sınavlara girmedi fakat burada bilgisayar tasarımı dersi aldı. 1966’da 22 yaşındayken Berkeley, California’ya taşındı.