구글X의 시초는 레리 페이지(Larry Page)와 스탠퍼드대 컴퓨터과학자인 세바스찬 트룬(Sebastian Thrun)의 만남으로 2005년 시작되었다. 두 사람은 인공지능과 로보틱스의 가능성을 공감하고 2009년 구글에서 무인자동차 개발 프로젝트를 시작한다. 무인자동차 개발 프로젝트의 기대 이상의 성과로 트룬, 브린, 페이지 세 사람은 이 프로젝트 조직을 별도의 온전한 연구실(research lab)로 성장시키기로 하고구글X를 조직하게 된다. 구글X는 조직 구조나 예산, 연구 내용 및 운영 방안 등에 대해 외부에 공식적으로 공개하고 있지 않다. 하지만 구글의 본사가 있는 캘리포니아 마운틴 뷰의 ‘Googleplex’ 근처 2층짜리 벽돌 건물에 위치하고 있으며, 예산은 매년 30억 달러 이상인 것으로 추정된다(Businesweek, 2013).
레리 페이지와 세바스찬 트룬은 구글에서 무인자동차 개발 프로젝트를 성공으로 이끈 후 구글X를 만들었다. 구체적인 연구 내용 등은 비공개로 되어 있으나 매년 30억 달러 이상의 예산을 소요하는 것으로 추측된다.