La procedencia de los gitanos ha sido objeto de todo tipo de fantasías. Han sido considerados descendientes de Caín, o relacionados con la estirpe de Cam. Algunas tradiciones los han identificado con magos caldeos de Siria, o con una tribu de Israel extraviada en el Egipto faraónico. Una antigua leyenda balcánica los hace forjadores (o ladrones) de los clavos de Cristo, motivo por el cual habrían sido condenados a errar por el mundo, si bien no hay ninguna prueba que sitúe a los gitanos en Oriente Medio en esa época.
Los estudios genéticos y lingüísticos parecen confirmar que los rom son originarios del Subcontinente Indio, posiblemente de la región del Punjab.Unas teorías sugieren que fueron originariamente individuos pertenecientes a una casta inferior reclutados y enviados a luchar al oeste contra la penetración musulmana. O tal vez los propios musulmanes conquistaron a los rom, los esclavizaron y los trajeron al oeste, donde formaron una comunidad separada. Esta última hipótesis se basa en un relato de Mahmud de Ghazni, que informa de 50.000 prisioneros durante una invasión turco-persa del Sindh y del Punjab. Por qué los rom escogieron viajar al oeste en lugar de regresar a su tierra constituye otro enigma, aunque la explicación puede haber sido el servicio militar bajo dominio musulmán.
Lo que es aceptado por la mayoría de los investigadores es que los romaníes podrían haber abandonado la India en torno al año 1000 y haber atravesado lo que ahora es Afganistán, Irán, Armenia y Turquía. Varios pueblos similares a los gitanos viven hoy en día en la India, aparentemente originarios del estado desértico de Rajastán, y a su vez, poblaciones gitanas reconocidas como tales por los propios gitanos habitan todavía en Irán con el nombre de lurios.
Si bien las pruebas documentales comienzan a ser fiables sólo a partir del siglo XIV, algunos autores contemporáneos han rebajado la fecha del año 1000 o incluso antes. Ciertos datos sugieren que las primeras referencias escritas de la existencia del pueblo rom son anteriores: un texto que relata cómo Santa Atanasia de Egina repartió comida en Tracia a unos «extranjeros llamados atsigani» (del griego Ατσίνγανος') durante la hambruna del siglo IX, en plena época bizantina. Incluso antes, a principios del mismo siglo, en el año 803, Teófanes el Confesor escribe que el emperador Nicéforo I echó mano de la ayuda de ciertos atsigani, que con su magia le habrían ayudado a contener una revuelta popular.
«Atsinganoi» fue un término usado también para referirse a adivinadores ambulantes y ventrílocuos y hechiceros que visitaron al emperador Constantino IX en 1054. Un texto hagiográfico (Vida de San Jorge anacoreta) refiere cómo los «atsigani» fueron llamados por Constantino para ayudarle a limpiar los bosques de fieras. Más tarde serían descritos como hechiceros y malhechores y acusados de intentar envenenar el galgo favorito del emperador. La extensión de ese término generaría los modernos sustantivos tzigane, Zigeuner, zingari y zíngaros.
Un relato histórico-legendario del siglo X titulado Crónica Persa, de Hazma de Ispaham, menciona a ciertos músicos solicitados al rey de la India, a los que llamó zott. El Libro de los Reyes (o Shahnameh, fechado en 1010), del poeta Firdusi cuenta una historia similar: varios miles de Zott, Rom o Dom («hombres») habrían partido del actual Sindh (puede que del río Indo) con objeto de entretener al rey de Persia con sus espectáculos.
A partir de ahí, tras una larga estancia en esa región, y ya descritos como un pueblo que rechazaba vivir de la agricultura, se habrían esparcido en dos grupos migratorios: uno hacia el sudoeste y Egipto, otro hacia el noroeste y Europa.
Si bien no existe consenso definitivo sobre esta cuestión, la opinión más extendida se ve avalada por las siguientes evidencias del origen asiático de los gitanos:
Desde su llegada a tierras europeas, uno de los rasgos de la comunidad gitana que más llamó la atención de los demás pueblos era su extraña lengua, muy diferente de las habladas en Europa. La primera reproducción escrita del romaní se remonta a una enciclopedia de título Fyrst Book of the Introduction of Knowledge (Primer libro de introducción al saber) cuyo autor fue Andrew Boorde. Esta obra, completada en 1542 y publicada en 1547, recogía ejemplos de frases en lo que el autor llamaba Egipt speche (habla egipcia), dando por válida la creencia popular de que los gitanos procedían de Egipto.Durante los dos siglos siguientes aparecen más menciones escritas de la lengua romaní. En España, el marqués de Sentmenat publica alrededor de 1750 un pequeño vocabulario del romaní hablado en la Península Ibérica.Uno de los primeros o el primer documento en que se propone identificar la lengua romaní como una lengua india es un trabajo de Szekely de Doba en la Gaceta de Viena en 1763. En este artículo comenta que el predicador Vali, de la Universidad de Leiden, estudió el idioma de unos estudiantes de Malabar del distrito de Zigania, nombre que le recordó el de los zíngaros y que posteriormente expuso el vocabulario a gitanos de Almasch (Komora, Eslovaquia), comprobando que éstos entendían las palabras. A nivel académico, el descubrimiento del origen indio del romaní corresponde al alemán Johann Rüdiger, catedrático de la Universidad de Halle, quien en 1782 publicó un artículo de investigación lingüística, en el que analizaba el habla de una mujer gitana, Barbara Makelin, y la comparaba con la lengua recogida en una gramática alemana del hindustaní (el nombre con el que se conocía antiguamente a los actuales hindi y urdu). En su artículo, Rüdiger reconocía la influencia en sus investigaciones del diccionario de romaní de Hartwig Bacmeister, de 1755, a quien ya en 1777 había comunicado sus ideas, así como su deuda hacia su profesor Christian Büttner, que años antes había aventurado la posibilidad de un origen indio o acaso afgano de los gitanos. Sin embargo, fue Rüdiger quien estableció, mediante su comparación entre la descripción gramatical del indostaní y el habla de Barbara Makelin, que las similitudes entre ambas variedades lingüísticas evidenciaban un origen común.
Estudios subsiguientes de la lengua romaní han mostrado un estrecho parentesco con el panyabí y el hindi occidental, tanto en su vocabulario fundamental como en sus estructuras gramaticales y en los cambios fonéticos. Las investigaciones de Alexandre Paspati (Études sur les Tchinghianés, publicado en Constantinopla en 1870), de John Sampson (The dialect of the gypsies of Wales, 1926) y de los suecos Gjerdman y Ljungberg (La lengua del gitano sueco trabajador del cobre Dimitri Taikon, publicado en 1963) evidencian que existe una unidad dentro del romaní que se extiende por toda Europa. Los estudios citados recogían muestras del romaní griego, galés y sueco, respectivamente. Queda demostrado así que el vocabulario básico coincide de manera relevante
Determinadas características gramaticales índicas se mantienen en el romaní contemporáneo (y algunas incluso en el caló español actual):