Cómo y cuándo llegaron los gitanos a la Península Ibérica es una cuestión cuyo consenso dista de haberse alcanzado. Una primera teoría los hace proceder del norte de África, desde donde habrían cruzado el estrecho de Gibraltar para reencontrarse en Francia con la ruta migratoria norteña. Se distinguirían así los gitanos del norte, entrados por Perpiñán, los del sur, o tingitanos (en su pronunciación deformada, gitanos, es decir, procedentes de Tingis, hoy Tánger), y los del este (o grecianos) que penetraron por la ribera mediterránea en los años ochenta del siglo XV, probablemente a causa de la caída de Constantinopla. La penetración mejor documentada es la del norte. El primer documento conservado es de 1415. En él Alfonso (luego el Magnánimo) concede salvoconducto a un tal Tomás Sabba, peregrino a Santiago de Compostela. Ese mismo monarca concede otra carta de paso en 1425 a otro jefe gitano con su gente, ordenando que sea bien tratado:
En esos años se sucedieron los salvoconductos, otorgados a supuestos nobles gitanos peregrinos. El seguimiento de esos salvoconductos por toda la geografía española revela para algunos investigadores (según Teresa San Román) algunas evidencias:
El siglo XV puede ser considerado como la edad de oro de los gitanos en Europa. Vagaban de ciudad en ciudad, y aunque es cierto que fueron expulsados con frecuencia, habría que esperar al siglo XVI para que se desatara una ola de persecución solo comparable al antijudaísmo de los europeos. En el siglo XV los estereotipos negativos aún no estaban enraizados, y entre la hostilidad y la fascinación la cultura gitana se dispersó por el continente, mezclándose con las culturas y los idiomas locales. Lentamente se fue convirtiendo en un desafío para los poderes establecidos, para la población sedentaria y para la religión dominante.
Anuncio de una venta de esclavos gitanos en Valaquia el 8 de mayo de 1852: 18 hombres, 10 niños, 7 mujeres y 3 niñas, "in conditie fina" (en buena condición).
Cuando tuvo lugar el descubrimiento de América, en 1492, los gitanos ya estaban esparcidos por toda Europa, donde a pesar de una buena acogida inicial comenzaron a ser perseguidos, marginados, expulsados, severamente castigados, esclavizados (como en Rumania, donde la esclavitud gitana no fue abolida hasta 1864) o simplemente exterminados. El desencuentro entre los no gitanos y los gitanos perduraría desde el siglo XVI hasta la actualidad.
A partir de finales del siglo XVI se sucederán en toda Europa pragmáticas, leyes y decretos contra el modo de vida de los gitanos. La dinámica de estas disposiciones será contradictoria (se los obliga a sedentarizarse al tiempo que se les impide la entrada en muchas ciudades, se los obliga a asimilarse al tiempo que se los concentra en determinados barrios, se los obliga a trabajar en oficios reconocidos al tiempo que se les impide la entrada en los gremios…). La tenacidad de los gitanos, sus estrategias de ocultamiento, de multiocupacionalidad (como la llama Teresa San Román), de seminomadismo o itinerancia circunscrita, de adaptación a las circunstancias cambiantes de la legislación, la capacidad para cruzar fronteras o para aliarse en ocasiones con la población autóctona realizando trabajos imprescindibles, hacen que los gitanos de toda Europa se resistan a la asimilación y conserven sus propios caracteres culturales.
Ante la ausencia de testimonios escritos propios y lo negativo de los ajenos, resultan valiosas las referencias de un personaje peculiar que se acercó al mundo gitano con interés y curiosidad romántica en la primera mitad del siglo XIX: George Borrow. En sus viajes por buena parte de Europa como predicador protestante tuvo oportunidad de contactar con grupos gitanos cuya lengua aprendió, traduciendo e incluso publicando el Evangelio en caló (entre su producción literaria se encuentra La Biblia en España, libro de viajes estudiado por Manuel Azaña).