Sus padres fueron el abogado cuzqueño Víctor Manuel Arguedas Arellano, que se desempeñaba como juez en diversos pueblos de la región, y Victoria Altamirano Navarro. En 1917 su padre se casó en segundas nupcias (la madre había muerto tres años antes), y la familia se trasladó al pueblo de Puquio y luego a San Juan de Lucanas. Al poco tiempo el padre fue cesado como juez por razones políticas y hubo de trabajar como abogado itinerante, dejando a su hijo al cuidado de la madrastra y el hijo de ésta, quienes le daban tratamiento de sirviente.
En 1921 se escapó con su hermano Arístides de la opresión del hermanastro. Se refugiaron en la hacienda Viseca, donde vivieron dos años en contacto con los indios, hablando su idioma y aprendiendo sus costumbres, hasta que en 1923 los recogió su padre, quien los llevó en peregrinaje por diversos pueblos y ciudades de la sierra, para finalmente establecerse en Abancay.
Después de realizar sus estudios secundarios en Ica, Huancayo y Lima, ingresó en 1931 en la Facultad de Letras de la Universidad Nacional Mayor de San Marcos de Lima para estudiar literatura. Entre 1932 y 1937 trabajó como auxiliar de la Administración Central de Correos de Lima, pero perdió el puesto al ser apresado por participar en una manifestación estudiantil a favor de la República Española.
Tras permanecer alrededor de un año en la prisión El Sexto, fue nombrado profesor de castellano y geografía en Sicuani, en el departamento de Cuzco, cargo en que descubrió su vocación de etnólogo. En octubre de 1941 fue agregado al Ministerio de Educación para colaborar en la reforma de los planes de estudios secundarios. Tras representar al profesorado peruano en el Congreso Indigenista Interamericano de Patzcuaro (1942), reasumió su labor de profesor de castellano en los colegios nacionales Alfonso Ugarte, Nuestra Señora de Guadalupe y Mariano Melgar de Lima, hasta que en 1949 fue cesado por considerársele comunista.
