La Asociación Internacional de Semiótica Visual nació a partir de un intercambio de ideas entre Michel Costantini y Göran Sonesson durante el congreso de la Asociación Internacional de Semiótica que se realizó en Perpiñán, en el sur de Francia, en 1988. La Asociación Internacional de Semiótica Visual (International Association for Visual Semiotics, en inglés, Association internationale de sémiotique visuelle, en francés, las tres lenguas oficiales de la Asociación), cuya sigla es AISV-IAVS, fue oficialmente fundada como asociación según la ley francesa en 1989 en Blois, Francia, donde tuvo lugar su primer congreso internacional en 1990. El evento reunió en esa ocasión más de un centenar de semióticos visuales provenientes de todo el mundo. Se la llamó en ese entonces Asociación Internacional de Semiología de la Imagen, o AISIM, y su nombre fue cambiado en 1992.
Como se indica en su nombre (semiótica visual), el objetivo principal de la AISV es reunir a semióticos de todo el mundo que se interesan en las imágenes y, en términos generales, en la significación visual, sin privilegiar ninguna interpretación particular de la semiótica, y sin favorecer alguna tradición semiótica en particular.
Luego del congreso fundacional de Blois, el segundo congreso de la AISV tuvo lugar en Bilbao, España, en 1992, en tanto que el tercer congreso se integró con el congreso internacional de la AIS-IASS (Asociación Internacional de Semiótica, International Association for Semiotic Studies) realizado en la Universidad de California en Berkeley, Estados Unidos, en 1994. Los congresos siguientes tuvieron lugar en São Paulo, Brasil (1996), Siena, Italia (1998), Quebec, Canadá (2001). El 7° congreso se realizó en México DF en 2003 y se continuó en las sesiones de 2004 en Lyon, en el transcurso del 8° Congreso de la Asociación Internacional de Semiótica. El 8° congreso tuvo lugar en Estambul en 2007, el 9° congreso se realizó en Venecia en 2010, el 10° en Buenos Aires en 2012, y el 11° en Lieja en 2015.
La AISV ha organizado también reuniones o sesiones junto con la Asociación Internacional de Semiótica del Espacio, principalmente durante el congreso de la AIS realizado en Dresde, Alemania, en octubre de 1999. Otras sesiones conjuntas se llevaron a cabo durante el congreso de la AISV en Quebec. La AISV también ha organizado sesiones de semiótica visual durante el congreso de la AIS en La Coruña (2009), y congresos regionales europeos en Lisboa en 2011 y Venecia en 2014.
El primer presidente de la AISV fue Michel Costantini en 1989. La primera presidenta electa en 1990 fue Fernande Saint-Martin, de la Universidad de Quebec en Montreal. El segundo presidente, electo durante el congreso de Berkeley en 1994, fue Jacques Fontanille, de la Universidad de Limoges. Ana Claudia de Oliveira, de la Pontificia Universidad Católica de São Paulo, fue nombrada presidente durante el congreso que tuvo lugar en São Paulo en 1996, y Paolo Fabbri, de la Universidad de Bolonia, lo fue igualmente en Siena en 1998. Jean-Marie Klinkenberg, de la Universidad de Lieja y miembro del Grupo µ, fue elegido presidente durante el congreso de Quebec en 2001 y ha sido confirmado en ese cargo por las asambleas generales reunidas en Lyon en 2004, Estambul en 2007 y Venecia en 2010. Le sucedió en la presidencia José Luis Caivano, de la Universidad de Buenos Aires, elegido durante el congreso de Buenos Aires en 2012. El actual presidente, Göran Sonesson, de la Universidad de Lund, fue elegido en el congreso de Lieja en 2015.
En sus inicios, la AISV utilizó la revista EIDOS, Bulletin international de sémiologie de l’image, creada con anterioridad por el grupo de investigación de Blois que llevaba el mismo nombre (Universidad François-Rabelais, Tours), como órgano de investigación. Sin embargo, luego de 1996, la AISV comenzó a publicar su revista oficial, VISIO, Revue internationale de sémiotique visuelle, con el apoyo financiero y logístico del CRSHC y del CÉLAT de la Facultad de Letras de la Universidad Laval, en Quebec.