Бащата на Васил Караиванов - Генчо Караиванов и майката на Левски - Гина Караиванова са брат и сестра. Васил Караиванов е първи братовчед на Васил Левски и касиер на Карловския революционен комитет. След смъртта на баща му той поема управлението на известния за времето си Караиванов хан, разположен срещу къщата на Левски. Там са се провеждали заседанията на местния революционен комитет. При подготовката за Априлското въстание, за среща с Васил Караиванов, в хана са отсядали Георги Бенковски, Тодор Каблешков и Панайот Волов. След освобождението от турско робство Васил Караиванов е избран за кмет на гр. Карлово. Той е и първият демократично избран кмет в България.
Петър Караиванов е син на Васил Караиванов и чичо на Стефан Караиванов. "Той от съвсем малък започва да записва тези спомени на баща си, който слава богу, е успял да доживее до една сериозна възраст. Записва неговите спомени, започва да се рови в документи. И след смъртта на баща си продължава да търси документите, които са нужни за тази книга", разказа Стефан Караиванов. По книгата неговият чичо е работил в продължение на 50 години.
За първи път книгата "Васил Левски по спомени на Васил Караиванов - първи братовчед на Апостола" излиза през 1987 г. От 2013 г. насам Стефан Караиванов я преиздава всяка година, а паралелно с това публикува и допълнителни издания, най-често - за деца.