Виктор Ананьевич Панов родился 8 августа 1854 года в семье петербургского мещанина. После окончания штурманского училища Морского ведомства получил назначение на Дальний Восток в Сибирскую флотилию. В 1875 году он прибыл во Владивосток. Ходил на клиперах "Абрек", "Нерпа", "Алеут". Осенью 1877 года, будучи старшим штурманом "Алеута", попал в кораблекрушение. Возвратившись во Владивосток, оставил флот и стал директором маяков и лоций Дальнего Востока.

В. Панов много и активно сотрудничал с газетой "Владивосток", писал информационные очерки, политические статьи, в которых отстаивал свободу торговли и сохранение порто-франко.

В 1892 году В.А. Панов основал новую газету "Дальний Восток", в первом номере которой писал о своих планах: "Выпуская первый номер своего издания, мы вполне сознаем тяжесть и ответственность той роли, которую принимаем на себя перед обществом и правительством. Перед одним мы должны быть выразителями его действительных нужд и стремлений, его прав на общую долю государственного внимания и участия; другому мы обязаны дать в руки тот материал, в котором возможно полно и всесторонне выразились бы, не стесняясь формой, все своеобразности и отклонения местной жизни от тока общегосударственной".

Все события городской жизни постоянно находили отражение на страницах газеты, в том числе и случаи злоупотреблений чиновниками и руководителями города.

Много лет В.А. Панов был гласным (депутатом) Владивостокской городской думы. При этом проявил себя активнейшим радетелем благополучия города и горожан.

В 1903 году был избран городским головой и был им в трудные годы русско-японской войны.

В. Панов одним из первых оценил ошибочность политики правительства в отношении сооружения порта Дальнего и крепости Порт-Артур. В своей большой, фактически-аргументированной работе "Историческая ошибка" он писал: "Коммерческие интересы Дальнего столкнулись с военно-морскими интересами Порт-Артура, и внутренняя борьба двух наших же портов завершилась тем, что к моменту войны крепость, по недостатку ассигнований, оказалась необорудованной, а коммерческий порт, строившийся из золота, но не прикрытый этой крепостью, послужил неприятелю отличной базой для взятия Порт-Артура".

В.А. Панов был активен в общественной жизни. Вступив в члены Общества изучения Амурского края, вскоре стал секретарем Распорядительного комитета. Много способствовал строительству здания музея Общества. На 25-летие открытия музея, 30 сентября 1915 года, выступая с докладом, он сказал: "Общество изучения Амурского края поставило своей задачей изучить местную страну, как арену деятельности местного населения во всем ее социальном объеме. С этой точки зрения, Общество является посредствующей средой между страной и населяющим ее народом. Общество закладывает в общественную жизнь города и края семена привязанности к самой стране, способствует выявлению местной самобытности, одновременно с этим, относясь с одинаковым вниманием и интересом к инородцу-аборигену, к поселенцу-корейцу, пришлому китайцу и новоселу-русскому, выясняя объективно их взаимоотношения на почве культуры, Общество внедряет человечность во взглядах социально-господствующей группы, приучает к мысли ценить в безлюдной тайге человека не по цвету его кожи - белой или желтой, а по человеческому облику и культурной работе".

В.А. Панов скончался 8 ноября 1922 года, отпет в Успенском кафедральном соборе, похоронен на Покровском кладбище.