Динамика численности крупнейших агломераций мира (WUP)

Вышел выпуск за 2021 год ежегодно обновляемого списка крупнейших агломераций мира Demographia World Urban Areas После обновления, предыдущий год стирается, но я их сохраняю, если кому интересно, то вот последние выпуски.
Они ежегодно пересматривают границы и по ряду агломераций меняют(чаще добавляют) площадь. Иногда обновляется базовый год расчета и просто меняется сама оценка (см. Карачи). В табличку добавил Донгуан и Гонконг, для возможности оценить мегалополис дельты Жемчужной реки. Так, например CityPopulation объединяют Гуанчжоу, Донгуан, Шеньчжень и мелочевку (но не Гонконг, т.к. граница, хотя у них с Шэньчженем даже метро давно срослось, хотя опять же граница)
Конечно, неточности есть. Например, в этом году что-то произошло с Пермью, мне даже кажется, что это опечатка, т.к. площадь не изменилась. А в прошлом было два Липецка. Зато Саратов с Энгельсом объединили.
Ну и собственно табличка:


Эксель вариант этой же таблицы.

P.S. Название наверн, немного вводит в заблуждение. Все же я привел эту динамику, в том числе, чтобы сгладить колебания и скачки их оценок

Маятниковая миграция по переписи-2010

Нашел у себя в закромах файлик, выкачанный из базы переписи. Помнится, народ интересовался. Сорри, что не обработанный. Может ближе к подведению итогов переписи-2020 дойдут до него руки, чтобы было с чем сравнить. Пока выложу, чтобы было )) Данные идут где-то в разбивке населенных пунктов, где-то городских населенных пунктов и сельсоветов. Также присутствуют внутригородские районы крупных городов.
Если кто-нить добавит колонки по субъектам и АТЕ-2 и АТЕ-3, просьба отписаться здесь. Очередность субъектов, низовых АТЕ и нас. пунктов, как тут. Если будете анализировать эти данные - тоже, чтобы не выполнять дважды одну и ту же работу. Я как-то давно смотрел, что получается по ближним пригородам крупных городов + еще думаю после переписи-2020 сравнить изменения. В грядущей переписи этот вопрос будет расширен

Файлики: населенные пункты и субъекты

База авиарейсов за 2013 год

Уже писал про эту базу: https://statistic-rus.livejournal.com/5415.html. 

Более-менее ее агрегировал. Сравнил с теми странами, по которым есть провозные емкости по парам аэропортов (Европа, США, Япония и Австралия). Не идеально но сошлось, курорты только плохо совпадают из-за чартеров.

Источник: https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/COHFWA

Здесь также есть данные с 2014 по 2019 гг., но чтобы их получить, нужно доказать, что собираешься их использовать в научно-исследовательских целях. Я этого делать не пробовал.

Агрегированная база: https://disk.yandex.ru/d/MHNlLRO8bH5MiQ

Пассажиропоток железнодорожных узлов России

Есть данные ЖД-медиа, широко известные в среде ЖЖшников. https://www.zd-media.ru/statistika/stations-2019.htm
Они немного неточны: за разные годы берется то общий пассажиропоток, то только отправление. По небольшим станциям может быть сильное искажение.
Еще есть статистика от Росстата по субъектам: https://showdata.gks.ru/report/277178/
Хочу с разрешения автора(Самбуров Кирилл) поделиться данными по дальнему пассажирскому сообщению: https://www.elibrary.ru/item.asp?id=43338213. Также, ориентировочно в мае этого года, им будет защищаться кандидатская. Там тоже ожидается познавательный стат.
Комментарий: сведения за 2016 год, т.к. в 2017 и 2018 были поезда «в честь» чемпионата мира и кубка конфедерации, которые исказили статистику. Отличие от Росстатовских данных почти наверняка связано с особенностями учета поездов с двойной нумерацией, в первую очередь ласточек — Росстат их относит к пригородному, а у Самбурова они в дальнем сообщении.
Анапа — в 2016 году еще не было крымского моста, около 30% пассажиропотока пересадка на Крым. Саратов — много транзитников с Казахстана. Киров и Котлас — пересадочные узлы, много транзитников
После 2016 состоялся запуск ряда ласточек, например Псков-СПб
Update:заливаю табличку и карту из статьи:

Большая база данных пассажиропотоков по парам аэропортов.

База данных OAG за 2013 год, есть провозные емкости (количество пассажиромест) и куча другой инфы. Только не спрашивайте, как раскопал ))
Источник: https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/COHFWA
Всего 9 млн. строк и 80 колонок. Экселем и блокнотом лучше не открывать. Access отлично подошел. Предварительно разбил файл на три части, и вытаскивал нужные страны в Эксель. Чтобы получить данные по парам аэропортов, нужно провести ряд действий. Если кому интересно – могу сделать это для отдельных аэропортов и стран. Или же расписать алгоритм. Пока подробно рассмотрел Гонконг. Сейчас обсчитываю Россию. На очереди Китай и Япония. Еще, возможно, Дубай.
Ссылка на исходный файл: https://yadi.sk/d/LNQJkKLWvGinTQ
Здесь последний файл - расшифровка названий колонок исходного громадного файлика:
https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi%3A10.7910%2FDVN%2FCOHFWA&version=&q=&fileTypeGroupFacet=&fileAccess=Public&fileTag=&fileSortField=&fileSortOrder=

В источнике также есть файлы за 2014-2019 гг. но к ним доступ ограничен.
Из сложностей: есть колонка, где указаны промежуточные посадки - их я никак не учитывал и пока нет хороших идей, как это сделать.
До конца еще со всем не разобрался, но уж очень не терпится поделиться ))

Сделал небольшую сводку для международных рейсов по России:
Все данные в тысячах кресел за 2013 год:
первая колонка - сумма по российским аэропортам
следующие 4 - по иностранным (код аэропорта - код страны)
последние 2 - сумма по каждой стране



Смущают слабые позиции у курортов: даже если это чартеры, то все равно должны быть регулярные рейсы ведь?

P.S. шахматка по международным направлениям для аэропортов России:
https://yadi.sk/i/h_GH6ehMoiTy9A

Пассажиропотоки между парами городов

Нашел столь редкие для России данные о пассажиропотоке по парам городов. Статистика от tutu.ru апрель 2019 года:

вся цепочка поиска:

https://habr.com/ru/company/ods/blog/493200/

https://github.com/ods-ai-ml4sg/covid19-tutu/tree/master/data — здесь последняя строка

https://github.com/ods-ai-ml4sg/covid19-tutu/blob/master/data/transport_traffic.csv

и картинка по авиа пассажиропотоку из VK, группа "графики и жизнь" на основе этих данных:



Update:
Росстат добавил данные за 2019 год по пригородному и общему пассажиропотоку по субъектам РФ. Интересно, как скажется ввод МЦД на росте пассажиропотока в 2020? Реальный рост + более полный учет + двойной учет: часть маршрута обычной электричкой, потом пересадка на МЦД.

Компоненты изменения численности по городам 100-тысячникам за 1990-2020 гг

Еще с прошлого года собирал данные по компонентам численности городов 100-тысячников, но кое-чего так и не нашел, еще по некоторым разные цифры по разным источникам – оставил пустые ячейки. Численность указана на 1 января. Данные за 1990-2002 пересчитаны после переписи 2002, за 2003-2010 после переписи 2010, поэтому расходятся со старыми статежегодниками. Данные уже без ЗАТО, кроме Уфы (Межгорье включено как миграция, хотя правильнее было бы АТП, вероятно тоже самое с Авдоном) У Томска в 1990 году еще входила часть Северска. Пересчет миграционной компоненты после переписи обычно распределяется по всему предыдущему периоду, правда в 2002 году опять у Уфы все было записано на один последний год и в 2010 в ряде субъектов все записано на последний год. Кроме того стоит учитывать изменение методологии с 2011 в результате чего миграционный прирост в период 2011-15 завышен (об этом в будущем посте). Нет Крыма (отсутствует длительная динамика), Зеленодольска и Железногорска. Города отсортированы по численности на 2017 год (кроме Железнодорожного)


По таблице 2011-2020: в таблице для скачивания есть еще столбцы за 2010 год. По отдельным городам данные за 2011 год расходятся – в таблице выделены цветом. Изменений АТД было немного – показаны в предыдущей таблице.


Стоит отметить, что рассматривая изменение численности крупнейших городов РФ в последнее десятилетие, важно учитывать прилегающую к ним территорию.
Для удобства сама таблица: https://yadi.sk/i/tKiYWTzkaRTIgg

Карты с помощью ГИСов

В детстве, листая немногочисленные карты и атласы, мне часто не хватало в них возможностей ГИСов: статистики по клику на объект, наложение/отключение дополнительных слоев. Когда узнал про ГИСы, освоение их шло очень медленно, мозг уже не так хорошо обучаем. Метод тыка работал плохо, учебников нет, видео не так много, но по нему неудобно, вроде что-то есть на ГИС-Лабе но и с ним отношения не очень.
Сегодня, наконец, сделал прорыв. Пожалуй самое главное в ГИСах — найти нужные данные: прежде всего шейп-файлы, языком графических редакторов — шаблоны с границами территорий и к ним прилагаются еще несколько, в том числе таблица атрибутов.

Например, мы хотим раскрасить РФ в разрезе городских и сельских поселений (АТЕ-3). Когда-то начал искать на ГИС-Лабе где-то отсюда:
https://gis-lab.info/qa/vmap0.html#.D0.94.D0.B0.D0.BD.D0.BD.D1.8B.D0.B5_.D0.BD.D0.B0_.D1.82.D0.B5.D1.80.D1.80.D0.B8.D1.82.D0.BE.D1.80.D0.B8.D1.8E_.D0.A0.D0.BE.D1.81.D1.81.D0.B8.D0.B8
https://gis-lab.info/qa/rusbounds-rosreestr.html

сейчас не нашел, так что залил на диск:
https://yadi.sk/d/zsyCX1hBGzw31A (***)
В наличии около 14 тысяч СП (60-65%):

https://cdn1.radikalno.ru/uploads/2020/6/27/a62697ccf9e6ae3a1b12d6d2ce20ddc1-full.jpg
https://cdn1.radikalno.ru/uploads/2020/6/27/cb44b878191841db8b01f9231d2111d6-full.jpg

На другом ресурсе нашел недостающие. Все не проверял, есть Башкирия, которая отсутствует в предыдущем наборе. Здесь удалось правильно открыть таблицу атрибутов: с помощью OpenOffic'a и кодировки Юникод(UTF-8). В ней есть названия поселений и коды ОКТМО. У Росстата в таблице с численностью поселений также есть коды ОКТМО, так что в Excel'e можно сопоставить за пару минут. В случае, если коды отсутствуют - можно сопоставить по названиям. Это более трудоемкий процесс. Таким образом добавлен столбец с численностью и по нему сделана раскраска. Белые - это городские округа (идут в другом слое) и несколько СП. Похоже когда сортировал столбцы и обратно вставил в таблицу атрибутов - у меня всё съехало:



Количество и границы диапазонов можно выбрать вручную. Есть достаточно много заготовок шкал - выбираешь любую и карта моментально перекрашивается. Так что можно вдоволь понастраивать диапазоны цвета и оттенки, чтобы карта лучше помогала анализировать данные



Наверняка можно добавить и свою собственную, пока не разбирался как.

Проекцию, разумеется, тоже можно настраивать. Вот красиво сгладить границы, как в шаблоне acer'a вряд ли получится. Еще есть слои (23-27 штук) с общественным транспортом, населенными пунктами, автодорогами, возможность расчета расстояний, так что, если прокачать навык ГИСов, то можно посчитать агломерации РФ по различным критериям доступности.

Вобщем, если у кого есть желание разобраться с ГИСами - смело обращайтесь, с удовольствием разъясню, что могу.
Следующая цель: попытаться все же осилить шаблон РФ АТЕ-3. Еще было бы здорово делать интерактивные карты, но это дело далекого будущего.

Update: таблица атрибутов для 14 тысяч СП (сноска-***) корректно открывается в кодировке "Кириллица (Windows-1251)" Есть названия всех СП, но нет кодов ОКАТО/ОКТМО. Так что придется с ней немного попотеть.

Upd2: ссылки для скачивания шаблонов/полигонов/шейпов:HMD, geofabrik, naturalearthdata, mapcruzin, geocommons, statsilk, diva-gis, gis-lab, gadm.org, needgeo.com, data.nextgis.com

Что это было? О действиях мировых лидеров

Долго размышлял, но  так и не понял:

Неужели нельзя было предпринять согласованных упреждающих мер:(варианты могут отличаться) например, как только в Китае начала разрастаться пандемия - прервать всё международное авиасообщение, за исключением вывоза своих граждан из Китая или из всех стран с двухнедельным карантином по прибытии. Если уж так сложно договориться всем вместе, почему же ни одна страна не предприняла эти меры самостоятельно.

В чём причина запоздалых полумер? Разве любой упреждающий вариант не был бы менее губителен для экономики, не говоря уж про жизни и здоровье людей?

Мировые лидеры:

1) Не ожидали/не предвидели всей серьезности ситуации

2) Не смогли договорить (вроде бы сильно и не пытались)

3) Бюрократия: слишком медленно принимались/согласовывались решения, договаривались (внутри стран)

4) Выбрали оптимальный вариант.  Даже сейчас, зная последствия поступили бы также.

У нас принято критиковать свою власть и хвалить действия чиновников в развитых странах — в итоге же получается, что все мировые лидеры, если не облажались, то уж точно (как говорят про вратарей) не выручили в опасной ситуации (разве что, кроме Китая и Южной Кореи)

Вот и надейся после этого, что миром и странами управляют команды лучших специалистов, умеющих оценить/предвидеть, как будут развиваться события.

16. Миграция в крупнейшие города

На данных картах отмечено абсолютное число прибывших за 2018 год в города-миллионники и около того (субмиллионники). Учтена постоянная миграция, временная и автовозврат к предыдущему месту жительства после окончания срока временной регистрации.
















На данной карте отмечен город-лидер, куда переезжают (опять же из числа крупнейших)

Больше всего не повезло тем, у кого соседи тоже миллионники: у Уфы, Челябинска и Екб – только свои субъекты, у Перми и Саратова – по два. Удивительно разбросало Омск: Калининград, СПб и Чукотка.
Исходная таблица, по которой составлены карты:

Ну и пара слов по методологии:
Попробовал сделать то же самое, но не по месту откуда прибыли, а по месту рождения + убран автовозврат и вместо города взят городской округ (так проще подсчитать, а разница невелика) вторая карта - повтор той, что выше:


Ожидал более существенной разницы, но единственное существенное влияние – автовозврат из основных всероссийских регионов притяжения: Москвы, Московской области, СПб, ХМАО, ЯНАО и Краснодарского края.

также обсуждение здесь: https://www.skyscrapercity.com/showthread.php?t=211076&page=2012
и таблица: прибывшие, выбывшие и мигр. прирост
https://docs.google.com/spreadsheets/d/1sIir7PMx7cmXV-yNAl-g19K1iUMVIyUrgShqe1flaCs/edit?usp=sharing