Monthly Archives: July 2012

Guidelines on cross-platform porting

There is a nifty piece of software called zsync, which is kind-of like rsync, except it is totally different.

Rsync

Rsync is mainly useful when you want to synchonize a list of files, or directories, between two servers. It will only download the new files and files which have changed. It will even delete or backup the files which have been removed at the original site. Nice.

For a project I was involved until recently at work we had a slightly different problem: we generate a huge file (an ISO image) which contains about 6 GB of data. This ISO image contains the daily build of our application. It contains only a handful of files. Problem is some of them are generated and GB in size, yet from day to day only maybe 100-150 MB have changed (and it would be even less if it were not because of this “feature” of .NET that never generates identical binaries even if using exactly the same source code)

Rsync was not useful in this case: it would download the whole file, gigabytes! (some of the people downloading the ISO are on a slow link in India)

 

zsync

This is exactly the case zsync targets: zsync will only download the changed parts of the file thanks to the rolling checksum algorithm.

Best of all: no need for an rsync server, opening port TCP 873 (which requires months of arguing with BOFHs in some companies), or anything special: HTTP over port 80 and you are done. Provided that you are not using Internet Information Server, which happens to support only 6 ranges in an HTTP request (hint: configure nginx in reserve proxy mode).

But I’m digressing.

Cool. Great. Awesome. Zsync. The perfect tool for the problem.

 

Hello Windows

Except for this project is for Windows, people work on Windows, they are horrified of anything non-Windows, and zsync is only available for Unix platforms.

Uh oh.

In addition to that, the Cygwin port suffers from many connection error problems on Windows 7 and does not work on a cmd.exe prompt, it wants the Cygwin bourne shell prompt.

So I started to port zsync to Windows natively.

 

Native port howto

The starting point was:

  • C99 code
  • autotools build system
  • No external dependencies (totally self-contained)
  • Heavy use of POSIX and Unix-only features (such as reading from a socket via file descriptors, renaming a file while open, deleting a file while open and replacing it with another file yet still use the same file descriptor, etc)

To avoid breaking too much, and because I wanted to contribute my changes upstream, my intention was to do the port step by step:

  1. Linux/gcc/autotools
  2. Linux/gcc/CMake
  3. Cygwin/gcc/CMake
  4. MSYS/MinGW gcc/CMake
  5. Visual C++/CMake

 

Autotools

Autotools was the first stone in the path.

With some work (calling MSYS from a DOS prompt, etc) it would have been possible to make it generate a Visual C++ Makefile but it would have been painful.

Plus the existing autotools build system did not detect the right configuration on MinGW.

Step 1: replace autotools with CMake. On Linux. This was relatively easy (although time consuming) and did not require any change in the code.

 

Cygwin

The second step was to build zsync on Windows using Cygwin (which provides a POSIX compatibility layer) and CMake.

No code changes were required here either, only a few small adjustments to the CMake build system. I tested on Linux again, it worked fine.

At this point, I had only made a pyrrhic progress: zsync was still Unix only, but with a cross-platform build system.

 

MinGW

My next step was a serious one: port zsync to use MinGW, which generates a native Windows application with gcc.

That means using Winsock where required.

5And hitting Microsoft’s understanding of “POSIX-compliant”: the standard Windows POSIX C functions do not allow to treat sockets as files, rename open files, temporary files are created in C:\ (which fails on Windows Vista and newer), etc. And that’s when the functions do exist. In many cases (mkstemp, pread, gmtime_r…) those functions were outright inexistent and I needed to provide an implementation.

Plus adapting the build system. Fortunately, I was still using gcc and Qt Creator provides great support for MinGW and gdb on Windows, and decent support for CMake.

Some other “surprises” were large file support, a stupid “bug” and the difficulties of emulating all the file locking features of Unix on Windows.

Regarding LFS, I took the easy path: instead of using 64-bit Windows API directly, I used the mingw-w64 flavor of gcc on Windows, which implements 64-bit off_t on 32-bit platforms transparently via _FILE_OFFSET_BITS.

 

Visual C++ misery

Porting to Visual C++ was the last step.

This was not strictly required. After all, all I had been asked for as a native version, not a native version that used Visual C++.

Yet I decided to give VC++2010 a try.

The main problem was lack of C99 support (though you can partially workaround that by compiling as C++) and importing symbols due to lack of symbol exports in the shared library (attributes for symbol visibility were introduced in gcc4.0, but many libraries do not use them because gcc does its “magic”, especially MinGW, which will “guess” the symbols).

Porting to Visual C++ 2010 required either to give up some C99 features in use (e. g. moving variable declarations to the beginning of the functions) or adding a lot of C++-specific workarounds (extern “C”).

I was a bit worried upstream would not accept this code because it didn’t really provide any benefit for the application (for the developer, use of a great IDE and very powerful debugger), therefore I didn’t finish the Visual C++ port. Maybe some day if Microsoft decides to finally provide C99.

The result (so far) is available in the zsync-windows space in Assembla.

 

Problemas de la economía española (III): demasiados políticos, demasiado mal pagados

Lo sé, lo sé: “¿¡mal pagados!? ¡Pero si un concejal, ministro, presidente del Gobierno, etc cobran 80.000 EUR prácticamente libres de impuestos!”

Pues es un sueldo bajo, mira por donde.

 

Los sueldos de los políticos

Hace unos días, el Gobierno de Mariano Rajoy aprobó un proyecto de ley por el que el sueldo máximo de concejales y alcaldes será el mismo que un diputado: no llega a 69.000 EUR al año.

El Presidente del Gobierno cobra algo más, unos 78.000 EUR.

 

Casos reales

El señor Pizarro ganaba unos 10 millones de euros al año en Endesa. Cuando fue elegido diputado por el Partido Popular pasó a ganar unos 65.000 EUR al año. En los 2 años que fue diputado, Manuel Pizarro perdió, en números redondos, 20 millones de euros. Probablemente más, porque no estamos contando los paquetes de acciones, opciones sobre acciones, jubilaciones, etc.

Luis de Guindos, actual Ministro de Economía, cobraba más de 300.000 EUR al año como consejero de varias empresas. Ahora gana la cuarta parte, es uno de las personas más odiadas de España y no sé cómo duerme por las noches.

Hay más casos: Pedro Morenés (Ministro de Defensa del Gobierno Rajoy, ex-presidente de MDBA), Pedro Argüelles (Secretario de Estado de Defensa, ex-presidente de Boeing España), etc

 

Pero son raros

Visto que en la empresa privada se gana mucho más que en la política, lo normal es que el cambio vaya en sentido contrario: pasar de la política a la empresa privada.

Casos hay muchos: Felipe González, José María Aznar, Elena Salgado, Pedro Solbes, Eduardo Zaplana, Jordi Sevilla, Josu Jon Imaz, Josep Piqué, en fin, mil.

 

Gestores inútiles

Visto lo visto, ¿a alguien le extraña que estemos gobernados por inútiles? ¡Es la evolución natural!

  • Si uno es bueno en su trabajo, gana mucho más en la empresa privada que en la política
  • Si uno es un inútil, en la empresa privada no se va a “comer un torrao”, así que se mete a política.

 

Corolario

Los inútiles se meten en política, hacen contactos y con su gestión destrozan la economía. Al poco de dejar la política, pasan a la empresa privada, donde ganarán mucho dinero en empresas a las que “casualmente” beneficiaron mientras estaban en política.

 

La solución

Menos políticos, muchos menos, pero mucho mejor pagados: ¿cómo vamos a encontrar un ministro de Economía capaz si sólo pagamos 69.000 EUR al año?

Los únicos dispuestos a aceptar un cargo así son unos pocos gestores buenos que tienen vocación política (se cuentan con los dedos de una mano), o una caterva de políticos inútiles que quieren usar el cargo como lanzadera para irse luego a la empresa privada y ganar mucho más. Abundan los segundos.

(Todo lo dicho sobre ministros y presidentes del gobierno se aplica idéntico a concejales, alcaldes, diputados autonómicos, presidentes autonómicos, etc)

 

Cómo ahorrar 800 millones de euros: España debería abandonar el Protocolo de Kioto inmediatamente

Wikipedia tiene un buen artículo sobre el Protocolo de Kioto:

El Protocolo de Kioto sobre el cambio climático2 es un protocolo de la CMNUCC Convención Marco de las Naciones Unidas sobre el Cambio Climático , y un acuerdo internacional que tiene por objetivo reducir las emisiones de seis gases de efecto invernadero que causan el calentamiento global: dióxido de carbono (CO2), gas metano (CH4) y óxido nitroso (N2O), además de tres gases industriales fluorados: Hidrofluorocarbonos (HFC), Perfluorocarbonos (PFC) y Hexafluoruro de azufre (SF6), en un porcentaje aproximado de al menos un 5%, dentro del periodo que va desde el año 2008 al 2012, en comparación a las emisiones al año 1990.

La realidad

Bueno, esa era la intención. Lo que ha sucedido en realidad ha sido:

  1. Muy pocos países han conseguido reducir las emisiones de CO2
  2. Se creó un mercado de “aire limpio”, en el cual los países que excedían en sus emisiones de CO2 compraban “no emisiones” a los países que sí cumplían. Un anglosajón diría que literalmente hemos creado un mercado “out of thin air“. Yo lo completaría con un “out of thin clean air”

En cuanto al primer punto, hay que destacar que España es uno de los países más idiotas del Protocolo de Kioto: asumimos unos compromisos irrealizables, a los que en realidad nadie nos obligaba, y en lugar de abandonar el Protocolo, como hicieron el resto de países que no iban a cumplir (Estados Unidos, Canadá, etc), seguimos y hemos pagado y vamos a pagar un dineral.

En cuanto al segundo punto, en realidad los países “contaminadores” no están comprando a países “limpios”, sino (mayoritariamente) a países subdesarrollados, que simplemente no contaminan más porque no tienen industria, no porque su industria sea eficiente.

 

¿Y España?

España ha fracasado absolutamente en todo: no hemos cumplido con las emisiones, y en lugar de abandonar, seguimos porque somos “buenrrollistas”, y como consecuencia vamos a pagar unos 800 millones de euros por el periodo 2008-2012.

Ya es demasiado tarde para ahorrarnos esos 800 millones de euros (la fecha límite era el 31 de diciembre de 2011), pero lo que sí podemos hacer “darnos de baja” del “club post-Kioto“.

 

¡Contaminador! ¡Antiecológico! ¡Asesino de la Naturaleza!

Para el carro.

Me gustaría que cumpliéramos con Kioto, con Durban y con Bali, pero ya que no vamos a poder hacerlo, y ya que tenemos la economía hecha trizas, lo mejor es que nos borremos y que lo hagamos lo mejor que podamos.

Y sin pagar estúpidas sanciones autoimpuestas.

Prefiero destinar esos 800 millones de euros a mil cosas más importantes.