lunes, 17 de octubre de 2016

Alerta de intruso y bloqueo con Framework Dinámica y Linux

En días recientes recibimos una alerta de varios intentos de login fallidos utilizando una cuenta administrativa, la cual solo puede ser utilizada por nuestra empresa. Un claro y primitivo (por suerte) intento de entrar a la fuerza que pudimos solventar rápidamente gracias a las alertas configurables del framework Dinámica y al firewall nativo de Linux, que permite bloquear IPs fácilmente.

Así sucedieron los hechos el 15/oct/2016, los datos asociados a la alerta son verdaderos.

Dinámica provee un mecanismo de uso opcional que permite notificar por email los intentos fallidos de login, apenas suceden.


Además ejecuta un SQL (configurable) para dejar un registro en la  base de datos con todos los datos asociados al intento de login, es parte de la infraestructura de auditoria del Framework.

En este caso recibimos varios mensajes seguidos, como este:

Este es un mensaje de alerta para informarle que ocurrió
un intento de login fallido. Estos son los detalles del evento:

* Fecha: 2016-10-15
* Hora: 09:52:39
* Aplicación: /deluxe
* Login: admin
* IP remota: 190.15.219.124
* Servidor: martincordova.com

Utilizando lacnic.net pudimos determinar el origen de esta IP, ubicada en Argentina.

Luego utilizando las facilidades del Administrador de Seguridad del framework Dinámica corrimos una consulta para ver si ya antes hemos tenido intentos de login fallidos usando la misma IP, esta es una consulta útil porque permite descubrir si estos logins fallidos fueron ejecutados con otra cuenta, indicando si un cliente o ex-cliente intentó abusar de nuestra credencial Admin.

Sin perder tiempo ingresamos al sistema operativo, en el caso de nuestro hosting en Michigan es un Linux dedicado, y ejecutamos este comando:

sudo iptables -A INPUT -s 190.15.219.124 -j DROP

Esto le indica al Firewall nativo de Linux que debe rechazar todo paquete que se origine desde la IP en cuestión, quedando en efecto bloqueado.

Es un caso sencillo, afortunadamente para nosotros, y combinando los mecanismos configurables de alerta y registro del framework Dinámica con el poder y la sencillez de Linux, detectamos al "hacker" y bloqueamos a tiempo. La alerta temprana es fundamental para poder tomar medidas a tiempo, y las trazas ayudan mucho en una auditoria para determinar el origen del ataque.

miércoles, 13 de julio de 2016

Actualización rápida de Tomcat 7

En esta breve entrada vamos a explicar cómo actualizar el Tomcat 7, la distro del Framework Dinámica en particular, cuando es liberada una nueva edición de Tomcat 7 por parte de Apache. El procedimiento es muy simple y supone una interrupción mínima de servicio, inevitable ya que es necesario actualizar los JARs básicos de Tomcat.

1) Descargue y descomprima la última versión de Tomcat 7, a la fecha es v7.0.82, no sobreescriba su instalación de producción, use una carpeta distinta pero en un disco accesible para el servidor a ser actualizado. Supongamos que lo pudo en el disco D; entonces su carpeta sería:

D:\apache-tomcat-7.0.82

2) Detenga el proceso Tomcat

3) Copie desde la instalación nueva D:\apache-tomcat-7.0.82\lib los JARs señalados en la imagen a continuación, al directorio /tomcat/lib de su servidor, reemplazar los archivos existentes.

Los JARs que no se copian son los que no necesita Dinámica, por ejemplo el compilador de JSP y lo relacionado con JSP se deja por fuera porque Dinámica no utiliza JSPs, tampoco requerimos Ant.

También debe copiar los 3 JARs contenidos en D:\apache-tomcat-7.0.82\bin a tomcat7/bin.

4) Reinicie el servicio o proceso Tomcat, utilice el URL de diagnóstico (/action/test) de alguna de sus WebApps escritas con Dinámica, debería ver la página de diagnóstico estándar del framework Dinámica, como aparece abajo, indicando la versión de Tomcat:


¡Eso es todo! ya su instalación de Tomcat está al día.

NOTA: este proceso es para actualizar Tomcat dentro de una misma línea de versión principal, Tomcat v7 en este caso. Se recomienda respaldar las carpetas /bin y /lib de su Tomcat antes de actualizarlo, como medida para hacer rápidamente un "rollback" del cambio si experimentara algún problema (improbable) con esta actualización.


miércoles, 4 de mayo de 2016

Actualizar configuración de husos horarios en Java 8

Recientemente en Venezuela hubo un ajuste del huso horario, en Java ya está disponible la actualización de TimeZone para reconfigurar una instalación de Java existente, para este ejemplo usaremos Java 8.

Los pasos son los siguientes:

Descargar el tool tzupdater.jar de Oracle, se descarga desde:
http://www.oracle.com/technetwork/java/javase/downloads/tzupdater-download-513681.html

Luego se recomienda ejecutar desde consola DOS abierta como Admin local del equipo este comando:

"C:\Program Files\Java\jdk1.8.0_74\bin\java.exe" -jar tzupdater.jar -v -l http://www.iana.org/time-zones/repository/tzdata-latest.tar.gz

Claro está deberán utilizar su propia ruta de java.exe u omitirla si lo tienen instalado visible a nivel de sistema.

Al correr el update deberían ver mensajes como estos en la consola:
java.home: C:\Program Files\Java\jdk1.8.0_74\jre
java.vendor: Oracle Corporation
java.version: 1.8.0_74
Downloaded file to C:\Users\mcordova\AppData\Local\Temp\tz.tmp\tzdata.tar.gz
JRE tzdata version: tzdata2015g
tzupdater tool would update with tzdata version: tzdata2016d
Downloaded file to C:\Users\mcordova\AppData\Local\Temp\tz.tmp\sha512hash
Renaming C:\Program Files\Java\jdk1.8.0_74\jre\lib\tzdb.dat to C:\Program Files\
Java\jdk1.8.0_74\jre\lib\tzdb.dat.tzdata2015g
Renaming C:\Program Files\Java\jdk1.8.0_74\jre\lib\tzdb.dat.dynamic to C:\Program Files\Java\jdk1.8.0_74\jre\lib\tzdb.dat
Validating for : tzdata2016d
Validation complete
JRE updated to version : tzdata2016d

Con este procedimiento no necesitan esperar a una actualización de todo el JDK/JRE por parte de Oracle con el cambio correspondiente a su país.

El manual de tzupdater: http://www.oracle.com/technetwork/java/javase/tzupdater-readme-136440.html


miércoles, 13 de mayo de 2015

SSL fortalecido con Tomcat 7 y Java 8

Tanto por seguridad como para salir bien parado en las auditorias (común en instalaciones corporativas), es importante tener bien configurado el SSL en Tomcat. En nuestro caso (instalaciones del Framework Dinámica) usamos Tomcat 7 sin Apache por delante, cuando mucho un Load Balancer o un Firewall, así que en este artículo nos concentramos en cómo configurar el SSL en Tomcat 7 para obtener un grado aceptable de seguridad.

El punto de referencia lo marca el riguroso test de SSL Labs:
https://www.ssllabs.com/ssltest/

Actualmente con esta configuración logramos obtener un "A", dejando aparte los temas del certificado no confiable que usamos para la prueba:


Como se puede apreciar arriba, este Tomcat también soporta HTTP Strict Transport Security, más adelante explicamos cómo hacerlo.

Actualizando los Certificados SSL

Viene una gran migración a certificados con algoritmo de firma SHA2,  ya los navegadores comenzaron a quejarse de los certificados firmados con SHA1, y pronto dejarán de soportarlos. Esto no tiene que ver con al configuración SSL de Tomcat 7 sino con el proceso de crear el KeyStore y solicitar la firma del certificado. Es bueno saber que al migrar a un certificado actualizado con firma SHA2 (SHA256withRSA) se dejan de soportar clientes viejos como IE 8 en XP SP2 o inferior, con XP SP3 se puede soportar IE8.

En todo caso, es importante actualizar el certificado para que sea ampliamente aceptado y no levante advertencias de seguridad, para ello se usa el algoritmo de firma SHA256withRSA con keytool de Java.

Usar Java 8

Para fortalecer SSL en Tomcat es necesario migrar a Java 8, porque esta versión contiene mejoras importantes en el componente JSSE (el que provee soporte SSL) que no están en versiones anteriores.

En particular se activan estas opciones para el proceso Java que correrá a Tomcat:

-Djdk.tls.rejectClientInitiatedRenegotiation=true
-Djdk.tls.ephemeralDHKeySize=2048

Por otro lado es MUY IMPORTANTE actualizar la instalación de Java 8 con las políticas de encriptamiento fuerte, que son dos JARs que se descargan desde el website oficial de Java en Oracle. El componente se denomina "Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy Files for JDK/JRE 8" y se descarga aquí:

http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html

Los JARs se copian en:

C:\Program Files\Java\jdk1.8.0_XX\jre\lib\security

reemplazando los existentes.

Usar Tomcat 7.0.61

Es necesario usar Tomcat 7.0.61 o superior, porque es a partir de esta versión que Tomcat permite indicar que se respete el orden de los Ciphers especificados del lado server, en el test de SSL Labs esto se puede comprobar:



En server.xml, en el bloque "Connector" donde configuramos SSL se añade este atributo:

useServerCipherSuitesOrder="true"

Anular ataques POODLE

En server.xml indicamos el uso de protocolos TLS únicamente:

sslEnabledProtocols="TLSv1,TLSv1.1,TLSv1.2"



El ataque BEAST es algo que no se puede evitar a menos que se elimine el uso de TLS 1.0 (afectando potencialmente la compatibilidad con una base amplia de navegadores) o se utilice RC4, lo cual es peor porque el protocolo no se considera seguro, su uso levanta alertas de seguridad y rebaja la calificación en el test, así que de los males el menor. De hecho a pesar de aparecer que no se mitiga BEAST del lado server (es un ataque que se orquesta desde el lado cliente), aun así la calificación es "A". Si solo se soporta TLS 1.2 (para los navegadores modernos únicamente) entonces se elimina el riesgo del BEAST.

Configuración de Ciphers fuerte y minimalista

Por defecto un servidor SSL en Java 8 soporta una gama amplia de protocolos, algunos considerados inseguros y su uso rebaja la calificación en el test de SSL Labs, además de levantar alertas de auditoria de seguridad de servidores, se sugiere usar una lista restringida de protocolos. Nosotros usamos la configuración de Ciphers que aparece abajo y obtenemos amplia compatibilidad con los navegadores más populares, soportando "Forward Secrecy"  donde es posible, lo cual fortalece la seguridad del protocolo, e incluso se soporta IE8 a partir de XP SP3, con lo que se gana un SSL robusto y amplia base de clientes soportados. El orden de los ciphers es importante y hace que los navegadores selecciones un Cipher fuerte antes que uno débil cuando inician la "conversación" con el servidor:

ciphers="TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,
TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA384,
TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA,
SSL_RSA_WITH_3DES_EDE_CBC_SHA"

Este es un atributo del Connector en server.xml claro está, A continuación un ejemplo completo de la configuración del conector SSL en Tomcat:

<Connector port="443" protocol="HTTP/1.1" SSLEnabled="true"
maxThreads="500" scheme="https" secure="true"
clientAuth="false" keystoreType="JKS" sslEnabledProtocols="TLSv1,TLSv1.1,TLSv1.2"
useServerCipherSuitesOrder="true"
keystoreFile="${catalina.home}/conf/localhost.jks"
keystorePass="xyz123*"
ciphers="TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,
TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA384,
TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA,
SSL_RSA_WITH_3DES_EDE_CBC_SHA"
>

Solo desde que salió Java 8 y sumado a la última actualización de Tomcat 7 se puede lograr una configuración de SSL razonablemente robusta, sin necesidad de utilizar ningún software por delante de Tomcat.

Hay una protección que JSSE en Java 8 no soporta: TLS Fallback SCSV, que en pocas palabras se trata de evitar que un cliente pueda negociar usar un protocolo más antiguo con la intención de vulnerar la seguridad. Sin embargo si se utilizan ciphers fuertes e incluso si solo se soporta TLS 1.2 este riesgo se reduce o incluso desaparece.

jueves, 26 de febrero de 2015

Acelerando el arranque de Tomcat 7

Regresamos con un mini-artículo sobre como mejorar los tiempos de arranque del servicio Tomcat, específicamente de la distribución de Tomcat 7 para el Framework Dinámica, que por correr aplicaciones creadas con este framework, no necesita JSPs, TagLibs, anotaciones de Servlet Spec 3.x ni otros artificios. Dinámica es minimalista, usa un solo Servlet (el Controller) y algunos filtros/listeners, nada ajeno a la especificación de servlets 3.0. Por este motivo hay varias cosas que se pueden desactivar en Tomcat para que arranque considerablemente más rápido.

La velocidad de arranque del servicio es importante para mantener la interrupción del mismo en un mínimo aceptable, sea por controles de cambio o contingencias.

Paso 1

En ${tomcat.home}/conf/catalina.properties se definen las reglas de scanning de anotaciones en los JARs, es el primer punto a tocar. La configuración por defecto pecha bastante el tiempo de arranque haciendo revisiones innecesarias (para Dinámica) en los JARs. El tiempo de arranque en nuestro Tomcat 7 con 4 WebApps instaladas es el siguiente:

[2015-02-25 16:01:57] INFORMACIËN: Initializing ProtocolHandler ["http-bio-80"]
[2015-02-25 16:01:57] INFORMACIËN: Initialization processed in 300 ms
[2015-02-25 16:01:57] INFORMACIËN: Arrancando servicio Catalina
[2015-02-25 16:01:57] INFORMACIËN: Starting Servlet Engine: Apache Tomcat/7.0.59
[2015-02-25 16:01:57] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\admin de la aplicaci¾n web
[2015-02-25 16:01:57] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\devel de la aplicaci¾n web
[2015-02-25 16:01:57] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\nws de la aplicaci¾n web
[2015-02-25 16:01:57] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\ROOT de la aplicaci¾n web
[2015-02-25 16:02:00] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\ROOT has finished in 2.367 ms
[2015-02-25 16:02:00] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\nws has finished in 2.517 ms
[2015-02-25 16:02:00] INFORMACIËN: [Dinamica] SecurityFilter started for context: AdminConsole
[2015-02-25 16:02:00] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\admin has finished in 2.690 ms
[2015-02-25 16:02:01] INFORMACIËN: WSSERVLET14: inicializando el servlet de JAX-WS
[2015-02-25 16:02:01] INFORMACIËN: WSSERVLET12: inicializando el listener de contexto de JAX-WS
[2015-02-25 16:02:01] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\devel has finished in 3.220 ms
[2015-02-25 16:02:01] INFORMACIËN: Starting ProtocolHandler ["http-bio-80"]
[2015-02-25 16:02:01] INFORMACIËN: Server startup in 3256 ms

Lo que vamos a hacer es desactivar el scanning de los JARs, configurando estos parámetros con los valores mostrados abajo:

tomcat.util.scan.DefaultJarScanner.jarsToSkip=*.jar
org.apache.catalina.startup.ContextConfig.jarsToSkip=*.jar
org.apache.catalina.startup.TldConfig.jarsToSkip=*.jar

Con este no se desactiva el uso de anotaciones muy útiles, como @WebService y @MultipartConfig.
Si reiniciamos Tomcat obtenemos estos tiempos:

[2015-02-25 16:09:21] INFORMACIËN: Initializing ProtocolHandler ["http-bio-80"]
[2015-02-25 16:09:21] INFORMACIËN: Initialization processed in 287 ms
[2015-02-25 16:09:21] INFORMACIËN: Arrancando servicio Catalina
[2015-02-25 16:09:21] INFORMACIËN: Starting Servlet Engine: Apache Tomcat/7.0.59
[2015-02-25 16:09:21] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\admin de la aplicaci¾n web
[2015-02-25 16:09:21] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\devel de la aplicaci¾n web
[2015-02-25 16:09:21] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\nws de la aplicaci¾n web
[2015-02-25 16:09:21] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\ROOT de la aplicaci¾n web
[2015-02-25 16:09:22] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\ROOT has finished in 610 m
s
[2015-02-25 16:09:22] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\nws has finished in 770 ms

[2015-02-25 16:09:22] INFORMACIËN: [Dinamica] SecurityFilter started for context: AdminConsole
[2015-02-25 16:09:22] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\admin has finished in 1.01
1 ms
[2015-02-25 16:09:23] INFORMACIËN: WSSERVLET14: inicializando el servlet de JAX-WS
[2015-02-25 16:09:23] INFORMACIËN: WSSERVLET12: inicializando el listener de contexto de JAX-WS
[2015-02-25 16:09:23] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\devel has finished in 1.59
1 ms
[2015-02-25 16:09:23] INFORMACIËN: Starting ProtocolHandler ["http-bio-80"]
[2015-02-25 16:09:23] INFORMACIËN: Server startup in 1617 ms

Una reducción de aproximadamente el 50%, nada mal.

Paso 2

A nivel de cada WebApp es necesario desactivar el scanning de TLDs, No sirve hacerlo en el context.xml global de Tomcat 7, ya lo probamos y no tiene efecto. Es necesario hacerlo en el context.xml privado de cada WebApp que está en /META-INF. Las WebApps creadas con Dinámica para correr en Tomcat usan la definición de su pool de conexiones a BD dentro de este archivo. Y el plugin del Framework para crear WebApps en Eclipse ya incluye esta entonación cuando crea el proyecto. Se trata de añadir el siguiente elemento (resaltado en amarillo):

<Context processTlds="false">

... el pool se define aquí ...

</Context>

Antes de esta optimización podríamos ver con JConsole el tiempo gastado en procesar TLDs aunque no los estemos usando:


Luego de aplicar el cambio en TODAS las WebApps instaladas, observamos que el tiempo del atributo tldScanTime=0 para cada WebApp.


Y el log de arranque del servicio muestra el resultado final de la entonación:

[2015-02-25 16:11:34] INFORMACIËN: Initializing ProtocolHandler ["http-bio-80"]
[2015-02-25 16:11:34] INFORMACIËN: Initialization processed in 297 ms
[2015-02-25 16:11:34] INFORMACIËN: Arrancando servicio Catalina
[2015-02-25 16:11:34] INFORMACIËN: Starting Servlet Engine: Apache Tomcat/7.0.59
[2015-02-25 16:11:34] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\admin de la aplicaci¾n web
[2015-02-25 16:11:34] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\devel de la aplicaci¾n web
[2015-02-25 16:11:34] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\ROOT de la aplicaci¾n web
[2015-02-25 16:11:34] INFORMACIËN: Despliegue del directorio C:\tomcat7\webapps\nws de la aplicaci¾n web
[2015-02-25 16:11:34] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\nws has finished in 441 ms

[2015-02-25 16:11:34] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\ROOT has finished in 441 m
s
[2015-02-25 16:11:34] INFORMACIËN: [Dinamica] SecurityFilter started for context: AdminConsole
[2015-02-25 16:11:34] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\admin has finished in 561
ms
[2015-02-25 16:11:35] INFORMACIËN: WSSERVLET14: inicializando el servlet de JAX-WS
[2015-02-25 16:11:35] INFORMACIËN: WSSERVLET12: inicializando el listener de contexto de JAX-WS
[2015-02-25 16:11:35] INFORMACIËN: Deployment of web application directory C:\tomcat7\webapps\devel has finished in 1.15
3 ms
[2015-02-25 16:11:35] INFORMACIËN: Starting ProtocolHandler ["http-bio-80"]
[2015-02-25 16:11:35] INFORMACIËN: Server startup in 1179 ms

¡El tiempo de arranque se redujo en 64%! Otra ventaja de usar el estilo Dinámica de programación simple, sin las complicaciones asociadas usualmente al desarrollo web con Java.

Plataforma utilizada:

  • Tomcat 7.0.59
  • Java 1.8 update 31 x64
  • Windows 7 Home Premium x64


Esperamos les resulte de utilidad este mini blog, sobre todo a los suscriptores del Framework (Dinámica se vende por suscripción), aprovechamos de celebrar con esto los 11 años de Dinámica en producción, utilizado a escala global en docenas de proyectos que traspasan dominios de negocios y le ha permitido nutrirse y robustecerse como herramienta de hiper productividad.

miércoles, 23 de abril de 2014

Usando Apache Commons DBCP V2 en Tomcat 7

El componente por defecto para el manejo del pool de conexiones a base de datos en Tomcat 7 es DBCP v1.4, que si bien tiene varias mejoras de estabilidad con respecto a la versión que usa Tomcat 6, igual padece problemas de concurrencia, que se evidenciarán con alta carga de threads solicitando conexiones al pool, ya que el DBCP tiene que sincronizar el acceso al pool. Esto ha sido una fuente de problemas y cuellos de botella en Tomcat, más crítico en la v6 que en la v7.

A partir de Tomcat 7 hay un componente de Connection Pooling alternativo, Tomcat JDBC Pool, que provee acceso concurrente al pool y varias otras mejoras, sin embargo no viene configurado por defecto (ni siquiera en Tomcat 8) y es un proyecto relativamente nuevo. Su guía de configuración:

http://tomcat.apache.org/tomcat-7.0-doc/jdbc-pool.html

El viejo proyecto Apache DBCP se renovó de forma importante el 2014 con su versión 2.0, que ahora usa el nuevo Apache Commons Pool, con mejoras de escalabilidad y desempeño, apoyándose en el paquete java.util.concurrent, requiere Java 7. Esta versión es el nuevo pool por defecto en Tomcat 8, y dice resolver los problemas de concurrencia de las versiones 1.2 y 1.4.

En Tomcat 7 se puede reemplazar el uso del DBCP v1.4 por el v2.0, es necesario añadir los siguientes JARs a la carpeta /lib de Tomcat:

commons-dbcp2-2.0.jar
commons-pool2-2.2.jar
commons-logging-1.1.3.jar

Los proyectos respectivos para descargar (en sus últimas versiones) cada JAR son:

http://commons.apache.org/proper/commons-dbcp/
http://commons.apache.org/proper/commons-pool/
http://commons.apache.org/proper/commons-logging/

En la definición del pool de conexiones en META-INF/context.xml de la WebApp se debe indicar el atributo factory, para que use el nuevo pool DBCP 2:



<Resource auth="Container" name="jdbc/dinamica" type="javax.sql.DataSource"> factory="org.apache.commons.dbcp2.BasicDataSourceFactory"
initialSize="3" maxIdle="10" maxWait="3000" maxTotal="100"
username="postgres" password="basica"
driverClassName="org.postgresql.Driver"
url="jdbc:postgresql://localhost/demodb"/>



El atributo maxActive ahora se llama maxTotal, esto requirió un cambio en la clase dinamica.SysInfo del framework Dinámica, para poder reportar correctamente en su página de estatus (/action/test) la información de los pools, sin importar si utilza DBCP v1.4 o DBCP v2. El resto es transparente para las WebApps.

Ahora puede utilizar la tecnología -supuestamente- superior de DBCP v2 en un producto solido como Tomcat 7, sin esperar a que salga Tomcat 8 o recurrir a un componente menos probado con el Tomcat JDBC Pool (por algo tampoco es el pool manager por defecto en Tomcat 8).

Los pools de conexiones concurrentes son "la nueva tendencia" en este tipo de componentes, porque hace tiempo que junto con sus ventajas también introdujeron el problema de la sincronización para acceder al pool, creando cuellos de botella. Hay varios productos de diversa calidad que ya usan esta técnica, facilitada desde hace pocos años por el paquete java.util.concurrent de Java SE, pero adolecen de un problema básico en relación a Tomcat, no vienen preparados para ser configurados como un Factory de DataSources, un reemplazo a lo "plugin" para el pool manager por defecto de Tomcat 7. El Apache DBCP v2 si puede ser usado de esa manera, como lo mostramos arriba.

Existe en este nuevo ecosistema de Pool Managers un producto que destaca, se llama HikariCP, y su documentación es muy interesante, aunque lamentablemente no provee configuración nativa como un Resource en Tomcat 7:

http://brettwooldridge.github.io/HikariCP/

Actualización del 26/04/2014

El autor de HikariCP nos proveyó de una versión de desarrollo (HikariCP-1.3.7-SNAPSHOT.jar) que incluye el DataSource Factory que permite usar este componente dentro de Tomcat 7 de forma transparente a las aplicaciones.

<Resource name="jdbc/dinamica" auth="Container" type="javax.sql.DataSource"
factory="com.zaxxer.hikari.HikariJNDIFactory"
username="postgres" password="basica"
driverClassName="org.postgresql.Driver"
jdbcUrl="jdbc:postgresql://localhost/demodb"/>

Lo malo es que no es compatible en cuanto a los nombres de los atributos, así que requiere nuevos atributos para indicar máximo de conexiones, tamaño inicial del pool, etc. Esto también supone un problema ya que no se puede monitorear este pool vía JMX con las facilidades de diagnóstico del framework Dinámica, y no tenemos planes de soportarlo en el corto plazo, además carece de atributos tan básicos y útiles como numActive y numIdle, que te dan de inmediato una radiografía del uso del pool. De todos modos el experimento con HikariCP ha sido positivo, en la medida que este producto vaya madurando y cumpla su promesa de estabilidad y velocidad, será una alternativa importante para mejorar el desempeño de un servidor Tomcat 7. Nuestro agradecimiento a Brett Wooldridge, el creador de HikariCP, por su rápido apoyo para implementar el soporte a Tomcat 7.

Saludos,
El Team Dinámica

jueves, 19 de septiembre de 2013

Actualizando el Java de un Tomcat 7 en Linux

Volvemos con un mini blog útil para los usuarios del Framework Dinámica que mantienen servidores Tomcat 7 en Linux.

Se asume que el Tomcat 7 está instalado en /opt/tomcat7 de acuerdo a nuestros lineamientos y viene de nuestra distribución para Dinámica:
http://www.martincordova.com/files/tomcat7.tgz

Oracle ahora provee paquetes TGZ con JRE para servidores de 64 bits en Linux y Windows. Solo hay que descomprimir y listo, no hay programa de instalación para ejecutar.

Esta conveniente distribución de la JVM y sus herramientas se descarga desde este link:
http://www.oracle.com/technetwork/java/javase/downloads/server-jre7-downloads-1931105.html

Escoja la opción "Linux x64".

Una vez que se copia el comprimido TGZ al directorio /opt, se procede a descomprimirlo con este comando, asumiendo que ya está en el directorio /opt:

sudo tar -xzf server-jre*
Esto creará el directorio /opt/jdk1.7.0_40

Ahora solo resta configurar el servicio Tomcat para que use este Java. Editar el archivo /opt/tomcat7/bin/catalina.sh y cambie la línea donde se define el JAVA_HOME al inicio del archivo:

JAVA_HOME=/opt/jdk1.7.0_40

Ya está listo, ahora reinicie el servicio Tomcat 7, la interrupción de servicio será mínima:

sudo /etc/init.d/tomcat stop (espere por el [OK])
sudo /etc/init.d/tomcat start
Ahora con el navegador puede solicitar la página de diagnóstico /action/test que tienen todas las Webapps construidas con Dinámica, debería ver un mensaje como este:


Listo. Para desinstalar este Java basta con eliminar la carpeta /opt/jdk1.7.0_40.

Actualización del 2014/04/23: Descargar directo desde Oracle al servidor Linux

Como saben, ya salió el Java 8, y hace pocos días salió una actualización crítica de seguridad de Java 6, 7 y 8 inclusive (1.8.0_5), para eliminar un conjunto de vulnerabilidades. Si tienen un hosting en USA y en su región tienen un ancho de banda pobre (como es nuestro caso en Caracas), saben que es tedioso subir al servidor una nueva versión del JRE que puede pesar unos 50MB. Sin embargo nuestro hosting en USA tiene muy alta velocidad para descargarse archivos de Oracle, así que con este comando logramos bajar el último update de Java 8 en 5 segundos, directo a nuestro server en USA, ingresamos con putty, nos colocamos en el directorio /opt y procedemos a ejecutar el comando:

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u5-b13/server-jre-8u5-linux-x64.tar.gz"

El URL de descarga lo deberían obtener de la página de descarga de Oracle una vez que aceptan la licencia, luego lo copian en su comando, el URL cambia de acuerdo a los números de versiones de Java. Este es para bajar el Server JRE para Linux de 64 bits v1.8 update 5 (el último a la fecha).

El crédito por el tip de descarga con comando WGET no va para nosotros, sino para unos cuantos sitios webs que tratan el tema, uno en particular:

https://ivan-site.com/2012/05/download-oracle-java-jre-jdk-using-a-script/

martes, 8 de mayo de 2012

Cómo encriptar las contraseñas en Tomcat 7

Las contraseñas de los pools de conexiones a base de datos y del KeyStore de certificados (cuando se usa SSL) se almacenan en archivos XML de configuración en texto claro, por defecto. Nosotros no tenemos mayor problema con esto, ya que de todos modos hay que asegurar la instalación para restringir el acceso al servidor, pero es normal que en ambientes corporativos, como Bancos o Casas de Seguros esto no esté permitido, les representa un hallazgo de seguridad y piden que estas contraseñas sean almacenadas en forma encriptada, con algún algoritmo simétrico, como TripleDES con SHA1.

Si bien esto no le añade mucha más seguridad necesariamente, porque siempre se necesita otra llave para encriptar, es normal que los clientes soliciten este tipo de cambios, algo que los desarrolladores de Tomcat no parecen entender, por lo que pude ver en los forums, encriptar estas contraseñas ha sido una petición frecuente, pero que es despreciada por ellos con el argumento de que no ofrece mayor seguridad, etc, etc, en una mezcla de arrogancia y falta de pragmatismo.

Nosotros proveemos a los suscriptores de nuestra tecnología (Dinámica Deluxe) y a nuestros clientes un JAR que le añade a Tomcat 7 la capacidad de manejar las contraseñas de los pools de BD y de Keystore en forma encriptada. El JAR se llama dinamica-tomcat.jar y contiene unas clases que reemplazan las que vienen por defecto en Tomcat y que se ocupan de leer esas contraseñas. No fue un trabajo fácil, aunque debería serlo, porque Tomcat en su diseño no provee vías muy directas para afectar esta parte y proveer un lector de contraseña encriptada, sobre todo en el caso del KeyStore.

En el caso de los pools de conexiones a base de datos es un poco más fácil, requiere solo de una clase que extiende a BasicDataSourceFactory, luego esta clase es configurada en el archivo context.xml correspondiente, usando el atributo "factory".

En el caso del KeyStore, hay que crear una clase una extensión de la clase org.apache.tomcat.util.net.SSLImplementation, la cual será luego utilizada para configurar el conector SSL usando el atributo sslImplementationName. Para ser justos con el diseño de Tomcat, si bien pudo ser más fácil, al menos existe la forma de hacerlo vía extensión y configuración. El problema en el caso del KeyStore es que se requieren 2 clases más para lograr el efecto, básicamente tuvimos que identificar las clases, copiarlas de los fuentes de Tomcat a otro paquete y hacerle los ajustes para leer el password encriptado, que van en un método específico.

El JAR que proveemos contiene unos comandos para generar la contraseña encriptada, y también para codificar la llave que se usa para encriptar y desencriptar. Por ejemplo para generar la contraseña encriptada teniendo ya la llave codificada, se usa este comando:

@java -classpath ./dinamica-tomcat.jar -Dsemilla=cGVwaXRv dinamica.tomcat.MakePassword basica
En este caso la contraseña basica queda transformada en: A31CInaRgDk=

Así queda la configuración de un pool de conexiones a base de datos con el uso de contraseña encriptada y codificada en Base64:


El atributo factory indica que vamos a usar nuestra clase para leer la configuración, en particular el atributo password.

Para el caso del KeyStore se modifica server.xml para configurar el conector SSL de esta manera:


El atributo sslImplementation le dice a Tomcat 7 que use nuestra clase, la cual permite leer el atributo password encriptado.

De esta manera proveemos a nuestros clientes una forma sencilla para resolver el problema de las contraseñas en texto claro, sin configuraciones rebuscadas y suficiente para pasar una auditoria de seguridad.

Saludos,
el Team Dinámica

miércoles, 18 de enero de 2012

De terror: Weblogic y filtros de servlets

Para hacer el cuento corto: a un suscriptor de Dinámica en Perú le tocó instalar una webapp hecha con nuestro framework en un servidor WebLogic y reportó un comportamiento absolutamente anormal: "un usuario sin autorización puede ejecutar un URL restringido, el filtro de seguridad de Dinámica parece no estar funcionando en WebLogic! aunque las pruebas en Tomcat funcionaron perfecto..." y por nuestra parte hemos verificado este mecanismo en Glassfish, Oracle J2EE container y Resin, además de Tomcat. Tiene años funcionando sin novedades.

No tuvimos alternativa, nos tocó montar un WebLogic de desarrollo para hacer nuestras propias pruebas controladas, usamos el último disponible, v12.1.1. Un proceso innecesariamente accidentado, a pesar que en principio era descomprimir un ZIP y cambiar unas variables de ambiente, resultó un dolor de cabeza por diversos motivos. En fin, lo pusimos en marcha y procedimos a probarlo reproduciendo el caso reportado por nuestro suscriptor, usando la webapp que sirve como consola de seguridad -Admin-, pero levantando unas trazas adicionales que serían útiles para diagnosticar el caso, usando tanto facilidades del framework Dinámica así como los logs del servidor.

Usando una credencial de usuario sin suficientes permisos, pudimos comprobar que nos dejaba ejecutar URLs restringidas... ese era el síntoma. Las evidencias resultaron más inquietantes.

El filtro de seguridad verifica los roles del usuario y los niveles de autorización de cada rol para ver si el URL requerido puede o no ser ejecutado, si no tiene permisos suficientes, se retorna un error http 403, acceso denegado, de lo contrario se deja pasar el request. No hay espacio para la ambiguedad:

Cuando verificamos los logs HTTP de WebLogic, la cosa se pone peor:

[12/Jan/2012:21:04:26 -0430] "GET /admin/action/admin/app/view HTTP/1.1" 200 4648 
[12/Jan/2012:21:06:12 -0430] "GET /admin/action/admin/app/edit?id=501 HTTP/1.1" 403 1833


El URL o Action -en la jerga de Dinámica- en cuestión es /app/edit, pudimos constatar en el browser que el servidor nos retornó la página que por la configuración de seguridad no deberíamos haber visto, pero lo más extraño es que quedó registrada una respuesta 403, de acceso denegado, sin embargo la página objetivo fue retornada, no un mensaje de error, ¿cómo es esto posible? El filtro parece estar haciendo su trabajo, pero el mismo es ignorado por WebLogic!

Más evidencia, esta vez de las trazas que deja el mecanismo de seguridad de Dinámica al momento de interceptar el request para el URL restringido /app/edit:

#### <[Dinamica_DEBUG_SecurityFilter] URI (/action/admin/app/edit) Intercepting request...> 
#### <[Dinamica_DEBUG_SecurityFilter] URI (/action/admin/app/edit) Session Cookie: f78WPPKWfgbGCNjhgJhTv80GpqqvWjXnWXyh19Nb0QlxfQQcNp1W!-750755119!1326418454955>
#### <[Dinamica_DEBUG_SecurityFilter] URI (/action/admin/app/edit) Authorized Roles (sysadmin;) USER (mcordova) User Roles (tester;) > 
#### <[Dinamica_DEBUG_SecurityFilter] URI (/action/admin/app/edit) Request rechazado por falla de autorización> 

Se puede ver claramente que el filtro rechazó el request!!! nunca se ejecutó el método next.doFilter() que es  lo que haría que el request se ejecute después de pasar por el filtro. ¿Cómo es posible que WebLogic retorne la página si nunca se ejecutó el doFilter? Una falla horrorosa en la implementación de la especificación de servlets.

La causa:

Resulta ser que en el web.xml de una aplicación hecha por Dinámica, se mapea el código de error HTTP 403 a un Servlet, práctica perfectamente aceptada en el estándar de servlets.


Pues esto no le gustó a WebLogic, y en vez de dejar algún rastro en sus logs o de retornar un propio mensaje para el código 403, decidió que era mejor retornar el recurso solicitado, aunque el filtro nunca lo dejo pasar!

La solución al problema fue usar un recurso estático, una página HTML en la raíz de la webapp y referenciarlo como mapping para el error 403 en web.xml. El problema desapareció y el filtro de seguridad de Dinámica funcionó como se esperaba, consistente con la configuración de seguridad.

La experiencia sirvió para enriquecer y actualizar nuestra guía de Deployment JEE de Dinámica, que muestra como hacer deployment de webapps hechas con Dinámica en distintos servidores JEE, ahora incluyendo a WebLogic v12.1.




domingo, 18 de septiembre de 2011

De romance con Lenovo y Dinámica

Lenovo K330: la nueva estación de trabajo de Dinámica

OJO: ver actualización mayo 2012 al final.

Llegó el momento de renovar nuestras computadoras de escritorio para crear las próximas versiones de Dinámica, no es solo una compra sino también una inversión. Una cosa tengo claro, nada de comprar piezas y mandar a armar "a la medida", nunca quedé satisfecho con el resultado. Esta vez compramos marca de calidad, Lenovo. A la hora de revender también saldremos mejor parados si es de marca.

Lenovo tiene mejores precios que HP, aunque esta última era nuestra primera opción, buscando en Amazon (en Venezuela estamos un poco limitados a comprar en Amazon por cuestiones de billing address) conseguí que Lenovo también ofrecía mejores opciones, por ejemplo: HP vende por Amazon lo que en apariencia son muy buenos PCs de escritorio, pero con discos de 5200RPM! no tiene sentido. En cambio las PC de Lenovo vienen con configuraciones más "honestas", por decirlo así, y con una diferencia de precio sustancial.

Hay otro punto a favor de Lenovo: su fuerte integración con Windows en la forma de una ventaja llamada Windows Enhanced Experience, que hace que Windows 7 funcione más rápido, sobre todo en el arranque. En algunos modelos seleccionados viene también con un disco SSD que permite implementar una técnica propietaria de Lenovo llamada RapidDrive y provee un tiempo de respuesta instantáneo para levantar aplicaciones. La navegación y funciones de red también se sienten más rápidas.

El modelo seleccionado por nosotros es el K330 77274HU, que viene con un procesador Intel I7 2600 de 2da generación de 3.4Ghz que en modo turbo llega hasta 3.8, 12GB de RAM de 1333Mhz, un disco duro de 7200RPM de 1.5TB, una quemadora DVD y una tarjeta de video ATI RADEON 6450 con 1GB de RAM DDR3.

Está ensamblada de una manera muy limpia, la incorporación de nuevos componentes de hardware se realiza sin necesidad de herramientas, el interior es ordenado, sin enredos de cables, realmente impresionante el resultado final. Muy bien ventilada, super silenciosa, la más silenciosa que he usado, además de fresca, prácticamente no produce calor, su fuente de poder es de 280W.

Los componentes de la PC no se ven de lujo ni estrambóticos, al contrario, se ven muy modestos pero se percibe que Lenovo manda a manufacturar a la medida versiones OEM de todo lo que requiere para su plan de ingeniería que resulta en una PC rápida, silenciosa, fresca y de bajo consumo de corriente.

Los precios son muy dinámicos en estos días (agosto-septiembre 2011), la primera la compramos en US$999.- hace un par de semanas, la restantes en US$850.-, nada mal la rebaja. Otros modelos K330 de Lenovo también bajaron de precio en Amazon en días recientes.

Lo que no me gustó

Algo casi religioso en nuestro ritmo de trabajo es una partidita de Call of Duty WAW a todo tren al final de la tarde. Y aquí viene el punto débil de esta oferta de Lenovo: la tarjeta Radeon 6450 no tiene poder para juegos exigentes como COD WAW,  al menos no a resoluciones altas, lo que resulta decepcionante en una PC que se mercadea para Gamers y entretenimiento. La tarjeta se porta bien para todo excepto para juegos modernos, su índice de Windows Experience era bastante bajo, como de 5.0.

La fotografía que aparece arriba muestra la versión OEM de la ATI Radeon 6450, pues la versión OEM de Lenovo es aún más simple, sin conector DVI y más liviana, casi que parece "de juguete", pero es una muestra interesante de como Lenovo manda a modificar las piezas para lograr su concepto de PC ultra cool, aunque en este caso se pasaron de tacaños.

La cambiamos, pero no fue tan fácil, porque la fuente de poder es de 280W, muy baja, no puedes usar cualquier tarjeta de video, hay que seleccionar con cuidado y Lenovo no brinda información al respecto en su website de soporte. Finalmente dimos con la Radeon 5670 con 1GB DDR3, que por unos US$75.- brinda un desempeño bastante bueno sin perturbar el funcionamiento fresco y silencioso de este PC, y eso era importante para nosotros, no queríamos intervenir en nada el equipo, está perfecto salvo por la mala elección de tarjeta de video que hizo Lenovo. Hasta donde pude averiguar cambiar la fuente de poder de esta PC no es tan fácil, viene con unos conectores especiales para un selector de modo de operación que tiene el Case Lenovo en la parte frontal (Turbo, Auto, Cool). Lenovo no vende fuentes de poder alternativas para este modelo.

La Radeon 5670 que aparece en la foto de arriba a la derecha, viene con conector DVI, lo que nos permitió aprovechar la conexión digital de nuestros monitores de 22", y el índice de Windows Experience saltó de 5.0 a 6.8! Ahora el juego se siente realmente bien, considerando que la fuente de poder es de 280W, la máquina se calienta apenas un poco más solo luego de jugar, no durante la operación rutinaria, y no causa problemas de estabilidad. Es la tarjeta que esta máquina debió traer desde un principio, estoy seguro que además en una versión OEM especial para Lenovo se integraría aun mejor en este PC.



El teclado y el mouse podrían ser de mejor calidad, se sienten un poco baratos, podrían haber hecho uno parecido al que vende Microsoft, que no es nada caro pero su calidad y funcionalidad es notablemente superior, con teclas de acceso directo realmente útiles, como la calculadora, el navegador y los controles multimedia y de volumen, a diferencia del de Lenovo que no trae nada de eso.

Rectificación

Lenovo acaba de sacar nuevos modelos de la línea K330, con fuente de poder de 450W y de una vez vienen con una tarjeta nVidia GeForce GTX 460 capaz de correr eficientemente juegos pesados como COD WAW. Idénticos a nuestro modelo pero incluyen también una unidad Blueray y más espacio en disco duro, aunque son un poco más caros y no siempre están disponibles en Amazon, sino directamente en la tienda online de Lenovo. 

Conclusión

En lo personal yo puedo vivir con la fuente de 280W, pero la PC debió traer de una vez una tarjeta de video más potente y compatible con esa fuente de poder. Otra adición importante seria un disco SSD, haría realmente una diferencia mejorando aun más el rendimiento de la PC. Se le puede añadir, pero Lenovo podría haberlo incorporado de una vez de forma transparente con su tecnología RapidDrive sin impactar demasiado el costo, para disparar el rendimiento de Windows y de las aplicaciones más importantes (Eclipse, Java, Office, etc).

Cuando compras un PC de lujo como este no quieres estar perdiendo tiempo modificándolo, debería venir listo de fábrica para cumplir con las tareas para las cuales se mercadea, video games entre otras. Al menos Lenovo hizo los ajustes en los modelos poseriores que acaba de lanzar. De cualquier manera estoy muy contento, no tuve que gastarle mucho más para que tuviera el rendimiento que yo esperaba, y añadir un SSD rápido y confiable de 64GB  cuesta alrededor de los US$110.-. A los precios actuales de nuestro modelo, te termina saliendo como US$1030.- con video mejorado Radeon HD 5670 y SSD de 64GB, nada mal.

Recomiendo los K330, me quedo con Lenovo, aunque hay mucho que pueden mejorar, incluyendo su website y servicio de soporte. En mi nueva PC las máquinas virtuales de Linux y Windows XP corren muy rápido con VirtualBox, además podemos correr al mismo tiempo varios servidores de base de datos y todo el entorno Java de desarrollo, con Eclipse y Tomcat, y además levantar COD WAW y no quedamos estrechos de memoria en ningún momento. Por cierto hay espacio para llevarla a 16GB, no es nada costoso, solo hay que tener cuidado de comprar el chip correcto para ese modelo, nosotros conseguimos las memorias originales Samsung en Amazon y aumentamos la RAM a 16GB por un costo muy razonable.

Actualización del 8/mayo/2012:

El modelo actual que pueden conseguir en Amazon se llama Lenovo IdeaCentre K330 77275SU, es prácticamente el mismo que compramos nosotros el 2011, pero viene con 2TB en disco duro, y actualmente lo venden en $950.- + S&H, directamente de Amazon.


Esta PC también soporta la tarjeta gráfica ATI Radeon 6670, que es más poderosa que la 5670, lleva el índice de rendimiento gráfico de Windows a 7.1 en vez de 6.8, y se consigue desde $70.- en Amazon (han bajado de precio este año), de diversos fabricantes. Nosotros compramos la de Asus, pero no es tan silenciosa como la de XFX. La 6670 tiene un bajo consumo de corriente y es perfectamente soportada por la fuente de poder que viene de fábrica con la K330 que vende Amazon (280W solamente). Viene con 1GB de memoria DDR3 o DDR5, soporta un monitor de 27" HDMI a máxima resolución sin problemas, y permite jugar COD WAW a esta resolución con alto rendimiento - ¡un asunto importante en esta empresa!

lunes, 18 de julio de 2011

Tomcat 7: cuatro puntos a favor

Esta es una mini-entrada para contarles rápidamente mis impresiones del Tomcat 7.0.16, que ya es un release estable para producción y funciona muy bien con Dinámica, incluyendo el ambiente de desarrollo.

Lo que me gustó:

1.- Por fin los logs de Catalina pueden ser rotados diariamente cuando corre como servicio Windows. Este es un problema con Tomcat 6, el log de errores crece sin medida cuando se ejecuta el proceso como servicio. Además utiliza logging.properties para la configuración de los logs. Por cierto que la última versión de Dinámica (3.1.4) que publicamos hoy incorpora un servicio para descargar los archivos de log de tomcat vía browser, de uso opcional y sujeto a seguridad por supuesto, muy útil en producción cuando el entorno es cerrado y no hay acceso al filesystem del host.

2.- El context.xml privado de cada webapp se queda en un solo sitio. Tomcat 6 tenía la mala costumbre de hacer una copia a /conf/Catalina/localhost apenas hacía deploy de la webapp, y a partir de ese momento ese era el Context.xml (renombrado a XXX.xml según el nombre del contexto) que valía. Ahora no, el context.xml se queda en la carpeta /META-INF de la webapp. Si lo quiere editar, basta con tocar el archivo en esa carpeta.

3.- Es rápido, hemos visto tiempos promedios por debajo de los 10ms para solicitudes de web services que retornan recordsets serializados, por poner un ejemplo. Llegamos a obtener tiempos de hasta de 4ms para ejecutar Actions de Dinámica. Nada mal.

4.- Los utilities Monitor y WebApp Reloader de Dinámica siguen funcionando bien con Tomcat 7, aunque tuvimos que hacer ajustes a los servicios de diagnóstico porque hubo leves cambios en los nombres de ciertos atributos en relación a Tomcat 6, pero fue una molestia menor, la última versión de Dinámica resuelve este problema y garantiza un comportamiento homogeneo de estas facilidades entre la Tomcat 6 y Tomcat 7.


Y otro punto a favor es que las modificaciones que le hicimos a Tomcat 6 para que permitiera contraseñas encriptadas en los archivos context.xml siguieron funcionando sin necesidad de modificar el código en Tomcat 7.


Ya están disponibles nuestras distros de Tomcat 7 para Windows y Linux, en nuestro estilo minimalista, sin JSP, sin webapps preinstaladas y con un server.xml casi vacío. Vienen listas para desarrollar con Dinámica, incluyendo JAX-WS 2.2.5, JavaMail 1.4.4, los últimos drivers JDBC de PostgreSQL y SQLServer (jTDS), JMS y un manager de transacciones distribuidas JTA (JOTM). Empresarial pero sin sobrecarga ni complicaciones.

Si lo quieren descargar (Tomcat 7.0.27):

Windows 32 y 64 bits (incluye lo necesario para correr como servicio).
Linux

A tomar en cuenta: Aunque Tomcat 6.0.32 es una versión muy sólida, hay que tener en cuenta que Tomcat 7 es la continuación de esta línea de velocidad y estabilidad, pero con mejoras, y más importante aun, todo el esfuerzo de desarrollo se enfoca ahora en Tomcat 7, así que tarde o temprano tocará migrar.

De la especificación de servlets 3.0, hasta el momento puedo decir que lo único que me gusta es que finalmente regularon el tema de los Uploads como parte del estándar y del API, ya era hora, y es una verdadera mejora al excelente modelo de programación web que representan los Servlets. El resto me parece que es un exceso de Annotations y concesiones con los frameworks dominantes y aburridos, ya que sus creadores son miembros del comité JCP que regula la especificación.

UPDATE del 8 de mayo 2012: recientemente le pusieron a Tomcat una mejora para inicializar los contextos en paralelo, lo que hace que el servicio levante más rápido, es un atributo del elemento Host, llamado StartStopThreads, por defecto es 1 pero lo pueden poner en 3 o 4 para ver la diferencia... funciona!

Un abrazo,
El team Dinámica

miércoles, 8 de junio de 2011

¿Un Tomcat Transaccional?

Vamos a explicar como incorporar en Tomcat la capacidad de coordinar transacciones entre diferentes bases de datos, usando el API estándar JTA (Java Transaction API), que permite englobar en una misma transacción acciones con distintas bases de datos, coordinadas por un Transaction Manager que corre dentro de Tomcat. Para que una base de datos pueda participar en una transacción distribuida de este tipo, debe tener un driver JDBC capaz de soportar este tipo de tareas, y el manejador como tal también debe ser compatible con "XA Transactions".

Tomcat por defecto es un contenedor de servlets, no un servidor de aplicaciones completo JEE, por eso no cubre esta funcionalidad de un coordinador de transacciones. Un servidor de aplicaciones JEE si incorpora esta facilidad y muchas más que en general no son necesarias para desarrollar aplicaciones web eficientes. Nosotros preferimos partir de un servidor liviano y rápido como Tomcat y luego añadirle lo que realmente necesitamos del estándar JEE. Así lo hicimos con el caso de las transacciones JTA, integramos un producto muy fácil de usar, JOTM - Java Open Transaction Manager.

La integración es muy sencilla, pero nosotros la simplificamos aun más, consolidando en un solo JAR todo el subsistema de JOTM. Lo pueden descargar desde nuestro website, deben añadirlo a la carpeta "tomcat6/lib". En el context.xml de la aplicación donde se definen los pools de conexiones es donde vienen los cambios clave:

<Context>

<Resource name="jdbc/dinamica" auth="Container" type="javax.sql.DataSource"
factory="org.objectweb.jotm.datasource.DataSourceFactory"
initialSize="5" maxActive="20" maxIdle="5" maxWait="3000"
username="postgres" password="basica"
driverClassName="org.postgresql.Driver" url="jdbc:postgresql://localhost/demodb" />

<Transaction factory="org.objectweb.jotm.UserTransactionFactory" jotm.timeout="60"/>

</Context>

Como pueden ver lo único nuevo es el la incorporación del elemento "Transaction" y también el factory que se utiliza para el pool de conexiones, que es especial para el manejador de transacciones.

En el caso de Dinámica el uso del coordinador de transacciones es transparente, ya que se implementó como un filtro, por la vía de los "filter-mapping" se le indica que Actions debe englobar, y el Action o proceso server-side de Dinámica procederá a ejecutar su lógica de negocios sin preocuparse por el manejo de la transacción, incluso si se ejecuta la lógica contra varias bases de datos. El filtro coordina, garantiza un COMMIT si no hay error o un ROLLBACK que mantendrá la consistencia en todas las BD involucradas si hay error.


De esta manera, usando un producto compacto open source de fácil integración con Tomcat, y las bondades de una especificación de servlets tan bien pensada, se le añaden a Tomcat características empresariales sin complicarlo ni ponerlo más pesado.

Un abrazo,
El Team Dinámica

sábado, 4 de junio de 2011

Integrando JMS y Dinámica

Cuando estuve en Lima en julio del año pasado, durante una presentación en la SUNAT (el organismo recaudador de impuestos), alguien me preguntó como se hacía para interactuar con un servidor de colas de mensajería, yo le explique que bastaba con extender una clase base del framework para lógica de negocios y añadir el código para hacer las llamadas al API de mensajería estándar de Java JMS. No he tenido necesidad de usar JMS en ningún proyecto, pero se que en algunas telefónicas en Venezuela usaban fuertemente un producto de IBM para tal fin.

Luego en febrero de este año, durante un curso de Dinámica Deluxe en Caracas, me vuelven a hacer la misma pregunta... así que me pareció una señal: hay que integrar esto en Dinámica, aunque no lo usemos, de manera transparente al programador, siguiendo los principios del framework, para que se pueda usar de forma declarativa sin escribir ni una línea de código.

Los servicios de mensajería que ataca JMS se refieren específicamente a comunicación entre aplicaciones o componentes, y de forma asíncrona, no es como enviar email. Estos servicios están pensados para intercambiar data entre procesos, pero de forma desacoplada, a través de una cola de mensajes, donde uno envía y el otro recibe, sin estar conectados entre sí.

Para mayor información sobre JMS leer este tutorial.

De manera que procedimos a bajar el servidor de mensajería más simple que conseguimos: OpenJMS, nos gustó mucho para las pruebas por lo fácil que fue ponerlo a andar sin saber nada del tema, aunque el producto lamentablemente está descontinuado, pero disponible en open source sin embargo.

Extendimos el framework con una clase genérica, que al heredar de GenericTableManager puede ejecutar todo tipo de tareas de lógica de negocios contra una base de datos SQL sin necesidad de programar, pero además con una simple configuración adicional también puede enviar un mensaje a una cola en un servidor JMS:


El nuevo módulo o plugin quedó integrado de manera natural dentro de la arquitectura MVC de Dinámica, permitiendo su uso de forma declarativa:


Todos los parámetros de entrada que recibe un proceso server-side, una vez validados pueden ser inyectados automáticamente en la plantilla de texto del mensaje y luego enviado a la cola, justo después de haber ejecutado la lógica de negocios contra el servidor SQL.

Todo el asunto fue incorporado como un aporte para los suscriptores de Dinámica Deluxe, incluyendo un documento que registra de forma estructurada el conocimiento adquirido:


Bueno, con esto finalizamos nuestra aventura con las colas, por ahora. Sirvió también para demostrar la extensibilidad de Dinámica para incorporar APIs específicos dentro de la lógica de negocios, y si se le pone un poquito de inteligencia, puede ser un plugin genérico, configurable y reutilizable sin programar.

Saludos,
El Team Dinámica

jueves, 2 de junio de 2011

Un Tomcat diferente

El framework Dinámica incluye un Tomcat light, reempaquetado por nosotros para que sea fácil de usar en desarrollo y producción con Dinámica, y sea sobre todo rápido y seguro.

Para eso le sacamos todo el exceso de equipaje que suele incorporar, todas las aplicaciones de administración y los ejemplos, lo dejamos vacío, y también le desactivamos en el web.xml global lo que no vamos a utilizar: JSP entre otras cosas. También limpiamos el server.xml y le desactivamos lo que no necesitamos, básicamente solo dejamos el conector HTTP 1.1 con la compresión GZIP para las salidas de texto y la válvula de log HTTP, la cual es de uso opcional si lo quieren hacer aún más liviano. Le ponemos suficientes Threads de fábrica y la parte de SSL comentada pero lista para usar.

En Windows le dejamos la auto-recarga activada para facilitar el desarrollo, pero en la distro de Linux se la quitamos, porque esta generalmente se usa para producción, y se recomienda hacer lo mismo con la de Windows si la van a usar para producción. Para cubrir la falta de la auto-recarga proveemos un utility seguro que corre local al proceso Tomcat y permite recargar una webapp aunque la facilidad esté desactivada.

Luego vienen los complementos. Una vez que el Tomcat está liviano y seguro, hay que añadirle capacidades empresariales de uso muy frecuente: soporte para publicar web services usando el API estándar JAX-WS y JavaMail, además de los drivers JDBC open source para PostgreSQL 9 y SQLServer/Sybase. Todo en sus últimas versiones estables:

- Tomcat 7.0.53
- JAX-WS 2.2.8
- JavaMail 1.5.1
- postgresql-9.3-1100.jdbc4.jar
- jtds-1.3.1.jar

En resumen: tiene lo necesario para aplicaciones modernas de negocios web, incluyendo web services de alta velocidad, sin sobrecargar al servidor ni hacerlo complicado en su instalación o administración. No hay que olvidar que las webapps hechas con Dinámica incluyen una serie de facilidades para monitore y diagnóstico, así que no hay que añadirle nada de esto a Tomcat, basta con su instrumentación JMX en modo local (no hace falta activarla para acceso remoto, así es más seguro).

Todo esto va distribuido entre las carpetas "lib" y "endorsed" de Tomcat 7. Para correr este Tomcat se puede usar Java 6, Java 7 o Java 8 (recomendado).

Esta idea se parece al concepto de "Web Profile" de la última especificación Java EE, que define containers que no tienes que incluir todo el peso de JEE, en el caso Web permite incorporar solo algunas funcionalidades empresariales, aun así nos parece sobre cargada y deja por fuera JavaMail, que es muy necesario. Para mayor información sobre los profiles JEE:

Java EE: The web profile

Si le quieren añadir otras cosas, como un cliente JMS o soporte para transacciones distribuidas JTA, solo necesitan incorporar los JARs en la carpeta "lib" de Dinámica. Para el caso de transacciones JTA, quizá lo más fácil de integrar con Tomcat 7 es JOTM. Para pruebas con JMS lo más sencillo es OpenJMS. Los JARs que conforman la capa cliente de OpenJMS se pueden consolidar fácilmente en un solo JAR y añadir a Tomcat 7. En Dinámica existe soporte declarativo para enviar mensajes a una cola de forma transparente al programador, se ha probado con OpenJMS y ActiveMQ de Apache, solo requiere que Tomcat tenga los JARs cliente de JMS en su carpeta "lib".

En el caso de Linux, nuestra distro Tomcat es muy fácil de instalar, se descomprime un TGZ y se corre un script install.sh que deja Tomcat como servicio en Ubuntu.

Aunque la documentación de Dinámica que concierne a nuestra distro Tomcat y otras facilidades del framework está solo disponible para nuestros suscriptores, las distros como tal pueden ser descargadas del website del framework.

Nuestro objetivo ha sido proveer un servidor de aplicaciones web que cubra el 100% de nuestros requerimientos, y que sea rápido y confiable tanto en su estabilidad como en su seguridad. Nos gustó Tomcat desde la versión 6 porque se hizo más sencillo en su empaquetamiento y configuración, y adquirió madurez en su Core, suficiente como para competir con productos establecidos como Resin o WebLogic, que se han vuelto en contraste cada vez más complicados, y sigue siendo más simple de usar que las alternativas open source  como Glassfish o JBoss.

Saludos,
El Team Dinámica

jueves, 26 de mayo de 2011

Dinámica - en honor a mi Papá


Hace pocos días murió mi viejo, el 9 de mayo en la noche temprano, luego de una vida intensamente recorrida y un final tortuoso que duró demasiado. Fue un gran periodista latinoamericano que se hizo conocido desde joven a finales de los 60's, pasó por los mejores periódicos de Latinoamérica, a veces en épocas muy conflictivas como las dictaduras de los 70's en Argentina, donde estuvo preso un tiempo, se llamaba Ted Córdova-Claure, nacido en Bolivia, especialista en análisis de política internacional. Fue emprendedor, brillante, descuidado con su apariencia personal, sibarita, buen padre, mal marido, gastador, le encantaba el fútbol, la buena música y la historia. Le dieron 7 balazos en una emboscada durante un golpe de Estado y sobrevivió... perseverante sobre todas las cosas.

La obra más relevante de mi vida hasta el momento, el framework Dinámica, no existiría si no fuera por mi Viejo. No le resto mérito a mi Madre, pero las cuerdas que me movieron a esta aventura tienen que ver mucho con mi Papá, sobre todo por el espíritu emprendedor y el gusto por la aventura y el desdén por la incertidumbre que emprender algo implica. Me influenció mucho verlo emprender cosas, a veces para llegar a ningún lado, pero el sacrificio personal porque le gustaba una idea o porque tenía que rebuscarse para mantener a la familia, fue algo que me marcó profundo. La paciencia y la perseverancia fue otra lección que nunca olvidaré, y esa la aprendí como a los 10 años, cuando ensamblamos un modelo miniatura de un avión de la 2da guerra mundial y me puse a llorar porque no me salía bien, mi viejo me reprendió y me inculcó la paciencia, de tal manera que me ayudó mucho en momentos difíciles en la universidad y muchísimo más en mi vida profesional, esa lección ha significado la diferencia entre el éxito y el fracaso en muchas ocasiones.


Pero además de la formación del carácter, mi viejo fue fundamental en lo que significó mi encuentro con la informática, concretamente sucedió en una visita a Epcot Center, cuando apenas estaba inaugurado. En el salón de la informática de Epcot fue donde se sembró la semilla que me daría de comer, luego mi viejo pondría a mi alcance una Commodre VIC-20, y después me "nombraría" su ayudante en todo lo relativo al manejo de sus computadoras, una Apple II y una PC compatible. El siempre fue un interesado en los avances tecnológicos, y un visionario, aunque no era especialista en estos temas, entendía a profundidad su impacto. Cuando salieron las impresoras láser y los primeros programas de "auto-edición" como Ventura Publisher y PageMaker, se le hizo un sueño realidad, ser su propio editor-diagramador, y fue como darle una ametralladora a un mono, hicimos en corto tiempo algunas de las diagramaciones más feas de la historia, pero con contenidos brillantes, y editamos por unos 2 años un newsletter llamado Orbita-Bip, donde colaboraban algunos de los más prestigiosos articulistas de Latinoamérica, periodistas que habían sido compinches de mi Papá en su juventud, como Tomás Eloy Martínez, Carlos Gumucio y Rogelio García Lupo entre otros. Mi Papá bautizó el momento de la salida del Postscript, los printers láser y los programas de auto-edición como la nueva era Guttenberg, estaba feliz como niño con juguete nuevo.


Cuando entré a estudiar matemáticas en la Universidad Central de Venezuela, en parte porque no logré ingresar a la escuela de computación y en parte por mi desencanto con lo que vi en esa escuela (aun se perforaban tarjetas, en tanto que yo ya tenía mi propia PC y usaba Clarion Developer 4GL), le pregunté a mi viejo: ¿Que estudio? ando mal con las matemáticas, no son lo mío. Me dio un consejo excelente: "estudia Economía, te abrirá puertas, te dará una formación muy integral, adecuada para comprender la globalidad en la que nos estamos metiendo (era 1987)". No dejo de estar agradecido por ese consejo, hizo una gran diferencia para mí al inicio de mi carrera a partir de 1992. Esa formación plural que me dio mi querida Escuela de Economía me aportó ventajas mas allá del conocimiento técnico que había ido adquiriendo en el arte de la programación y la ingeniería de software desde los 15 años, cuando comencé a trabajar en el área por un salario.

El pragmatismo fue otra cosa muy importante que aprendí a apreciar con El, hoy en día un rasgo característico de mi proceder en el trabajo, y el framework Dinámica lo refleja sin reparo y sin complejos: no comemos cuento de nadie. Tengo 43 años, he visto mucho en informática como para pensar que Hibernate, Spring o Struts son buenas ideas, nada que te ponga a trabajar de más y a correr más lento puede ser una buena idea, o que los Facade Patterns y los Stateless Beans de EJB son algo que inventaron en la era del Java... aquí no hay espacio para las mariconerías ni nos dejamos impresionar por el marketing. Mis secuaces de antaño (Chino Soques, Carlos Pineda) y yo hacíamos componentes distribuidos DCOM con Visual Basic y experimentábamos con los problemas del marshalling de data y del multi-tier cuando el Java y el EJB no eran más que ideas en servilletas, el Java en particular una buena idea. En el 2002 conocí pendejos que se enervaban cuando les contaba que el JDBC le debía su existencia al ODBC y mas atrás a un estándar llamado SQL-CLI del cual nadie se acuerda, y que el modelo DAO de Visual Basic marcó una era en la programación de regla de negocios, y el VB en particular fue el punto de inflexión para el avance de las herramientas de programación. Yo lo afirmo no solo porque lo viví, sino porque mi viejo me aportó otra cosa, perspectiva histórica. Me animó a leer a futurólogos e historiadores, y me llevó a Europa a presenciar la unificación (y a comer como locos) a principios de los 90's, una experiencia que me dio cierto "caché" en los primeros dos semestres de Economía con las chicas, pero no duró mucho...

Varias veces me han preguntado de donde salió Dinámica, y si bien el framework es un homenaje a las herramientas que me marcaron de jovencito y me dieron de comer (Clarion, VB, etc), Dinámica en el fondo viene de la educación que me dieron mis viejos, y la influencia de mi Papá en particular, de su espíritu emprendedor y sin aversión al riesgo y su falta de miedo a nadar contracorriente, y así Dinámica llegó a su 7mo aniversario este año, nadando contracorriente en un mundo lleno de Nerds como es el Java y el Linux, pero captando adeptos allí donde haya una mente atrevida y de buen gusto... en Chile, Perú, Argentina, México, Colombia, España, Italia, Venezuela (quedan algunas) y hasta en China.

Lo que NO saqué de mi viejo fue el mal vestir. Perdóname Papá donde quiera que estés.

Un abrazo,
Martin Córdova
http://www.martincordova.com

PD: aunque este es un homenaje a mi Papá y su relación con Dinámica, este framework no habría llegado a donde está de no ser por la oportunidad de desarrollo profesional que me dio la prestigiosa empresa Mega Soft y al enorme aporte de trabajo de mi socio, Francisco Galizia (Hell Boy).